Vitenskapelig regresjon: Big Science Is Broken!

Del denne historien!

TN Merk: En observant og kritisk analyse av vitenskapens tilstand avslĂžrer indirekte kilden til feil i falsk vitenskap som den som er forbundet med global oppvarming. Den siste setningen er en god konklusjon: "De stĂžrste vennene til Cult of Science er de verste fiender av vitenskapens faktiske praksis."

Problemet med vitenskap er at sÄ mye av det rett og slett ikke er det. I fjor sommer kunngjorde Open Science Collaboration at det hadde forsÞkt Ä gjenskape hundre publiserte psykologiske eksperimenter prÞvetatt fra tre av de mest prestisjefylte tidsskriftene i feltet. Vitenskapelige pÄstander hviler pÄ ideen om at eksperimenter som ble gjentatt under nesten identiske forhold burde gi omtrent de samme resultatene, men inntil ganske nylig var det svÊrt fÄ som gidder Ä sjekke pÄ en systematisk mÄte om dette faktisk var tilfelle. OSC var det stÞrste forsÞket pÄ Ä sjekke resultatene i et felt, og det mest sjokkerende. I mange tilfeller hadde de brukt originale eksperimentelle materialer, og noen ganger til og med utfÞrt eksperimentene under veiledning av de originale forskerne. Av studiene som opprinnelig hadde rapportert om positive resultater, klarte ikke en forblÞffende 65 prosent Ä vise statistisk betydning for replikasjon, og mange av de resterende viste sterkt reduserte effektstÞrrelser.

Funnene deres gjorde nyheten, og ble raskt en klubb Ä basere samfunnsvitenskapene med. Men problemet er ikke bare med psykologi. Det er en uuttalt regel i legemiddelindustrien at halvparten av all akademisk biomedisinsk forskning til slutt vil vise seg Ä vÊre usann, og i 2011 bestemte en gruppe forskere ved Bayer seg for Ä teste den. NÄr de ser pÄ seksti-syv nylige medisinske funnprosjekter basert pÄ preklinisk kreftbiologisk forskning, fant de ut at i mer enn 75 prosent av tilfellene stemte ikke de publiserte data opp med deres interne forsÞk pÄ Ä replikere. Dette var ikke studier publisert i fly-by-night onkologitidsskrifter, men blockbuster-forskning omtalt i Science, Nature, Cell og lignende. Bayer-forskerne druknet i dÄrlige studier, og det var til dels at de tilskrev de mystisk synkende utbyttene av medikamentledninger. Kanskje sÄ mange av disse nye stoffene ikke klarer Ä ha effekt fordi den grunnleggende forskningen som deres utvikling var basert pÄ ikke er gyldig.

NĂ„r en studie ikke klarer Ă„ gjenskape, er det to mulige tolkninger. Den fĂžrste er at ukjent for etterforskerne, var det en reell forskjell i eksperimentell oppsett mellom den opprinnelige etterforskningen og den mislykkede replikasjonen. Disse kalles vanligvis “bakgrunnseffekter”, og spĂžken var at eksperimentet ble pĂ„virket av fargen pĂ„ tapetet i rommet. Dette er den lykkeligste mulige forklaringen pĂ„ manglende reproduksjon: Det betyr at begge eksperimentene har avslĂžrt fakta om universet, og vi har nĂ„ muligheten til Ă„ lĂŠre hva forskjellen var mellom dem og Ă„ innlemme en ny og subtilere distinksjon i teoriene vĂ„re.

Den andre tolkningen er at det opprinnelige funnet var falsk. Dessverre viser et genialt statistisk argument at denne andre tolkningen er langt mer sannsynlig. FÞrst formulert av John Ioannidis, professor ved Stanford University's School of Medicine, fortsetter dette argumentet med en enkel anvendelse av Bayesiansk statistikk. Anta at det er hundre og en stein i et bestemt felt. En av dem har en diamant inni seg, og heldigvis har du en diamantregistrerende enhet som annonserer nÞyaktighet pÄ 99 prosent. Etter en drÞy times tid med Ä flytte enheten rundt, undersÞke hver stein i sving, blinker plutselig alarmer og sirener jamrer mens enheten peker pÄ en lovende stein. Hva er sannsynligheten for at steinen inneholder en diamant?

De fleste vil si at hvis enheten annonserer 99 prosent nÞyaktighet, sÄ er det en 99 prosent sjanse for at enheten skiller en diamant riktig, og 1 prosent sjanse for at den har gitt en falsk positiv avlesning. Men tenk pÄ: Av de hundre og en steinene i feltet er det bare en diamant. Gitt, maskinen vÄr har en veldig stor sannsynlighet for Ä korrekt erklÊre at den er en diamant. Men det er mange flere diamantfrie steiner, og selv om maskinen bare har en 1 prosent sjanse for falskt Ä erklÊre hver av dem for Ä vÊre en diamant, er det hundre av dem. SÄ hvis vi skulle vinke detektoren over hver stein i Äkeren, ville den i gjennomsnitt hÞres to ganger - en gang for den virkelige diamanten, og en gang nÄr en falsk avlesning ble utlÞst av en stein. Hvis vi bare vet at alarmen har hÞrt, er disse to mulighetene omtrent like sannsynlige, noe som gir oss en omtrent 50 prosent sjanse for at steinen virkelig inneholder en diamant.

Dette er en forenklet versjon av argumentet som Ioannidis gjelder for selve vitenskapens prosess. Steinene i feltet er settet med alle mulige testbare hypoteser, diamanten er en antydet tilkobling eller effekt som tilfeldigvis er sant, og den diamantdetekterende enheten er den vitenskapelige metoden. En enorm mengde avhenger av andelen mulige hypoteser som viser seg Ă„ vĂŠre sanne, og av nĂžyaktigheten som et eksperiment kan skille sannhet fra usannhet. Ioannidis viser at for en lang rekke vitenskapelige innstillinger og felt, er ikke verdiene for disse to parameterne i det hele tatt gunstige.

Tenk for eksempel pĂ„ et team av molekylĂŠrbiologer som undersĂžker om en mutasjon i et av de mange tusen menneskelige gener er knyttet til en Ăžkt risiko for Alzheimers. Sannsynligheten for en tilfeldig valgt mutasjon i et tilfeldig valgt gen med nettopp den effekten er ganske lav, sĂ„ akkurat som med steinene i feltet er det mer sannsynlig at et positivt funn ikke er falsk — med mindre eksperimentet er utrolig vellykket med Ă„ sortere hveten fra agnet. Faktisk finner Ioannidis at det i mange tilfeller er ufattelig nĂžyaktighet Ă„ nĂŠrme seg til og med 50 prosent sanne positive forhold. Derav den iĂžynefallende tittelen pĂ„ papiret: "Hvorfor de fleste publiserte forskningsresultater er usanne."

Les hele historien her ...

Abonner!
Varsle om
gjest

0 kommentarer
Inline tilbakemeldinger
Se alle kommentarer