Vær forsiktig: Forsker sier at mest vitenskapelige studier er gale
Kontrollister på stedet diskuterer funnene sine under den internasjonale konferansen International Scientific Studies 2009 på Hofburg i Wien. Wikimedia Commons
Den skarpe feilslutningen i Technocracy er at dataene er bøyd for å rettferdiggjøre deres teorier. Dette snek seg inn da tidlige teknokrater innså at deres 'Science of Social Engineering' ikke kunne støttes med legitime data. Dagens nyheter spiller ut som barndomsspillet 'Simon Says', men erstattet med 'Science Says'. ⁃ TN Editor
For noen år siden tok to forskere de 50 mest brukte ingrediensene i en kokebok og studerte hvor mange som hadde vært knyttet til en kreftrisiko eller fordel, basert på en rekke studier publisert i vitenskapelige tidsskrifter.
Resultatet? Førti av 50, inkludert salt, mel, persille og sukker. "Er alt vi spiser knyttet til kreft?" undret forskerne i en artikkel fra 2013 basert på funnene deres.
Undersøkelsen deres berørte et kjent, men vedvarende problem i forskningsverdenen: For få studier har store nok prøver til å støtte generaliserte konklusjoner.
Men press på forskere, konkurranse mellom tidsskrifter og medias umettelige appetitt for nye studier som kunngjør revolusjonerende gjennombrudd, har ført til at slike artikler fortsetter å bli publisert.
"Flertallet av papirer som blir publisert, selv i alvorlige tidsskrifter, er ganske slurvete," sa John Ioannidis, professor i medisin ved Stanford University, som spesialiserer seg i studier av vitenskapelige studier.
Denne sverget fienden av dårlig forskning publiserte en mye sitert artikkel i 2005 med tittelen: "Hvorfor mest publiserte forskningsresultater er falske."
Siden den gang, sier han, er det bare gjort begrensede fremskritt.
Noen tidsskrifter insisterer nå på at forfattere forhåndsregistrerer sin forskningsprotokoll og leverer sine rå data, noe som gjør det vanskeligere for forskere å manipulere funn for å komme til en viss konklusjon. Det gjør det også mulig for andre å bekrefte eller gjenskape sine studier.
For når studier blir replikert, kommer de sjelden med de samme resultatene. Bare en tredjedel av 100-studiene publisert i tre topp psykologitidsskrifter kunne vellykkes replikert i en stor 2015-test.
Medisin, epidemiologi, populasjonsvitenskap og ernæringsstudier går ikke bedre, sa Ioannidis, når forsøk på å gjenskape dem.
"På tvers av biomedisinsk vitenskap og utover får ikke forskere opplæring i tilstrekkelig grad i statistikk og metodikk," sa Ioannidis.
For mange studier er kun basert på noen få individer, noe som gjør det vanskelig å trekke bredere konklusjoner fordi prøvetakene har så lite håp om å være representative.
"Kosthold er et av de mest forferdelige områdene av biomedisinsk etterforskning," la professor Ioannidis til - og ikke bare på grunn av interessekonflikter med ulike næringsmiddelindustrier.
"Å måle kosthold er ekstremt vanskelig," understreket han. Hvordan kan vi kvantifisere nøyaktig hva folk spiser?
På dette feltet går forskere ofte i villsøk etter korrelasjoner i enorme databaser, uten så mye som en starthypotese.
Selv når metodikken er god, og med gullstandarden som en studie der deltakere er valgt tilfeldig, kan utførelsen komme til kort.
En berømt 2013-studie om fordelene ved middelhavsdietten mot hjertesykdom måtte trekkes tilbake i juni av de mest prestisjefylte av medisinske tidsskrifter, New England Journal of Medicine, fordi ikke alle deltakere ble rekruttert tilfeldig; resultatene er revidert nedover.
Så hva skal vi ta bort fra flommen av studier som publiseres hver dag?
Ioannidis anbefaler å stille følgende spørsmål: er dette noe som har blitt sett bare en gang, eller i flere studier? Er det en liten eller en stor studie? Er dette et randomisert eksperiment? Hvem finansierte det? Er forskerne gjennomsiktige?
Disse forholdsreglene er grunnleggende innen medisin, der dårlige studier har bidratt til adopsjon av behandlinger som i beste fall er ineffektive og i verste fall skadelige.
I sin bok "Ending Medical Reversal" tilbyr Vinayak Prasad og Adam Cifu skremmende eksempler på praksis som er vedtatt på grunnlag av studier som fortsatte å bli ugyldiggjort, for eksempel å åpne en hjernearterie med stenter for å redusere risikoen for et nytt hjerneslag.
Det var først etter 10 år at en robust, randomisert studie viste at praksisen faktisk økte risikoen for hjerneslag.
Løsningen ligger i den kollektive innstrammingen av standarder fra alle aktører i forskningsverdenen, ikke bare tidsskrifter, men også universiteter, offentlige finansieringsbyråer. Men disse institusjonene opererer alle i konkurransemiljøer.
