U koja istraživanja možete vjerovati?
Svatko tko čita Svijet psihologije redovito već zna za probleme u mnogim studijama koje financira industrija. Ali ovaj članak sugerira da problemi s recenziranim istraživanjima idu mnogo dublje od jednostavne predrasude o profitu. Znanstvenici su pristrani na mnogo, mnogo načina (ne samo radi novčane dobiti). I ta se pristranost neizbježno pokazuje u radu koji obavljaju - znanstvenom istraživanju.
Ovo za mene nije novi bubanj - razgovarao sam o pristranosti istraživača 2007. godine i o tome kako istraživači dizajniraju studije kako bi pronašli konkretne rezultate (ovaj primjer uključuje istraživače koji su pronašli web stranice sa metodama samoubojstva kada su tražili - pričekajte - "metode samoubojstva" "Na Googleu). Primijetili smo kako gotovo svako istraživanje u časopisima kao što je Psihološka znanost oslanjaju se gotovo isključivo na studente prikupljene iz jednog kampusa kao predmete - značajno ograničenje koje se rijetko spominje u samim studijama.
Međutim, ovdje je stvarni zabrinjavajući aspekt - ove se vrste pristranih studija pojavljuju u svim vrstama časopisa. JAMA, NEJM i BMJ nisu imuni na objavljivanje usranih, manjkavih studija iz medicine i psihologije. Mislimo na „respektabilnost“ časopisa kao na nekakav znak uloge čuvara vrata - da studije koje se pojavljuju u najprestižnijim časopisima moraju u osnovi biti zdrave.
Ali to jednostavno nije istina. Car nije samo gol - njegovi su podanici sakrili njegovu odjeću kako bi nastavili vlastitu karijeru.
Pitanje neobjektivnih studija koje su objavljene prvi je put došlo u središte pažnje davne 2004. godine, kada su GlaxoSmithKline tužili generali državnih odvjetnika zbog skrivanja podataka o istraživanju Paxila. Od tada su na vidjelo izašli deseci studija, a od tada su objavljena i druga istraživanja koja pokazuju kako se čini da farmaceutske tvrtke redovito skrivaju relevantne podatke o istraživanjima. Ovi podaci obično pokazuju da lijek koji se proučava nije bio učinkovit u usporedbi sa šećernom tabletom u liječenju bilo kojeg poremećaja kojem je namijenjen. (Blogovi poput Klinička psihologija i psihijatrija: Pomniji pogled i Carlat Psychiatry Blog imaju više detalja o ovim studijama.)
Ali što je s drugim vrstama pristranosti? Zanimaju li nas samo studije u kojima je pristranost tako očita ili ne bismo trebali biti zabrinuti zbog bilo koje vrste pristranosti koja bi mogla utjecati na pouzdanost rezultata?
Odgovor je, naravno, trebali bi nas zanimati svi oblici pristranosti. Sve što može utjecati na krajnje rezultate studije znači da zaključci studije mogu biti upitni.
John Ioannidis, profesor sa Sveučilišta u Ioannini, zainteresirao se za ovo pitanje u medicinskim istraživanjima. Stoga je sastavio stručni tim istraživača i statističara da dublje istraže i vide koliko je problem loš. Ono što je otkrio nije iznenadilo istraživače, ali bit će iznenađenje za većinu laika -
Zbunjen, počeo je tražiti specifične načine na koje studije idu po zlu. Ubrzo je otkrio da je niz pogrešaka koji su počinjeni zapanjujući: od pitanja koja su postavljali istraživači, preko načina postavljanja studija, preko pacijenata koje su regrutovali za studije, do mjerenja koja su vršili i do načina na koji su analizirali podatke , kako su prezentirali svoje rezultate, kako su pojedine studije objavljene u medicinskim časopisima. [...]
"Studije su bile pristrane", kaže on. “Ponekad su bili otvoreno pristrani. Ponekad je bilo teško uočiti pristranost, ali bilo je tamo. " Istraživači su krenuli u svoja istraživanja želeći određene rezultate - i, eto, dobili su ih. Smatramo da je znanstveni proces objektivan, rigorozan, pa čak i nemilosrdan u odvajanju onoga što je istina od onoga što samo želimo biti istinom, ali zapravo je lako manipulirati rezultatima, čak i nenamjerno ili nesvjesno.
"Na svakom koraku procesa postoji prostor za iskrivljenje rezultata, način da se izraže tvrdnje ili odabere ono što će se zaključiti", kaže Ioannidis. "Postoji intelektualni sukob interesa koji pritišće istraživače da pronađu ono što je najvjerojatnije da će ih financirati."
Ioannadis je sastavio složeni matematički model koji će predvidjeti koliko istraživanja mogu biti manjkave, na temelju svih ovih varijabli. Njegov je model predvidio da će se „80 posto nerandomiziranih studija (daleko najčešći tip [- posebno u psihološkim istraživanjima]) [pokazati] pogrešnima, kao i 25 posto randomiziranih ispitivanja navodno zlatnih standarda, i kao čak 10 posto velikih randomiziranih pokusa s platinom. "
Tada je taj model stavio na test na 49 studija koje su sadržavale najcjenjenije nalaze istraživanja u medicinskim istraživanjima u posljednjih 13 godina. To su bili u najcitiranijim medicinskim časopisima, a i sami su bili najcitiraniji članci.
Od 49 članaka, 45 je tvrdilo da su otkrili učinkovite intervencije. Trideset i četiri od tih tvrdnji bile su ponovno ispitane, a 14 od njih, ili 41 posto, uvjerljivo se pokazalo pogrešnim ili značajno pretjeranim. Ako se između trećine i pol najcjenjenijih medicinskih istraživanja pokazalo nepouzdanim, opseg i utjecaj problema bili su neporecivi. [...]
Od tih 45 supercitiranih studija na koje se Ioannidis usredotočio, 11 nikada nije ponovno testirano. Možda i gore, Ioannidis je otkrio da čak i kad se istraživačka pogreška ukloni, ona obično traje godinama ili čak desetljećima. Pregledao je tri istaknute zdravstvene studije iz 1980-ih i 1990-ih, koje su kasnije bile zvučno opovrgnute, i otkrio da su istraživači nastavili navoditi izvorne rezultate češće nego ispravke - u jednom slučaju najmanje 12 godina nakon što su rezultati diskreditirani ,
Toliko o znanstvenicima koji ponovno testiraju objavljene rezultate drugih - jedini konačni način borbe protiv pristranosti. Kako gotovo 25 posto najcitiranijih medicinskih studija u posljednjih 13 godina nikada nije bilo ponovno testirano? Zapanjujući.
Rezultat većine nas je da je gotovo nemoguće bilo kome reći hoće li određeno istraživanje zaista pokazati pozitivne, nove i snažne rezultate. Bez ulaska u detaljnu analizu studije - i svih prethodnika studije - stavljanje novog istraživanja u kontekst dug je i težak zadatak. Nadalje, Ioannidisov model sugerira da je velika većina psiholoških istraživanja - možda čak 80 posto njih - vjerojatno pogrešno. Ovdje stvarno nema srebrne obloge.
Osim što možda istraživački timovi poput Ioannidisa rade na tome da pokažu kako se pristranost može infiltrirati čak i u istraživanje "zlatnog standarda".
Promjene ovdje uvelike ovise o tome kako pojedini istraživači uče o tim pristranostima i puno više rade na tome da osiguraju da ih studij nema. No budući da vratar zapravo ne provjerava dizajn studije ili statističke metode, malo je poticaja za promjenu. Financijski poticaji i poticaji za karijeru za istraživače da nastave objavljivati kao što to tradicionalno imaju kako bi zadržali svoj akademski i profesionalni položaj i dalje su neizmjerno jaki.
Cijeli članak vrijedi vašeg vremena: Laži, proklete laži i medicinska znanost
Iako nije idealno, evo našeg priručnika od prije nekoliko godina o tome kako uočiti upitna istraživanja - je li istraživanje dobro?
