Što znači nedostatak ponovljivosti u psihološkim istraživanjima?

Prošli su tjedan stigli rezultati najvećeg svjetskog napora na reprodukciji rezultata pronađenih u psihološkim istraživanjima. Projekt reproduktivnosti Briana Noseka pogledao je 100 rezultata psiholoških eksperimenata objavljenih 2008. iz samo tri glavna psihološka časopisa. Pokušao je reproducirati studiju kako bi vidio kakve će rezultate dobiti.

U idealnom svijetu netko bi mogao pomisliti da je nešto od reda 75 ili čak 80 posto studija trebalo iznjedriti slične rezultate, zar ne? Budući da su nova istraživanja jednostavno provodila na drugoj populaciji istraživači koji su pažljivo slijedili izvorne metode istraživača. U većini slučajeva istraživači su imali i izravan kontakt i suradnju izvornih istraživača.

No, u pronalasku se zavrtilo desetak različitih načina od objavljivanja u prošlotjednom časopisu Znanost časopisa, Projekt se nije približio na 75 posto. Samo 36 posto replikacija dalo je značajne rezultate - u usporedbi s 97 posto od prvotnih 100 studija.

Što to znači za psihologiju?

Unatoč tome što su neki pokušali ovo otkriće zavrtjeti kao neočekivano ili "ne toliko loše koliko je moglo biti", ovo ne sluti na dobro psihološkoj znanosti. Svaki mjesec objavljuju se stotine novih studija psihologije. Ovo ukratko znači da ovo otkriće ne treba vjerovati. Oni su u stvari lažni.

Iz Atlantika pokrivenost:

"Stopa uspjeha niža je nego što bih mislio", kaže John Ioannidis sa Sveučilišta Stanford, čiji je klasični teorijski rad Zašto su većina objavljenih nalaza istraživanja lažna je bio gromobran za pokretljivost reprodukcije.

“Osjećam se loše kad vidim da su neka moja predviđanja potvrđena. Volio bih da su dokazali da nisu u pravu. "

Još jedno loše otkriće novog istraživanja jest da su izmjerene veličine učinka obično bile 50 posto manje od onih koje su pronašli izvorni istraživači. To znači da čak i kad su novi istraživači reproducirali rezultate, utjecaj proučavanih varijabli nije bio ni približno važan koliko se prvotno mislilo.

Razlozi za lošu ponovljivost u psihološkim istraživanjima

Postoji desetak različitih razloga za ovo loše pokazivanje psihološkim istraživanjima. No, prije nego što pregledamo neke od njih, ovo je hladno prskanje vode stvarnosti uzimajući rezultate iz jedne studije i generalizirajući ih. Ili još gore, vjerovanje da je nešto istina kad to još nije pokazalo više od jedne studije.

Ako studija nije dvostruko slijepa - jer većina njih to nije bila - vlastite pristranosti istraživača mogu suptilno utjecati na način na koji se podaci prikupljaju ili analiziraju. Ako je istraživač upravo proveo 8 ili 18 mjeseci prikupljajući podatke samo kako ne bi našao značajne rezultate, oni mogu krenuti u ekspediciju za ribolov podataka kako bi pronašli neki drugi odnos podataka koji mogu objaviti.1 Istraživači tada mijenjaju svoje izvorne hipoteze kako bi odgovarali onome što podaci zapravo predstavljaju pronađena (budući da većina istraživača još uvijek ne registrira svoja istraživanja službom za praćenje - iako se to polako mijenja).

Drugi su sugerirali da je možda "iznenađenje" drugo objašnjenje - da se časopisi danas usredotočuju na objavljivanje iznenađujućih otkrića, jer su popularniji i zanimljiviji čitateljima. Kad u mogućnost dodavanja mogućnosti regresije dodate sredinu - da varijable mogu biti najekstremnije kad se mjere prvi put, ali manje ekstremne kada se mjere drugi ili treći put - prijedlog je da se ova dva čimbenika kombiniraju kako bi potaknula objavljivanje studija koje su suštinski teške razmnožavati.

Što to znači za psihološku znanost?

Ljudska je priroda beskrajno složena. Psihološka znanost pokušava dekonstruirati ljudsko ponašanje i osjećaje u male dijelove kako bi bolje razumjela cjelinu. Međutim, ako istraživanje ne može reproducirati znanost koja stoji iza studija, sugerira da se također ne može vjerovati velikom dijelu onoga što to područje svake godine objavi.

Međutim, također ne znamo statistiku ponovljivosti većine znanosti, budući da se nikada prije nije pokušavalo ništa poput Projekta ponovljivosti u drugim poljima. Može biti da je to mana koju trpi većina znanosti, ili može biti mana koja utječe na društvene znanosti više nego na druge znanosti.

Ali u kratkom roku, ovo naglašava nešto što sam uvijek govorio - nalaz psihološke znanosti nije nešto na što možete objesiti kapu dok ga drugi reproduktor ne reproducira. Za nalaze koji se mogu reproducirati kaže se da su "robusni" i da im se zato vjeruje.

Potražite ovu vrstu informacija prilikom ocjenjivanja ili čitanja novinskih članaka na temelju nove studije. Iako nisu tako seksi kao nova, „iznenađujuća“ saznanja, istraživanja koja provjeravaju ili dovode u pitanje ono što već mislimo da znamo jednako su važna.

Za daljnje informacije…

Atlantik: Koliko su pouzdani studiji psihologije?

The Guardian: Studija donosi sumornu presudu o valjanosti rezultata psihološkog eksperimenta

Mindhacks: Ne zovite to povratkom

upućivanje

Otvorena znanstvena suradnja. (2015). Procjena ponovljivosti psihološke znanosti. Znanost, 28.

Projekt ponovljivosti: Psihologija - sirovi podaci

fusnote:

1. Inače je svo to vrijeme, novac i trud izgubljen, jer malo istraživača može ili želi objaviti ništavne rezultate. [↩]
2. I doista dovodi u pitanje široke generalizacije autora o primjenjivosti njihovih nalaza, pronađene u gotovo svim dijelovima rasprave nedavnih studija psihologije. [↩]