Je li znanost mrtva? Riječju: Ne

Prije nekoliko tjedana Jonah Lehrer napisao je pomalo priglup i senzacionalistički članak za Njujorčanin pod naslovom, Istina se troši: Je li nešto loše u znanstvenoj metodi? U njemu Lehrer navodi anegdotske dokaze (i malo podataka) da bi potkrijepio tvrdnju da je možda znanstvena metoda - kako znanstveno potvrđujemo svoje hipoteze podacima i statistikama - užasno pogriješila.

No ono što je Lehrer propustio primijetiti jest da većina istraživača već zna za nedostatke koje opisuje i marljivo radi na smanjenju utjecaja tih pitanja.

Znanstvena metoda nije slomljena. Ono što Lehrer opisuje jednostavno je znanost na djelu - i djeluje.

Najbolji odgovor na ovaj esej donosi pisac ScienceBlogsa PZ Myers, Znanost nije mrtva. U ovom pobijanju Myers ukazuje na primarne probleme sa znanošću kad ona ne može ponoviti prethodna otkrića:

1. Regresija na srednju vrijednost: Kako se broj podatkovnih točaka povećava, očekujemo da će se prosječne vrijednosti regresirati na pravu srednju vrijednost ... a budući da se često početni rad obavlja na temelju obećavajućih ranih rezultata, očekujemo da će se više podataka slučajno izjednačiti značajan rani ishod.
2. Učinak ladice datoteka: Rezultate koji nisu značajni teško je objaviti, a na kraju se spremaju u ormar. Međutim, kako se rezultat uspostavlja, suprotni rezultati postaju zanimljiviji i objavljiviji.
3. Pristranost istražitelja: Teško je zadržati znanstvenu nepristranost. Svi bismo voljeli da naše hipoteze budu potvrđene, pa smo skloni svjesno ili nesvjesno odabrati rezultate koji favoriziraju naše stavove.
4. Komercijalna pristranost: Tvrtke za lijekove žele zaraditi novac. Oni mogu zaraditi od placeba ako za to postoji neka statistička podrška; sigurno postoji pristranost prema iskorištavanju statističkih odstupanja radi zarade.
5. Varijacija stanovništva: Uspjeh u dobro definiranoj podskupini populacije može dovesti do pomalog puzanja: ako lijek pomaže ovoj skupini s dobro definiranim simptomima, možda bismo ga trebali isprobati na drugoj skupini s marginalnim simptomima. I ne ... ali ti će se brojevi i dalje koristiti za procjenu njegove ukupne učinkovitosti.
6. Jednostavna šansa: Otkrio sam da je ovo teško prenijeti ljudima. Ali ako je nešto značajno na razini p = 0,05, to još uvijek znači da će 1 od 20 pokusa s potpuno beskorisnim lijekom i dalje pokazivati ​​značajan učinak.
7. Statistički ribolov: mrzim ovaj i stalno ga viđam. Planirani eksperiment nije pokazao značajne rezultate, pa se podaci upoređuju i svaka značajna korelacija se uzima i objavljuje kao da je namjeravana. Vidi prethodno objašnjenje. Ako je skup podataka dovoljno složen, uvijek ćete negdje pronaći korelaciju, čisto slučajno.

Broj 1 objašnjava puno problema koje danas nalazimo u znanosti, posebno psihološkoj. Znate većinu onih eksperimenata o kojima ste čitali Psihološka znanost, vodeća publikacija Udruge za psihološku znanost? Oni su sranje. Riječ je o N = 20 eksperimenata provedenih na malim, homogenim uzorcima većinom kavkaskih studenata na sveučilištima na zapadu. Većina ih se nikad ne replicira, a manje ih se replicira na veličinama uzoraka koji bi vjerojatno pokazali da izvorni rezultati nisu ništa drugo nego statistička slučajnost.

Istraživači to već znaju, ali žive prema sasvim drugačijim pravilnicima od vas ili mene. Njihovo preživljavanje ovisi o nastavku nastavka dobrog istraživanja koje se može objaviti. Ako prestanu raditi ovo istraživanje (ili ga ne mogu objaviti u recenziranom časopisu), u većem su riziku od gubitka posla. U akademskim krugovima poznat je pod nazivom „objavi ili propadni“ i to je vrlo stvarna motivacija za objavljivanje bilo kojeg istraživanja, čak i ako znate da se rezultati vjerojatno neće ponoviti. Pogledajte gore navedeni broj 3.

Napokon, toliko vidim broj 7 u istraživanjima koje pregledam, gotovo je neugodno. Znanstvena metoda djeluje dobro i pouzdano samo ako prethodno formulirate hipoteze, pokrenete svoje subjekte da prikupljaju vaše podatke, a zatim ih analizirate prema hipotezama s kojima ste započeli. Ako odlučite započeti mijenjati hipotezu kako bi odgovarala podacima ili pokrenete statističke testove na koje niste računali, prljate svoje nalaze. Krenite u ribolovnu ekspediciju koju je obavio svaki istraživač. Ali samo zato što su svi to učinili, znači da je to dobro ili etično ponašanje.

Problem je u tome što je istraživanje dugotrajno i često skupo. Ako ste upravo testirali 100 ispitanika i niste pronašli ništa značajno (prema vašim hipotezama), ne samo da nećete objaviti tu studiju, već ste upravo potrošili mjesece (ili čak godine) svog profesionalnog života i vaš uvijek ograničeni proračun za istraživanje.

Ako ne možete vidjeti kako bi to moglo rezultirati objavljivanjem manje od optimalnih nalaza istraživanja, možda ste pomalo slijepi za osnovnu ljudsku psihologiju i motivaciju. Budući da istraživači nisu super-ljudi - oni imaju iste pogreške, pristranosti i motivacije kao i svi drugi. Znanstvena metoda - ako se strogo slijedi - trebala bi to objasniti. Problem je u tome što nitko zapravo ne motri na istraživače kako bi se osiguralo da ga slijede i za to ne postoji svojstveni poticaj.

Završit ću s ovim zapažanjem, opet iz PZ Myers,

To je sve što ova frka zapravo govori [- s] ponekad se hipoteze pokažu pogrešnima, a ponekad ako se podrška hipotezi temelji na slabim dokazima ili visoko izvedenoj interpretaciji složenog skupa podataka, može potrajati dugo isplivao točan odgovor. Tako? Ovo nije neuspjeh znanosti, osim ako nekako ne očekujete trenutno zadovoljstvo za sve ili potvrdu svake drage ideje.

Amen.

Tuđa mišljenja o Lehrerovom eseju

Znanost nije mrtva - PZ Myers

U pohvalu znanstvenoj pogrešci - George Musser

Jesu li ljudi problem sa znanstvenom metodom? - Charlie Petit

Istina u koju ćemo sumnjati: Znači li "učinak opadanja" da je sva znanost "prljava"? - John Horgan

Tajanstveni pad učinka - Jonah Lehrer