Neka podaci govore? Ne, ne uvijek
Frank L. Schmidt, cijenjeni profesor i istraživač sa Sveučilišta Iowa, održao je u subotu na 20. konvenciji Udruge za psihološke znanosti govor o tome kako znanstveni podaci mogu lagati. Da, to je točno, empirijski podaci - čak i oni objavljeni u uglednim, recenziranim časopisima - redovito ne govore istinu.
Schmidtov govor bio je dobro posjećen u jednoj od najvećih plesnih dvorana u hotelu Sheraton Hotel and Towers u Chicagu gdje se održava konvencija. Iako neravnomjerna prezentacija, naišle su Schmidtove glavne točke.
Jedan od njih je da će naivno tumačenje više skupova podataka često biti najispravnije - Occamov brijač ("najjednostavnije rješenje obično je najbolji odgovor"). Schmidt tvrdi da dobro istraživanje pronalazi jednostavnu strukturu u osnovi složenih podataka.
Sažeo je da su dva glavna razloga zašto podaci mogu "ležati" u istraživanju - pogreške uzorkovanja i pogreške mjerenja.
Najveća Schmidtova kritika bila je usmjerena na fetiš psihološke znanosti s ispitivanjem značajnosti - npr. Statističke značajnosti. Želi da se psihologija udalji od svog oslanjanja i fascinacije statističkim značajem, jer je to slaba, pristrana mjera koja u osnovi malo govori o temeljnim podacima ili hipotezama.
Schmidt je opisao šest mitova ispitivanja značaja okoline. Jedan od mitova bio je da je dobra vrijednost p pokazatelj značajnosti, kada je zapravo samo pokazatelj razine snage studije. Druga je bila činjenica da ako nije pronađen nikakav značaj, to znači da nije pronađen odnos između varijabli (u stvari, to može jednostavno značiti da studiji nedostaje dovoljne snage).
Schmidtova rješenja jednostavna su - umjesto toga prijavite veličine učinka (procjene bodova) i intervale pouzdanosti te potpuno de-naglasite testiranje značajnosti.
Završio je isticanjem novootkrivenog naglaska na metaanalizama u psihološkim istraživanjima, posebno prozivajući časopis Psihološki bilten, U još objavljenoj studiji, on i drugi istraživači ispitali su sve meta-analize objavljene u Psihološki bilten od 1978-2006 - ukupno 199 studija.
Istraživači su otkrili da je 65% ovih ispitivanih studija koristilo model "fiksnih efekata" za svoju metaanalizu. Schmidt je tvrdio da se u modelima s fiksnim efektima odnosi podataka podcjenjuju (za čak 50%) i da istraživači pretjerano procjenjuju koliko su precizni (koliko malo pogreške postoji u toj procjeni). Umjesto toga, Schmidt preferira modele "slučajnih efekata" koji bolje objašnjavaju ove varijacije.
Također je primijetio da u 90% ispitivanih studija nisu napravljene korekcije pogreške mjerenja - jedan od glavnih razloga koje navodi da podaci mogu "ležati" u psihološkim istraživanjima.
S obzirom na ovu analizu, Schmidt sugerira da veliki broj metaanaliza objavljenih u recenziranim časopisima dolazi do netočnih ili pogrešnih zaključaka.
Nažalost, malo je vjerojatno da će se ovo stanje uskoro promijeniti. Iako su mnogi psihološki časopisi usvojili strože standarde za objavljivanje istraživanja koji se bolje pridržavaju Schmidtovih prijedloga, mnogi se još uvijek i nemaju namjeru mijenjati.
Prosječnoj osobi ovo znači da ne možete vjerovati svakoj objavljenoj studiji samo zato što se ona pojavljuje u recenziranom časopisu, koji se zatim u medijima objavljuje kao „činjenica“ putem priopćenja za javnost. Takve su činjenice podatne, mijenjaju se i neispravne su. Samo pažljivim čitanjem i analizom takvih studija možemo shvatiti vrijednost podataka koje oni predstavljaju.
