Je li istraživanje dobro?
Želite li biti bolji potrošač istraživanja društvenih znanosti? Evo kratkog lista za jaslice za utvrđivanje opće legitimnosti i generaliziranosti gotovo bilo koje studije društvenih znanosti. Imajte na umu da ovaj list jaslica neće biti 100% točan ili relevantan za primjenu na svaku studiju o kojoj možda čitate. Ali to je dobar kratki vodič koji će vam pomoći da započnete.
Kakvo je to istraživanje bilo?
Najsnažnije, najbolje studije zapošljavaju eksperimentalnu i kontrolnu skupinu. Studije koje izostavljaju kontrolnu skupinu obično su manje korisne od onih koje to čine. Istraživanje je najmanje moćan tip istraživanja koje se može provesti, jer nema eksperimentalnu ili kontrolnu skupinu, ali može biti korisno za utvrđivanje trendova ili uvrštavanje koncepata ili hipoteza koje se mogu dublje proučiti.
Kolika je bila studija?
Studija na manje od 50 ljudi u gotovo bilo kojem eksperimentalnom dizajnu imat će vrlo, vrlo ograničenu generalizaciju (jer im gotovo uvijek nedostaje dovoljna statistička snaga). To znači da, iako rezultati mogu biti potencijalno zanimljivi, dok se ne repliciraju u drugu skupinu (i po mogućnosti veću skupinu), trebali biste ih uzimati s rezervom. (Neka istraživanja, poput eksperimentalnih dizajna za pojedinačne slučajeve, mogu također pružiti pojedinačne točke interesa ili buduća istraživanja, ali općenito nam mogu malo reći o širim trendovima ili tretmanima.)
Tko je bio u radnoj sobi?
Dobro istraživanje nastoji koristiti sudionike koji su reprezentativni za populaciju općenito. Što je uzorak reprezentativniji, to se više može generalizirati iz rezultata. Dakle, istraživanje od 200 sudionika uravnoteženo prema spolu, rasi, socio-ekonomskom statusu i povijesti daleko je bolje od istraživanja na 200 studenata s Harvarda ili OSU-a.
Koliko dugo su ljudi studirali?
Studija koja ispituje sudionike kraće od 12 tjedana za bilo koju vrstu liječenja gotovo je beskorisna. Nijedan kliničar ili liječnik za koje znam da nikada nisu imali nijedan tipičan, uobičajeni tip liječenja koji je djelovao za manje od 12 tjedana. Istraživanje koje u jednom trenutku anketira skupinu ljudi znači da su pronađeni rezultati dobri za taj određeni trenutak u vremenu.
Postoje dobre i razumne iznimke od ovog pravila, za liječenje anksioznosti (lijekovi se često uzimaju po potrebi, ne svaki dan) i za stvari poput akutne psihoze ili manije. Studije koje ispituju ove specifične probleme mogu trajati kraće vrijeme i još uvijek pružaju dragocjene informacije.
Zapravo, pruža nam bilo koje kraće istraživanje (poput četverodnevnog ili osmotjednog) neki informacija. Samo što su ti podaci snimka tipične pukovnije za liječenje i ne daju nam potpunu sliku kao dulja studija liječenja. Trajanje studije manje zabrinjava bilo koju studiju koja nije posebno ispitivanje liječenja mentalnog poremećaja.
Tko je financirao studiju?
Općenito, većina studija koje financira država pokazat će manje pristranosti od onih koje financira tvrtka (poput farmaceutske tvrtke) s izravnim interesom za postizanje određenog rezultata. Gotovo se sve studije provode u okviru sveučilišta ili bolnice, međutim, tako da podaci o financiranju možda neće biti dostupni (udruge istraživača obično pružaju malo podataka o načinu financiranja studije). Državno financiranje ne znači da se studija ne može loše dizajnirati ili provesti, to samo znači da se ne morate brinuti o "pristranosti financiranja" koja utječe na rezultate.
Kako autori govore o svojim rezultatima?
Autori bi trebali biti skromni i oprezni u pogledu svojih rezultata i ne donositi pretjerano široke generalizacije ili sažete zaključke (posebno o uzročno-posljedičnoj povezanosti ako uzročnost nije bila predviđena u studiji, kao što to obično nije). Autori bi također trebali jasno opisati ograničenja trenutne studije u bilo kojem članku časopisa; članke koji takve informacije izostavljaju treba promatrati skeptično, jer svaka studija ima ograničenja.
Autori bi također trebali jasno primijetiti razliku između kliničke i statističke značajnosti u studijama liječenja. Promjena od 2 ili 3 boda na ljestvici koja mjeri depresiju može biti statistički značajna (što rezultira „pozitivnim“ rezultatom), ali ima malo kliničkog značaja za većinu sudionika. (Primjere za to potražite u ovom članku ili ovom članku.) Iako je informativno znati da je eksperimentalna skupina statistički različita (npr. Bolja od slučajne) od kontrolne skupine, ta razlika možda većini nas nema stvarno značenje ,
Pazite se i studija koje se u potpunosti oslanjaju na kliničke mjere ili ljestvice bez ikakvih ljestvica koje su ocijenili pacijenti. Tko vam može reći da liječenje djeluje od samog pacijenta?
* * *Zahvaljujemo CL Psychu na pregledu ranijeg nacrta ovog članka.
