Rangiranje stranačkih škola pristrano, samoispunjavajuće proročanstvo?

Princeton Review objavljuje godišnje popise koledža "Najbolje od ..." temeljene na mrežnoj anketi studenata na svakom fakultetu. Postupak ankete opisuju kao:

Istraživanje Princeton Review postavlja studentima 80 pitanja o akademicima / administraciji njihove škole, životu u kampusu, studentskom tijelu i njima samima. Razgovori za ljestvicu ovog izdanja temelje se na anketama između 120 000 učenika (oko 325 po kampusu) u 366 škola u knjizi (ne u svim školama u zemlji) tijekom 2006.-07. I / ili prethodne dvije školske godine.

Što sve zvuči fino i dobro, sve dok ne pročitate sitni tisak:

Naše istraživanje je kvalitativno i anegdotalno, a ne kvantitativno. Kako bismo se zaštitili od stvaranja napisa koji nije primjeren za bilo koji određeni fakultet, administrativnom kontaktu u svakoj školi šaljemo kopiju profila koji namjeravamo objaviti s dovoljno mogućnosti da odgovorimo ispravkama, komentarima i / ili izravno primjedbe. U svakom slučaju u kojem primimo zahtjeve za izmjene, poduzimamo pažljive mjere kako bismo pregledali prijedloge škole u odnosu na podatke ankete učenika koje smo prikupili i poduzeli odgovarajuće promjene kada je to opravdano.

Ono što nas najviše uvjerava o tome koliko su reprezentativni nalazi naše ankete je sljedeće: Molimo učenike koji sudjeluju u anketi - nakon što su je ispunili - da pregledaju podatke koje smo objavili o njihovoj školi u prethodnoj godini i ocijene nas o njihovoj točnosti i valjanost. Iz godine u godinu dobivali smo visoke ocjene: ove godine 81 posto učenika reklo je da smo u pravu.

U osnovi, dakle, priznaju da im podaci ankete trebaju pružiti subjektivnu, narativnu sliku fakulteta - a ne stvari iz kojih možete izvući široke generalizacije. Pa ipak, upravo je to ono što Princeton Review nastavlja raditi s njihovim podacima - izvući široke generalizacije iz svojih anketa i kvantitativno rangirati fakultete. Sami fakulteti mogu izvršiti neki nepoznati dodatni utjecaj na to pojavljuje li se njihova škola na bilo kojem danom popisu.Ako se čini da je postupak rangiranja manje transparentan i otajan u tajni, to je namjerno.

Kako istraživači mogu pretvoriti anegdotske podatke u kvantitativne podatke? Pa, znanstveno, to ne možete (npr. Ne postoji postupak zasnovan na istraživanju, jer je to doslovno usporedba jabuka ili naranči). Kad organizacija poput ove učini nešto takve prirode, možete iznijeti argument da su bilo koje takve ljestvice samo mišljenja ljudi koji su sastavili popis, na temelju mišljenja drugih ljudi o onima koji su stvarno pohađali školu.

Sve bi to bilo u redu, osim da Pregled stavlja sve ove stvari na popise što sugerira da imaju uopćeno značenje kad nemaju. Popis "Top 20 stranačkih škola" nije ništa drugo nego mišljenja nekih ljudi koja se temelje na "kombinaciji anketnih pitanja koja se tiču ​​upotrebe alkohola i droga, sati učenja svakog dana i popularnosti grčkog sustava". Mogli su jednako lako odabrati drugačiji niz odgovora na koji bi se drugačije pokvarilo rangiranje škola.

Veće škole s većim studentskim tijelima vjerojatno se neće značajno razlikovati u pogledu veličine njihovog grčkog sustava (velikog) i širokog spektra socijalnih i drugih neakademskih mogućnosti koje nude svojim učenicima (što rezultira sa manje sati učenja svakog dana) , Čini li to vjerojatnije da će takva škola biti „stranačka škola“ u kombinaciji s gledanjem onoga što učenici kažu koliko piju? Naravno da ne. To može samo značiti da je škola izvrsno mjesto za učenje i druženje.

Plakat predstavljen proteklog vikenda na APS-u, pod nazivom "Samoispunjavajuće proročanstvo i Princeton Review: opisi ili recepti za piće na fakultetu?" u glavu mi stavio prijedlog koji mjeri poput Princeton Review imaju neku sumnjivu valjanost. Istraživači su pogledali stvarne podatke o korištenju alkohola tijekom jednog desetljeća za jedno srednje veliko sveučilište smješteno u zapadnom New Yorku i usporedili ga s raznim povezanim ljestvicama u Princeton Review, Pronašli su ljestvicu na Princeton Review nema sustavnu korelaciju s bilo kojim podacima o upotrebi alkohola koji su ispitali. Otkrili su da su podaci o konzumaciji alkohola u korelaciji s objavljenim ljestvicama nakon što su objavljeni - što sugerira samoispunjavajuće proročanstvo.

Istraživači su primijetili da bi, budući da je njihovo istraživanje provedeno na samo jednom sveučilištu, trebalo ponoviti istraživanje na drugim fakultetima i sveučilištima prije nego što se generalizira iz nalaza. Ali nalazi su ipak zanimljivi za primijetiti.

Referenca:

Clark, C.D. et. dr. (2008). Samoispunjavajuće proročanstvo i Princeton Review: opisi ili recepti za piće na fakultetu? Poster predstavljen na 20. godišnjem saboru Udruženja za psihološku znanost, Chicago IL, 24. svibnja.