Mehanički turčin za spas psiholoških istraživanja?
Što je stvaran problem, jer kao što sam primijetio još u kolovozu 2010., postoji doslovno tisuće studija psihologije koje se temelje samo na hrpi studenata iz jednog kampusa na sveučilištu u SAD-u, dok mladi odrasli koji pohađaju koledž mogu zaista nam pomozite razumjeti neke aspekte ljudskog ponašanja, ne možete samo pretpostaviti da se ponašanje koje ste primijetili u tim studijama odnosi i na 60-godišnje žene i muškarce.
U pomoć uđite u službu Amazon.com Mechanical Turk. Može li tehnologija pomoći u rješavanju nedoumice oko pronalaska dovoljno ljudi koji su reprezentativniji za stanovništvo i to na isplativ način?
Za početak vam može pomoći da shvatite što je mehanički Turk. To je internetsko tržište koje prodavačima omogućuje kupnju ljudske radne snage po vrlo jeftinim troškovima za nekakve mrežne zadatke. "Web lokacija može se pohvaliti velikom, raznolikom radnom snagom koja se sastoji od preko 100 000 korisnika iz preko 100 zemalja koji svakodnevno izvršavaju desetke tisuća zadataka", napominju istraživači. Ti radnici dobivaju plaće po dijelovima za svaki zadatak, ponekad i do 1 cent. Zadaci se razlikuju i mogu raditi bilo što, od pregledavanja web stranice u potrazi za pogreškama, do popunjavanja anketa.
Ah da, ispunjavanje anketa. Mnoga psihološka istraživanja temelje se na tome da ljudi ispunjavaju ankete. Ne bi li bilo lijepo kad bismo mogli natjerati ljude - ljude koji nisu bili studenti - da to rade s nečim manje od 10 dolara po anketi ... Recimo, 10 centi?
Buhrmester i sur. (2011) namjeravali su otkriti hoće li takvi ljudi s mehaničkim Turcima ispunjavati ankete na način koji je u skladu s ljudima od kojih biste mogli tražiti da učine nešto slično licem u lice.
Prvo su istraživači istražili demografiju 3.006 sudionika Mechanical Turka i uspoređivali ih s velikim internetskim uzorkom koji nije dobiven od Mechanical Turka. Otkrili su da su sudionici Mechanical Turk (MTurk) raznolikiji i od internetskog uzorka i od standardnog uzorka studentske populacije.
Zatim su provjerili različite cjenovne točke (2, 10 i 50 centi) radi popunjavanja niza anketa koje su uzimale različito vrijeme (5, 10 i 30 minuta). Ono što su pronašli ne bi trebalo iznenaditi nikoga tko koristi MTurk:
Te analize sugeriraju da se sudionici mogu regrutirati brzo i jeftino. Stope sudjelovanja osjetljive su na iznose naknada i vremenske obveze, ali naša otkrića pokazuju da je moguće prikupiti uzorke pristojne veličine putem MTurka za samo dolare. Čak i kad smo ponudili samo 2 centa za zadatak od 30 minuta, skupili smo 25 sudionika (za oko 5 sati vremena objavljivanja). Štoviše, samo neznatnim povećanjem naknade (npr. Na 50 centi), uspjeli smo dobiti isti broj sudionika za manje od 2 sata vremena objavljivanja.
Kakva je korist od jeftine radne snage ako nije kvalitetna i ne udovoljava psihometrijskim standardima koji su potrebni istraživačima psihologije?
Istraživači su otkrili da čak i pri najnižoj razini naknade od 2 centa, razine plaćanja ne utječu na kvalitetu podataka. Istraživači mogu platiti lipe za popunjavanje anketa i pouzdano dobiti kvalitetne podatke.
Istraživači su izračunali srednje vrijednosti alfa pouzdanosti na svim razinama naknade za šest upitnika osobnosti koje su provodili na mreži. Otkrili su da su MTurk alfa rezultati unutar dvije stotine točke od alfa s tradicionalnim uzorkom. Također su testirali rezultate pouzdanosti ponovnog testiranja i pronašli srednju vrijednost r = 0,88 sa stopom završetka ponovnog testiranja od 60 posto. Sve su to vrlo dobre brojke i povoljno se uspoređuju s tradicionalnim metodama.
Rezultat ovog istraživačkog istraživanja sugerira da je Mechanical Turk pouzdana alternativa korištenju populacije koledža za dobivanje podataka iz anketa - a možda je čak i bolja alternativa od tradicionalnih internetskih istraživanja. Za samo novčiće ljudi će popuniti čak i poduge upitnike u svojim naporima da pomognu drugima svojim projektima i istraživanjima. Iako je potrebno obaviti više istraživanja kako bi se potvrdili ovi nalazi, čini se da je MTurk tržište koje bi više istraživači psihologije trebali uzeti u obzir dok pripremaju svoje sljedeće istraživanje.
upućivanje
Buhrmester, M., Kwang, T. i Gosling, S.D. (2011). Amazonov mehanički turk: novi izvor jeftinih, a opet visokokvalitetnih podataka? Perspektive psihološke znanosti, 6 (1), 3-5.
Ovaj članak sadrži pridružene linkove na Amazon.com, gdje se Psych Central plaća mala provizija ako se knjiga kupi. Zahvaljujemo na podršci Psych Central-a!
