Loša znanost: MyType iPad Research

Mrzim davati tisak "istraživačkoj firmi" koja ne zna prvo o izvještavanju statistika ili osnovne metodologije u vlastitom izvješću o "istraživanju". Pretpostavljam da se to događa kada okupite hrpu ljudi koji su uglavnom tehnolozi, a ne statističari ili društveni znanstvenici.

Proteklog tjedna MyType, Facebook aplikacija za osobnost koja uzima vaše podatke, a zatim prodaje zbirna izvješća na temelju vaših odgovora na njihov kviz, objavio je izvještaj o iPadu. Sugerirali su da su vlasnici iPada i oni koji ga žele kupiti bili "sebična elita", dok su oni koji su bili iPad kritičari okarakterizirani kao "neovisni štreberi".

Već možete reći da ovo zapravo neće biti znanstvena analiza, zar ne?

Prvo je MyType izvještavanje o svojim rezultatima. Ono što nije uključeno u stvarno izvješće jesu stvarni statistički testovi koji se koriste, statistička značajnost (p vrijednosti) i broj ispitanika u svakoj proučavanoj skupini. Znate, osnovne su vrste podataka koje drugi istraživači traže kako bi procijenili predstavljene rezultate. Bez tih osnovnih informacija, ovakva vrsta "istraživanja" nije ništa bolja od dodiplomskog rada za njihov predmet Psihologija 101.

Osoba po imenu John Hall prozvala ih je u odjeljku za komentare, nakon čega su počeli davati široke izjave o p vrijednostima (ali opet, bez ikakvih specifičnosti, razbijanje svake analize, što biste očekivali na tržištu ili u znanstvenom radu) istraživanje). Doktor F pokušao je educirati MyType ljude o osnovnoj statističkoj teoriji, jer očito ne znaju puno o tome kako osmisliti dobru istraživačku studiju.

Ono što je također jasno iz odjeljka za komentare jest da netko uređuje komentare kako bi uklonio stvari zbog kojih je kasnije požalio. John Hall citira očito Tima Koelkebecka koji kaže da ga, s obzirom na to da ima diplomu informatike (očito prvostupnik), nekako kvalificira za dizajn i metodologiju istraživanja, kao i statistiku. Neparan.

No, najveći poklon da ovo nije ozbiljna istraživačka studija jesu pridjevi odabrani za opisivanje dviju skupina ljudi. Uzeli su neke proizvoljne osobine ličnosti kako bi opisali svaku skupinu. Mogli su jednako lako reći da su vlasnici koji nisu iPad, neurotični, nesigurni, ponosni i neoprezni. Je li to ipak legitimna karakterizacija vlasnika koji nisu iPad? Naravno da ne, to je samo ono što pokazuje njihov mali, pristrani skup podataka. S obzirom na to da ni test mirisa ne prolazi, natjerao bi većinu istraživača da se zapitaju idu li krivim putem.

Prateći vlastite podatke, kritičare iPada mogli su okarakterizirati kao netolerantne, ne vole milosrđe i prijateljstvo, agresivne i cinične tinejdžere. Wow, nema iznenađenja - morali biste izazivati ​​jesu li spol ili dob iskrivljavali ove rezultate (i ponuditi alternativno objašnjenje zabilježenim osobinama). "Istraživači" su također mogli opisivati ​​vlasnike iPada kao obiteljski orijentirane, pametne odrasle osobe s visokim uspjehom koje su maštovite i sofisticirane.

Ali nisu. Pokušali su sažeti hrpu različitih osobina u dopadljive marketinške fraze kako bi napravili naslove vijesti - fraze koje nisu bile niti posebno točne, niti posebno znanstveno valjane. To nije spriječilo desetke legitimnih, mainstream vijesti poput CNET-a, ZDNet-a, pa čak i Wireda da izvještavaju o rezultatima bez podizanja obrve zbog nedostatka znanstvene strogosti ili metode.