Put ispred znanosti: TweetPsych

Nova usluga koju je ovaj tjedan pokrenuo web programer Dan Zarrella pod nazivom TweetPsych. Zarrella je također marketinški menadžer za HubSpot, tvrtku za internetski marketing. Zarrella sebe naziva "znanstvenikom", jer pretpostavljam da zvuči seksi od "web programera" ili "marketinškog menadžera", ali ne navodi nikakve akademske podatke. (Ne bih spomenuo dio znanstvenika ili vjerodajnice, osim da Zarrella iznosi posebne znanstvene tvrdnje o svojoj novoj službi.)

Zanimljiva nova usluga na tržištu se nudi kao "psihološko profiliranje" na temelju onoga što objavite na Twitteru. Ali to je zapravo samo usluga analize sadržaja, koja koristi dva psihološka rječnika i vaših zadnjih 1000 tweetova. Zarrella tvrdi da ova analiza "gradi psihološki profil osobe". Pravo psihološko profiliranje je znanost i obično se radi s puno više od samo jednog dijela čovjekovog života (kao što je ono što napišu na usluzi mikro-blogova). TweetPsych tada iznosi proturječnu tvrdnju da je to "samo u zabavne svrhe". Koji je?

Postoje problemi s jednim od rječnika koje Zarrella koristi i u analizi. Jedan rječnik - LIWC - valjana je baza podataka psihološke lingvistike. No, drugi je, Rječnik engleskih regresivnih slika (RID), daleko manje. RID se sastoji od oko 3200 riječi i korijena dodijeljenih 43 kategorije mišljenja i raspoloženja. Primarni problem RID-a je taj što u osnovi nema potporu istraživanju (usprkos Zarrelinom citiranju web mjesta zbog kojeg se čini kao da to čini). Razvio ga je jedan profesionalac, koji je potom napisao hrpu knjiga o tome i drugim psihoanalitičkim procesima. Knjiga nije isto što i članak recenziranog istraživačkog časopisa (kao što istraživači znaju), a RID-u u potpunosti nedostaje bilo kakva empirijska podloga. To sugerira da je pola analize nevaljano prije nego što uopće započnemo.

Drugi rječnik, Lingvističko istraživanje i brojanje riječi (LIWC), temelji se prvenstveno na pisanoj riječi - spisima ljudi - ili izgovorenoj riječi - poput terapijske seanse ili razgovora dvoje ljudi. Nije razvijen za analiziranje umjetnih kratkih unosa od 140 znakova, poput onih na Twitteru. Ljudi skraćuju riječi kad tweetaju, zbog ograničenja broja znakova, i nije jasno da će jednostavnim rezanjem precizno analizirati sve riječi napisane s nestalnim skraćenicama u letu. Što je s ponovnim tweetovima? Osoba koja nešto retvituje ne mora nužno "govoriti", već djeluje kao usnik za tuđe riječi. Razlikuje li se usluga? Bez da znate opseg problema, ne biste imali pojma je li vaša analiza na neki način umjetno pristrana (osim ako prvo niste posebno proučili ove vrste problema). Ovi se problemi mogu riješiti, ali nisu obrađeni u ovoj usluzi.

Zarrelina sposobnost da u nekoliko sekundi brzo analizira 1.000 tweetova i usporedi sav tekst u njima s ova dva rječnika divan je podvig lingvističkog programiranja. Izazov s kojim se tada suočio je: "Kako da predstavim rezultate analize na promišljen, intuitivan i djelotvoran način?" Ovo je dio u kojem TweetPsych jednostavno ne uspijeva isporučiti.

Budući da Zarrella očito ima malo psihologije, rezultati psihologije prilično su nezadovoljavajući. Dobit ćete popis "značajki" (vaše osobnosti? Vašeg tweetova?) Koje uključuju stvari poput "Zanimanje i posao". Pored njega nalazi se koristan opis "Mnogo pričate o poslovima i svom poslu" i rezultat.

Joj, hvala na sjajnom uvidu.

Nemate pojma što rezultat znači, jer za to nema konteksta. Je li 47,87 za posao dobro ili loše? Koji je prosjek? Ostale značajke uključuju "Sadašnje vrijeme", "Kretanje prema gore", "Pozitivne emocije", "Negativne emocije" i tri tuceta drugih kategorija.

Ovaj dio analize, zasnovan na ZIŽ-u, također je jednako dobar kao i osnovni rječnik LIWC-a. Iako su kategorije kao što su posao, postignuća i slobodno vrijeme "trenutne brige" koje LIWC može identificirati, nema kategoriju za nešto poput "zabrinutosti u vezi". Ali to ne biste znali da niste poznavali LIWC. To bi moglo biti nešto što biste spomenuli ljudima koji uzimaju analizu. Ostali popularni tematski sadržaji o kojima se redovito objavljuje - poput politike, tehnologije i poznatih osoba - također nisu dio LIWC-a. Pa se opet neće nikada pojaviti u analizi, čak i ako je to sve o čemu govorite. Dakle, podaci koje LIWC - i, nadalje, TweetPsych - može pružiti su ograničeni. (Korištenje prilagođenog rječnika rješava neke od ovih problema, ali to nije rječnik koji TwitterPsych nudi.)

"Iskonski, konceptualni i emocionalni sadržaj" iz RID-a ne sadrži apsolutno nikakve opise, a opet, ništa što stavlja vaše rezultate u bilo koju vrstu konteksta ili razumijevanja. No budući da to za početak nije znanstveni rječnik, rezultate u svakom slučaju možete prilično zanemariti. Mogli su se razviti nasumično i pružiti jednako toliko korisnih informacija.

Posljednji dio trenutne analize je "Drugi poput vas", uobičajena komponenta svake usluge društvenih mreža. Zanimljivo je da ova komponenta nedostaje u prvoj verziji ovog alata. Na temelju isključivo onoga što tweetujete, tvrdi se "Neki ljudi koji misle poput vas", a zatim vam daje popis drugih ljudi koji su otišli na TweetPsych i unijeli svoje korisničko ime za analizu.

Naravno da je ne ljudi koji misle poput vas - to su ljudi koji tweetuju poput vas. Ovo je važna razlika. Usluga koja svakodnevno analizira maleni dio onoga što napišete i temelji se na analizi koja može biti oštećena zbog široke upotrebe kratica svojih korisnika, zasigurno ne može tvrditi da analizira ono što vi razmišljati.

Koliko je pouzdan TweetPsych? Pa, danas, dok sam pisao ovaj članak, primijetio sam da su se svi rezultati Dana Zarrelle promijenili zbog jednog cvrkuta (danas je samo jednom objavio tweet). Ocjena mu je "zanimanje i posao" pala za 20%, a ocjena "sadašnje vrijeme" porasla je za 16%. Njegov rezultat apstraktnog mišljenja smanjio se za 16%. Kako se sve ovo moglo dogoditi iz samo jednog tvita? Jedan tweet - u usporedbi s njegovih 999 ostalih tweetova - ne bi trebao toliko utjecati na nečiji rezultat. Osim ako se nešto drugo ne događa.(Usporedite snimku zaslona u nastavku, snimljenu u 14:55 ET, s onom gore, snimljenu danas u 9:00 ET).

Moji vlastiti rezultati analize Zarrellinih prošlih 1000 tweetova u programu LIWC2007 pokazuju nešto sasvim drugo. Ne znam Zarrellovu metodologiju (budući da je nije podijelio), ali uzeo sam tekst njegovih prošlih 1.000 tweetova i obradio ih u dva oblika kroz LIWC - izvorne i "kakve jesu". Niti jedan nije dao ništa blisko onome što se pojavljuje na TweetPsychu. To bi moglo biti zbog njegove upotrebe starije verzije rječnika ili neke vrste varijable transformacije koju dodaje u TweetPsych koju nije otkrio. Rezultate ove analize LIWC2007 možete pogledati ovdje. (Istaknuo sam u žutim stvarima TweetPsych je naglasio, a u zelenoj boji ostala područja koja TwitterPsych više nije istaknuo; imajte na umu značajnu razliku u bodovanju.) Čini se da se pitate što se točno događa s uslugom. Ako su njegova psihometrijska pouzdanost i valjanost upitni, koliko je korisna?

TweetPsych dobiva puno pozitivne tiskovine, ubacuje se samo djelić skepticizma. CNetov Josh Lowensohn napisao je o usluzi i u prolazu samo primijetio: "To je manje zbog psihologije, a više o vašem osobnom leksikonu, ali rezultati su još uvijek prilično zabava." Ma, zabavno! Ben Patterson kod Yahoo! Tech je rekao: "Nažalost, psihološki profili koje TweetPsych izdaje nisu koherentna, narativna raznolikost koju biste mogli čuti od rezidentnog psihijatra na temu" Zakon i red: zločinačka namjera ". Pa ipak, nije li koherentni narativ daleko korisniji nego neke neodređene kategorije? Nitko od novinara, niti originalni članak o Mashableu (gdje, iznenađenje !, Zarrella je suradnik), ne primjećuje nedostatak psihološke pozadine koju Zarrella iznosi na stol. Nitko nije povezao točke zašto su rezultati toliko nezadovoljavajući u njihovim interpretacijama. Očigledno su tehnički novinari izvrsni u preraspodjeli vlastitih pozitivnih priopćenja za javnost, ali ne tako dobri u tome što su stvarni novinari koji kopaju po navodima znanosti o takvoj usluzi.

Naravno, i sam Zarrella priznaje da nije puno razmišljao o službi, kao što je rekao za NY pošta, "" Ljudi se jednostavno vole uspoređivati ​​s drugim ljudima i pokušavati 'ući' u tuđe glave ", kaže Zarrella. "To je kao biti muha na zidu na terapijskoj sesiji." "Terapijskoj sesiji? Je li stvarno tako pronicljivo pronaći nekoga tko govori o "kretanju prema gore"? U žurbi s postavljanjem usluge na mrežu, Zarrella očito nikada nije postavio pitanje: "Je li bilo koja od ovih informacija zapravo korisna?" Usluga, kakva postoji danas, nedovršena je misao koju će malo tko ponovno posjetiti.

TweetPsych je, unatoč ograničenjima, otvorio vrata budućim uslugama koje zapravo pružaju korisne, korisne i djelotvorne informacije koje bi vjerojatno imale veću valjanost. Zamislite da uzmete ne samo tweetove neke osobe, već i informacije sadržane u njezinom Facebook profilu, blogu itd., I stavite ih sve u jedan ogroman mehanizam za analizu ... Takav bi motor mogao tada imati sposobnost pružanja istinskog psihološkog uvida u pojedinca koji se temelji na njemu. na onome što kažu na mreži.

Do tog vremena imamo napore brucoša poput TweetPsych, koji bi se doista trebao zvati "TweetFun!" Jer iako je uistinu zabavno igrati se s njim, pruža malo psihološkog uvida - osim one najplitke vrste - u bilo koga.

(Dodatne zabrinutosti za TweetPsych, autora Tyler Hayes, možete pročitati ovdje.)