Dr. Epstein, politička pristranost i rezultati Google pretraživanja

Pomalo me zbunjuju tvrdnje dr. Roberta Epsteina i njegova tvrdnja, temeljena na jednoj studiji od 95 sudionika, da je Google nekako namjerno pristravao rezultatima prikazanima prije američkih predsjedničkih izbora 2016. godine. Stoga je vjerojatno utjecao na same rezultate izbora.

To je ogroman tvrdnja iznijeti. Mogli bismo se nadati da će uvaženi istraživač poput dr. Epsteina imati znanstvene podatke koji će to podržati. Nažalost, ne vidim ga.

Znanost je objektivna samo do trenutka kada znanstvenik prizna i objasni svoje vlastite pristranosti. Znanost se ne temelji na unaprijed zadanom dnevnom redu ili pokušaju podmirivanja rezultata. Nisam siguran da je dr. Epstein kontrolirao vlastite pristranosti u svom očitom lovu na vještice kako bi skinuo Google zbog nuđenja "pristranih" rezultata pretraživanja.

Tražilice su uvijek bile pristrane

Google je uvijek nudio pristrane rezultate pretraživanja. Ako to ne razumijete ima da bi to bio slučaj s bilo kojom tražilicom, možda će vam trebati kratki kurs osvježavanja o tome kako tražilice rade.

Nepristrani rezultati pretraživanja ne postoje. Sve tražilice koriste vlasničke algoritme s poslovnom tajnom kako bi osigurale da vidite ono što tvrtka za tražilice vjeruje da donosi "najbolje" rezultate. "Najbolje" je - od početka pretraživača na mreži još početkom 1990-ih - uvijek bio subjektivan pojam. Ne postoji niti jedno objektivno rangiranje web stranica koje kaže: "Uvijek prvo prikaži ovo web mjesto za ovaj upit pretraživanja jer je to očito najbolji rezultat."

I pogodite što - ljudi to vole! Zbog toga je Google na vrhu hrpe tražilice, jer zaista nudi rezultate koji su očito najrelevantniji za većinu ljudi. Onog trenutka kad Google prestane nuditi takve relevantne rezultate, nova tražilica može i zauzeti njegovo mjesto. (Svatko se sjeća Alta Viste, Excitea ili čak Yahooa? [I ne, Yahoo više ne pretražuje - njegove rezultate pruža Bing.])

Kako izgleda pristranost u rezultatima tražilice?

Bez obzira na mnoge, tražilice ne prikazuju iste rezultate na isti upit koji su postavile dvije različite osobe. Većina tražilica, uključujući Google, koristi složene čimbenike personalizacije kao i psihografski profil kako bi dalje sortirala i predstavila rezultate za koje misli da su vama najrelevantnije.

U praksi to znači da moje traženje "simptoma depresije" može dati drugačiji skup rezultata od vašeg pretraživanja pod istim pojmovima. Ako to pažljivo ne kontrolirate u svojoj metodologiji, vaši će rezultati biti besmisleni i okaljani.

Epstein i Robertson (2015) pronašli su u nizu laboratorijskih (ne u stvarnom svijetu) eksperimenata, kada su umjetno manipulirali stranicama s rezultatima tražilice, mogli su utjecati na preferencije birača tijekom kratkog vremena. Nije istraživao nijednu stvarnu stranicu tražilice. I zanemarilo je izgled i izgled modernih stranica s rezultatima tražilice. Stvarne stranice rezultata pretraživanja sadrže više oglasa (koje svatko može kupiti) na vrhu stranice prije bilo kakvih organskih rezultata.

Rezultati ovih istraživača ne iznenađuju time što ponavljaju ono što bi vam rekao bilo koji stručnjak za optimizaciju tražilice (SEO) - pozicionirajte stvari na stranici rezultata pretraživanja. Web stranice dobivaju tone više prometa ako su # 1, # 2 ili # 3 naspram # 9 - ili još gore, na drugoj stranici rezultata.

U drugom laboratorijskom eksperimentu, isti je istraživač pokazao metode (opet koristeći potpuno lažnu tražilicu - ne Google) u kojoj se učinak koji su oni skovali - Učinak manipulacije pretraživačem (SEME) - može suzbiti (putem pravovremenih upozorenja koja se prikazuju korisnicima ).

Google je pomogao Hillary pobijediti?

2017. Epstein i Robertson nisu se više zadovoljili da demonstriraju ono očito - da su pozicije na rangu bitne na stranicama rezultata pretraživača. Učinili su korak dalje i proveli istraživanje na 95 Amerikanaca (od kojih je samo 21 identificirano kao "neodlučno" na predstojećim predsjedničkim izborima) 2016. godine i njihovih navika pretraživanja.

U bijelom radu objavljenom samo na njihovoj web stranici, Epstein & Robertson iznosi izvanrednu tvrdnju:

[… W] Otkrili smo da su između svibnja i studenog 2016. rezultati pretraživanja prikazani kao odgovor na širok raspon pojmova za pretraživanje vezani uz izbore u prosjeku bili pristrani u korist gospođe Clinton na svih 10 pozicija rezultata pretraživanja.

Objavljen kao "bijeli papir", a ne kao recenzirana studija časopisa, ovo je podiglo gomilu crvenih zastava.1

U studiji je malo objašnjeno metodologije. To ne uključuje informacije o tome što je učinjeno kako bi se ograničila personalizacija rezultata pretraživanja (budući da želite kontrolirati tu neovisnu varijablu), niti koje su pojmove za pretraživanje zapravo koristili.Zapravo, čitajući dvije prethodne studije koje su ovi istraživači objavili, čak nije jasno ni da su svjesni kako tražilice rade u smislu njihovih strategija unovčavanja, tjednih promjena algoritama koje koriste i personalizacije rezultata pretraživanja.

Po mom mišljenju, također postoji određena aljkavost u naporima istraživača. Ne postoji obrazloženje za određeno razdoblje od 25 dana koje su ispitivali u studiji u odnosu na bilo koje drugo vremensko razdoblje. I zapravo, priznaju da zapravo nisu sve to pomno promatrali većinu podatkovnih točaka koje su skupili, Istraživači su zanemarili istraživačke podatke vrijedne 7 mjeseci kako bi se usredotočili samo na 3 tjedna prije izbora.2

Također su donijeli odluku, post-hoc, odbaciti sve podatke temeljene na Gmail.com zbog anomalija u tim podacima. Te anomalije slučajno nisu pokazivale takvu pristranost, koju su pripisivali ili skupu "botova" ili - pričekajte - namjernoj sabotaži s Googleove strane.

Budući da postoji značajna manjina legitimnih korisnika koji koriste Gmail, ta se obrazloženja za izbacivanje svih podataka izvedenih iz usluge Gmail.com u najboljem slučaju čine upitnima. Po mom mišljenju, to je užasna istraživačka odluka koju smo donijeli, ali ona koja je slučajno također osigurala da istraživači pronađu značaj u njihovim podacima.

Ali ovdje je pravi udarac:

Ekstrapolirajući iz matematike predstavljene u ovom izvješću, u člancima objavljenim u veljači 2016. godine i nakon toga, vodeći autor studije PNAS predvidio je da će pro-Clintonova pristranost u Googleovim rezultatima pretraživanja s vremenom preusmjeriti najmanje 2,6 milijuna glasova na Clinton.

U njihovom bijelom radu nema matematike. Tamo su gomila opisne statistike, ali ta statistika jedva govori o tome koje su postupke ili modeliranje istraživači zapravo koristili da dođu do zaključaka koje su učinili.

"Dokazi istraživača o sustavnoj pristranosti na predsjedničkim izborima 2016.?" Mali uzorak podataka o modeliranju temeljenih na 95 Amerikanaca (minus korisnici Gmail.com čije su podatke bacali post-hoc).

Ukratko, po mom mišljenju ovo je upravo ona vrsta sumornog, sjenovitog, užasno dizajniranog istraživanja koje u današnje vrijeme prolazi kao „dokaz“. Zašto bi istraživači provodili takvu naizgled politički pristranu studiju i izvodili zaključke za koje nemaju stvarnih izravnih dokaza? 3

Možda postoji brus za sjeckanje?

Istraživači su ljudi. A ljudi ponekad imaju i sjekiru za brušenje. Ne morate ići daleko da biste pronašli jednu od mogućih Epsteinovih osi.

Prije 2012. godine Epstein je pokazivao malo zanimanja za tražilice ili njihov rad. Objavljivao je o širokom spektru psiholoških tema, veza i mentalnog zdravlja i pisao o njima za redovite web stranice.

Tada je početkom 2012. godine Epsteinova osobna web stranica primila upozorenje o zlonamjernom softveru koje se pojavilo kada su korisnici pokušali pristupiti njegovoj web lokaciji s Googlea. Google prikazuje ova upozorenja kako bi korisnike odvratio od potencijalno zlonamjernih web stranica.

No, ovaj se incident očito na neki način uvukao Epsteinu pod kožu jer odjednom u jesen 2012. piše više članaka o potrebi reguliranja Googlea. Ovo od istraživača koji nikada prije nije napisao niti jednu riječ o tražilicama. Zanimljiv mi je tajming.

Ukratko, Epstein se zadnjih sedam godina zalaže za regulaciju savezne vlade o Googleu. Ne bi bilo preteško zamisliti hipotetskog istraživača koji dizajnira studije kako bi podržao svoje vjerovanje.

Rezime pristranosti pretraživača

Tražilice su uvijek bile pristrane i uvijek će biti jer su to subjektivni alati koji pomažu korisnicima privući informacije ili zabavu. Onog trenutka kad velika vlada želi započeti s nadzorom mojih rezultata pretraživanja, trenutak je kada se okrenem tražilici u kojoj takvo vladino filtriranje nije izvršeno.

Također pomaže imati na umu hipotetičko miješanje nasuprot stvarnom miješanju u američku politiku. Iako Epstein insinuira da Google manipulira rezultatima svoje političke pretrage kako bi favorizirao kandidate za koje želi da budu izabrani na dužnost, mi imamo stvarni dokaz da Facebook manipulira predsjedničkim izborima 2016. putem organizacija koje sponzorira Rusija kupujući milijune dolara lažnog oglašavanja na svojoj platformi.

Zanimljivo je da se čini da Epsteina to ne zanima previše. Možda je to zato što mu Facebook nikada nije nanio nepravdu kao nekada Google.

Za daljnje informacije

Politifact: Donald Trump pogriješio je na Googleu manipulirajući rezultatima izbora

Reference

Epstein i Robertson. (2017). Suzbijanje učinka manipulacije tražilicom (SEME). Proc. ACM Hum.-Comput. Interakcija., 1 (2), 42.

Epstein i Robertson. (2017). Metoda za otkrivanje pristranosti na ljestvici pretraživanja, s dokazima sustavne pristranosti povezane s predsjedničkim izborima 2016. godine. Bijela knjiga koju je objavila AIBRT, Epsteinova organizacija.

Epstein i Robertson. (2015). Učinak manipulacije tražilicom (SEME) i njegov mogući utjecaj na ishode izbora. PNAS, 10.1073 / str.1419828112

fusnote:

  1. Na pitanje o nedostatku recenziranih studija, Epstein mi je odgovorio, "Imam i hitnih i kvantitativnih problema: završio sam ili imam u toku toliko različitih studija novih oblika internetskog utjecaja (studiram sedam različitih vrsta utjecaja u ovom trenutku - SEME i šest drugih) da sam odlučio sažeti svoja otkrića u konferencijskim radovima, bijelim knjigama i, u nekom trenutku, u obliku knjige, umjesto da potrošim ono malo vremena što mi ostaje na bolno usporen proces akademskih publikacija. Kad naletim na drugi novi oblik internetskog utjecaja, treba mi barem godinu ili dvije da ga razumijem i kvantificiram. (Nisam stigao ni započeti eksperimente s pola tuceta novih oblika utjecaja za koje znam.) Dodavanje još jedne ili dvije godine u taj postupak za objavljivanje u časopisu izgleda nepromišljeno s obzirom na moju dob i obzirom na to koliko su potencijalno važna ova otkrića za čovječanstvo «. [↩]
  2. Istraživači su tvrdili da je to bilo zbog onoga što su rekli da regrutuje probleme i usavršava svoje postupke. Što postavlja pitanje - ne bi li njihovi postupci prvo trebali biti pročišćeni u pilot studiji, kao što bi to učinila većina istraživača? [↩]
  3. Ili, ako želite biti pedantni, imajte minimalni dokaz na temelju malog uzorka od samo 95 pretraživanja korisnika - umanjene za određeni broj Gmail.com predmeta - tijekom 25 dana. [↩]

!-- GDPR -->