Veliki podaci mogu pomoći računalima da prepoznaju emocije vezane za slike

Popularne web stranice kao što su Twitter i Facebook te drugi kanali sada su ispunjene slikama koje pomažu osobi da bolje izrazi misli i osjećaje. Novo istraživanje sugerira da se „veliki podaci“ - bilo koja zbirka skupova podataka toliko velikih ili složenih da ih je teško obraditi pomoću tradicionalnih aplikacija za obradu podataka - mogu koristiti za podučavanje računala da tumače sadržaj i osjećaje povezane sa slikama.

Dr. Jiebo Luo, profesor računalnih znanosti sa Sveučilišta Rochester, u suradnji s istraživačima iz Adobe Researcha nedavno je na konferenciji Američkog udruženja za umjetnu inteligenciju (AAAI) predstavio rad koji opisuje progresivni trening duboke konvolucijske neuronske mreže (CNN) ,

Obučeno računalo tada se može koristiti za određivanje osjećaja koje će ove slike vjerojatno izazvati. Luo kaže da bi ove informacije mogle biti korisne za tako raznolike stvari poput mjerenja ekonomskih pokazatelja ili predviđanja izbora.

Zadatak je, međutim, složen. Računalna analiza sentimenta teksta sama je po sebi izazovna zadaća. A na društvenim mrežama analiza osjećaja je složenija jer se mnogi izražavaju pomoću slika i videozapisa, koje je računalo teže razumjeti.

Na primjer, tijekom političke kampanje glasači će često dijeliti svoje stavove putem slika.

Dvije različite slike mogu prikazivati ​​istog kandidata, ali možda daju vrlo različite političke izjave. Čovjek bi mogao prepoznati jedan kao pozitivan portret kandidata (npr. Kandidat se smiješi i podiže ruke), a drugi negativan (npr. Slika kandidata koji izgleda poraženo).

Ali nijedan čovjek nije mogao pogledati svaku sliku podijeljenu na društvenim mrežama - to su uistinu "veliki podaci". Da bi mogli informirano nagađati o popularnosti kandidata, računala treba osposobiti za probavu ovih podataka, što je ono što pristup Luo i njegovih suradnika mogu učiniti točnije nego što je to bilo moguće do sada.

Istraživači zadaću izdvajanja osjećaja sa slika tretiraju kao problem klasifikacije slika. To znači da nekako treba analizirati svaku sliku i na nju nanijeti naljepnice.

Da bi započeli proces treninga, Luo i njegovi suradnici koristili su ogroman broj Flickr slika koje je strojni algoritam sa specifičnim osjećajima slabo označio, u postojećoj bazi podataka poznatoj kao SentiBank (koju je razvila grupa dr. Shih-Fu Chang na Columbiji Sveučilište).

To daje računalu polaznu točku da započne razumijevanje onoga što neke slike mogu prenijeti.

No, strojno generirane naljepnice uključuju i vjerojatnost da je ta naljepnica istinita, odnosno koliko je računalo sigurno da je naljepnica točna?

Ključni korak u procesu treninga dolazi sljedeći, kada odbace sve slike za koje sentiment ili osjećaji s kojima su označeni možda nisu istiniti. Dakle, oni koriste samo "bolje" označene slike za daljnji trening na progresivno poboljšavajući način u okviru moćne konvolucijske neuronske mreže.

Resaercher je otkrio da je ovaj dodatni korak značajno poboljšao točnost osjećaja kojima je označena svaka slika.

Također su prilagodili ovaj mehanizam za analizu osjećaja s nekoliko slika izvučenih s Twittera. U ovom su slučaju upotrijebili "inteligenciju gužve", s više ljudi koji su pomagali u kategorizaciji slika putem platforme Amazon Mechanical Turk.

Upotrijebili su samo mali broj slika za fino podešavanje računala, a opet, primjenom ovog postupka prilagodbe domene, pokazali su da mogu poboljšati trenutne najsuvremenije metode za analizu sentimenta na Twitter slikama.

Iznenađujuće je otkriće da je točnost klasifikacije osjećaja slike premašila onu klasifikacije raspoloženja teksta u istim porukama na Twitteru.

Izvor: Sveučilište Rochester