Ordspråket säger att en bild är värd tusen ord. Men tänk om du inte kan berätta vad bilden visar? Från besvärliga familjefoton till klassfotografier, ibland är det svårt att berätta vad människorna på bilderna tänker.

Använda maskininlärning och djupinlärning med neurala nätverk, ett team från University of Delaware räknar ut det. Ett team under ledning av doktoranden Xin (Cindy) Guo fick förstaplatsen i grupputmaningen Emotion Recognition, en av tre delutmaningar i den 6:e Emotion Recognition in the Wild (EmotiW 2018) -utmaningen. Vinnarna tillkännagavs vid ACM International Conference on Multimodal Interaction 2018, som hölls i oktober 2018.

Lag fick en uppsättning bilder som visar en grupp människor och fick i uppgift att utveckla en algoritm som kunde klassificera personerna på fotona som glada, neutral eller negativ. Lag hade en och en halv månad och sju försök att ta fram en så exakt algoritm som möjligt. UD -teamets vinnande lösning, med titeln "Grupp-känslor igenkänning med hjälp av hybrid djupa modeller baserade på ansikten, Scener, Skelett och visuell uppmärksamhet, "kommer att publiceras av ACM. Gruppen smält ihop åtta olika modeller för att utveckla sin vinnande lösning, som arbetar på fotografier i olika upplösningar, suddig för att rensa.

Målet med sådant arbete? För att automatiskt klassificera bilder som laddas upp till webbplatser.

"När människor söker, de skulle se bilderna de letar efter eftersom algoritmen skulle köra och märka om människor är glada eller inte, "sa Guo." Det kan användas för att analysera känslorna hos en grupp människor som avbildas vid en protest, en fest, ett bröllop, eller ett möte, till exempel. Denna teknik kan också utvecklas för att avgöra vilken typ av händelse en viss bild visar. "