Människor kan "läsa" andras kroppsspråk för ledtrådar om deras känslomässiga tillstånd. Till exempel, märker att en vän är nervös av sin tappande fot, eller att en älskad som står högt känner sig trygg. Nu, ett team av forskare vid Penn State undersöker om datorer kan tränas för att göra detsamma.

Teamet undersöker om modern datorseendeteknik kan matcha människors kognitiva förmåga att känna igen kroppsliga uttryck i verkligheten, obegränsade situationer. Om så är fallet, dessa funktioner kan möjliggöra ett stort antal innovativa tillämpningar inom områden inklusive informationshantering och hämtning, allmän säkerhet, patientvård och sociala medier, sa forskarna.

"Datorer och robotar kommer i framtiden att interagera med fler människor, sa James Wang, professor vid College of Information Sciences and Technology (IST) och medlem av forskargruppen. "Dagens datorer, i stor utsträckning, bara följa order. I framtiden, robotar och datorer kommer att fungera mer som partners till människor och arbeta tillsammans. Och för att göra det, de måste förstå sina känslor."

College of IST doktorand Yu Luo, arbeta med Wang och andra lärare i teamet, bearbetade ett stort antal filmklipp och byggde en datauppsättning på mer än 13, 000 mänskliga karaktärer med nästan 10, 000 kroppsrörelser. Enligt forskarna, studier har visat att människokroppen kan vara mer diagnostisk än ansiktet när det gäller att känna igen mänskliga känslor.

"Termen inom psykologi kallas "socioredigering, "" sa Luo. "Folk kan använda den för att manipulera deras ansiktsuttryck, men det är mycket svårare att kontrollera sin kropp. Kroppsspråket projicerar olika känslor."

Nästa, forskarna använde datorseende metoder för att lokalisera och spåra varje person över olika bildrutor i scenen, i slutändan markerar varje individ i ett klipp med ett unikt ID-nummer. Till sist, forskarna använde crowdsourcede mänskliga kommentatorer för att granska filmklippen och identifiera känslorna hos varje individ som ingår i en av 26 kategoriska känslor, dvs. fred, tillgivenhet, aktning, förväntan, engagemang, förtroende, lycka, nöje, spänning, överraskning, sympati, förvirring, urkoppling, Trötthet, förlägenhet, längtan, ogillande, motvilja, irritation, ilska, känslighet, sorg, oro, rädsla, smärta och lidande, såväl som i tre dimensioner av känslor, dvs. valens, upphetsning och dominans.

"Vi fann att det är komplext att tolka känslor baserat på kroppsspråk, ", sa Wang. "Det finns många subtiliteter som vi försöker förstå. Även för människor finns det många inkonsekvenser.

"Människor håller inte med varandra när det gäller att tolka känslor, " tillade han. "Du kanske tror att en person är lycklig, Jag kanske tror att de är exalterade, och vi kanske båda har rätt. Det finns ofta ingen grundsanning, vilket gör datadriven modellering mycket utmanande."

När forskarna byggde datamängden och tillämpade de mänskliga upplevda känslomässiga kommentarerna för varje individ, de använde state-of-the-art statistiska tekniker för att validera sina kvalitetskontrollmekanismer och analyserade noggrant konsensusnivån för deras verifierade dataetiketter. Ytterligare, de konstruerade automatiserade emotion-igenkänningssystem från mänskliga skelett och bildsekvenser. Specifikt, djupinlärningstekniker och handgjorda, Laban-rörelseanalys-baserade funktioner visade effektivitet för uppgiften.

De fann att datormodellen kunde identifiera upphetsning, eller hur energisk upplevelsen känns, med hög precision. Dock, forskarna fann också att människor är bättre än datorer på att identifiera valensen - hur negativ eller positiv upplevelsen känns.

De aktuella resultaten möjliggjordes av ett fröbidrag från College of IST och pågående forskning stöds av en ny utmärkelse från Amazon Research Award Program. Teamet tilldelades också nyligen ett planeringsprojekt från National Science Foundation för att bygga en gemenskap för att utveckla datainfrastrukturen som ska användas i denna forskning.

Wang och Luo arbetade med andra Penn State-forskare i projektet, inklusive Jianbo Ye, tidigare doktorand och labbkompis i College of IST; Reginald Adams och Michelle Newman, professorer i psykologi; och Jia Li, professor i statistik. En provisorisk patentansökan har nyligen lämnats in, och verket kommer att publiceras i ett kommande nummer av International Journal of Computer Vision .

"Inträdesbarriären för denna forskningslinje är ganska hög, " sa Wang. "Du måste använda kunskap från psykologi, du måste utveckla och integrera datavetenskapliga metoder, och du måste använda statistisk modellering för att korrekt samla in affektiva data. Detta visar att vi ligger i framkanten av vetenskap och teknik inom denna viktiga informationsunderdomän."