Om du såg en person med rynkade ögonbryn, munnen nedvänd, och ögonen kisade, skulle du gissa att de är arga? Tänk om du fick reda på att de hade glömt sina läsglasögon och höll på att dechiffrera en restaurangmeny?

Att tolka en persons ansiktsrörelser kan inte göras i ett vakuum; det beror på sammanhanget - något som nordöstra neuroforskaren Lisa Feldman Barrett visar i en banbrytande ny studie som publicerades på torsdagen i den vetenskapliga tidskriften Naturkommunikation .

Barrett, en framstående professor i psykologi vid Northeastern, och kollegor från flera andra institutioner runt om i världen använde fotografier av professionella skådespelare som skildrade rikt konstruerade scenarier för att visa att människor inte bara använder olika ansiktsrörelser för att kommunicera olika instanser av samma känslokategori (någon kan smyga, rynka pannan, eller till och med skratta när de skildrar ilska), de använder också liknande ansiktskonfigurationer för att kommunicera en rad instanser från olika känslokategorier (en blick kan ibland uttrycka koncentration, till exempel)—rön som har allvarliga konsekvenser för emotionsigenkänningsteknologi som utger sig för att "läsa" känslor i ansiktet.

"Konsekvensen av den här studien är att det finns mycket mer variation i hur människor uttrycker olika instanser av en given känslokategori. Och en ansiktskonfiguration kan uttrycka instanser av ilska, lycka, eller andra känslokategorier, beroende på sammanhanget, " säger Barrett.

Människor kan vidga ögonen för att de är arga eller för att de är förvånade, och den mänskliga hjärnan är beroende av sammanhanget för att lösa detta pussel.

Tidigare vetenskapliga studier av känsloyttringar har förlitat sig på vanliga människor eller amatörskådespelare för att porträttera en enda instans från varje känslokategori givet ett fattigt sammanhang:"Din kusin dog precis och du känner dig väldigt ledsen. Vilket uttryck skulle du göra?"

Sådana återgivningar uppmanar människor att luta sig mot stereotypa uttryck för känslor (rynkar pannan i sorg), snarare än uttryck som speglar ett rikare känsloliv, full av nyanser och situerade variationer, säger Barrett.

Så för deras studier, Barrett och hennes medförfattare använde fotografier av professionella skådespelare - människor med "expertis om känslor" eftersom deras utkomst beror på "deras autentiska skildring av känslomässiga upplevelser i filmer, tv, och teater, "på ett sätt som sänder trovärdig information, skriver forskarna.

Skådespelarna fick en detaljerad, känsloframkallande scenario att agera, och sedan fotograferad av Howard Schatz (som också skapade scenarierna) för två publicerade volymer:In Character:Actors Acting, och fångad i lagen:skådespelare som agerar.

Ett exempel från Schatzs böcker:"Han är en motorcykelkille som kommer ut från en bikerbar precis när en kille i en Porsche backar in i sin glänsande Harley, " enligt forskarnas papper.

"Det viktiga är att dessa berömda skådespelare fick ett scenario utan känsloord i det, "Barrett säger, vilket eliminerar den omedelbara kopplingen man kan göra mellan, till exempel, ordet "ledsen" och ansiktsuttrycket "rynka pannan."

Forskarna använde 604 av de 731 fotografierna i Schatzs böcker, eliminera endast de där skådespelarnas ansiktsposer inte kunde analyseras eftersom deras händer täckte deras ansikten eller för att deras huvuden var extremt lutade.

De använde dessa foton och scenarier för att genomföra två studier. I den första, forskarna bad 839 frivilliga att enbart bedöma de känslomässiga innebörden av scenariobeskrivningarna. Varje volontär bedömde ungefär 30 scenarier, med en skala 1-4 för att indikera i vilken utsträckning en av 13 känslor framkallades i beskrivningen:nöjen, ilska, vördnad, förakt, avsky, förlägenhet, rädsla, lycka, intressera, stolthet, sorg, skam, och överraskning.

De använde medianbetyget för varje scenario för att klassificera det i en av dessa 13 känslokategorier. Forskarna uppmanade också tre experter att koda de 604 fotografierna med hjälp av Facial Action Coding System, som specificerar en uppsättning åtgärdsenheter som var och en representerar rörelsen av en eller flera ansiktsmuskler.

Enligt en länge hållen hypotes, vissa känslokategorier uttrycks konsekvent och specifikt med vissa uppsättningar av ansiktsrörelser. Om så vore fallet, då bör alla scenariobeskrivningar som klassificeras som framkallande instanser av en given emotionskategori motsvara fotografier som konsekvent skildrar en specifik uppsättning ansiktsrörelser.

Eller, som Barrett säger, "Om ansiktskonfigurationerna i fråga - smygande, leende, rynkar pannan, och så vidare - är uttryck som utvecklats för att kommunicera specifika känslor, du borde se kända skådespelare posera snett när de porträtterar ilska och bara ilska, poserar rynkar när du skildrar sorg, och så vidare."

Forskarna körde maskininlärningsanalyser, som avslöjade att skådespelare skildrade instanser av samma känslokategorier genom att förvränga deras ansikten på en mängd olika sätt. Också, liknande ansiktsställningar uttryckte inte på ett tillförlitligt sätt samma känslomässiga kategori.

För att testa om ansiktsrörelser, ensam, bära all känslomässig information oberoende av sammanhang, forskarna bad ytterligare två grupper av frivilliga att bedöma den känslomässiga innebörden av varje ansiktsställning, antingen när den presenteras ensam eller med dess motsvarande scenario.

Den första gruppen, 842 personer, betygsatt ungefär 30 ansikten vardera. Den andra gruppen, 845 personer, betygsatt ungefär 30 ansikte-och-scenario-par. Båda grupperna ombads att bedöma i vilken utsträckning deras ansikten eller ansikte-och-scenario-par tillhörde var och en av de 13 känslokategorierna.

Om ansiktsrörelser bär känslomässig information oberoende av sammanhanget, då borde enbart betygen av ansikten ha varit väldigt likna betygen för ansiktsscenariopar. Om den känslomässiga innebörden av ansiktsrörelser främst kommer från det sammanhang som de är förknippade med, då skulle de initiala betygen av enbart scenarierna likna mer ansiktsscenariots betyg.

Forskarna fann att människors bedömningar av enbart ansiktsposer inte på ett tillförlitligt sätt matchade betygen av ansikten när de sågs med scenariot; de matchade inte heller den angivna känslokategorin i scenariot. De känslomässiga betydelserna av ansiktsställningarna kom främst från scenarierna de parades med, dvs. sammanhanget.

"De nuvarande fynden ansluter sig till andra nyliga sammanfattningar av de empiriska bevisen för att antyda att snett, ler, och andra ansiktskonfigurationer tillhör en större, mer varierande repertoar av de meningsfulla sätt på vilka människor rör sina ansikten för att uttrycka känslor, " skriver forskarna.

Med andra ord, Barrett säger, "Folk antar innebörden av ditt leende, och deras slutsatser informeras av sammanhanget. När det gäller att uttrycka känslor, ett ansikte talar inte för sig självt."

Forskarnas resultat har implikationer för den sorts artificiellt intelligenta system som vissa ingenjörer hävdar att de kan dechiffrera någons känslor genom att enbart spåra deras ansiktsrörelser.

Företag använder redan AI-drivna system för att mäta barns känslor när de lär sig, göra bedömningar om potentiella jobbkandidater, och gissa på de otänkbara avsikterna en flygpassagerare.

"Vår forskning motverkar direkt den traditionella känslomässiga AI-metoden, " säger Barrett. "Vissa företag hävdar att de har algoritmer som kan upptäcka ilska, till exempel, när vad de verkligen har – under optimala omständigheter – är algoritmer som förmodligen kan upptäcka snett, som kanske är ett uttryck för ilska eller inte. Det är viktigt att inte blanda ihop beskrivningen av en ansiktskonfiguration med slutsatser om dess känslomässiga betydelse."