Forskare vid EPFLs College of Humanities har använt maskininlärning för att avslöja hur människor överbryggar de ofta betydande klyftorna mellan signal och mening i kommunikation.

Robert Lieck och Martin Rohrmeier från Digital and Cognitive Musicology Laboratory (DCML) använde maskininlärning och artificiell intelligens för att utforska anpassningar och felanpassningar mellan signaler – som ord och gester – och betydelse i kommunikation. Deras resultat har nyligen publicerats i Cognition , en tidskrift för kognitiv vetenskap.

Lieck, en postdoktor och huvudförfattare på uppsatsen, förklarar att DCML:s forskning tar upp en grundläggande gåta av kommunikation och utvecklingen av mening i språk.

"Problemet är att ord är stela och alltid kan peka på en enda idé, medan känslor, färger etc. är kontinuerliga och gradvisa till sin natur. I huvudsak betyder detta att det mellan två ord finns oändliga betydelser som bara ord kan inte fånga."

Människor är naturligtvis kapabla att uttrycka sådana "fuzzy" betydelser exakt; till exempel genom tonfall eller gester. Så varför började vi ens bryta upp kontinuerliga betydelser för att klämma ihop dem till diskreta ord?

Kommunikation som ett spel

Lieck och Rohrmeier försökte besvara denna fråga empiriskt med hjälp av beräkningsmetoder för att simulera utvecklingen av kommunikation som ett spel. I sin maskininlärningssimulering utbytte och tolkade två virtuella agenter signaler och använde feedback från sin omgivning för att förbättra sina kommunikationsstrategier.

Forskarna avslöjade tre nyckelfynd. Först utvecklade de virtuella agenterna distinkta signaler, eller "ord" för de strukturella komponenterna i deras miljö. Men de hade också kontinuerliga sätt att kommunicera finare graderingar inom var och en av dessa komponenter – analogt med olika uttal av samma ord.

För det andra, även i fall där helt kontinuerlig kommunikation var möjlig, kunde agenterna inte alltid hitta en optimal matchning, och de skapade ibland mosaiker av olika signalfragment för att uttrycka alla betydelser.

Slutligen fann forskarna att i fall där signaler och betydelser är kontinuerliga men har olika logiska former (t.ex. om signaler följer en cirkulär form och betyder en linjär), kan mycket olika betydelser kartläggas på mycket liknande signaler, vilket tvingar agenterna att lämna luckor mellan dessa signaler för att undvika missförstånd.

Från djur till zoom

Dessa fynd har vidsträckta implikationer inte bara för att förstå mänskligt språk, utan även andra kommunikationssystem, inklusive djurkommunikation och musik.

"Vår forskning hjälper till att bättre förstå hur meningskartor utvecklas i olika former av kommunikation och hur de kan användas för att uttrycka idéer om en komplex värld", säger Rohrmeier.

Lieck tillägger att verket erbjuder en enhetlig analys av både de diskreta, strukturella aspekterna av språket och de kontinuerliga, gradvisa:"Vi visar att dessa verkligen är två sidor av samma mynt, och den ena kan inte förstås utan den andra."

Studien belyser också den grundläggande strukturella roll som icke-verbal kommunikation spelar, vilket har särskild relevans mitt i en pandemi:när vi överväger framtiden för videokonferenser inom utbildning och arbete, ställs vi ofta inför mindre än optimala förhållanden med respekt till icke-verbal kommunikation, men vi utvecklar också nya sätt att uttrycka oss i takt med att kommunikationen fortsätter att utvecklas.