Människor med autism ser, hör och upplev världen annorlunda än andra människor, som påverkar hur de interagerar med andra. Detta gör kommunikationscentrerade aktiviteter ganska utmanande för barn med autismspektrumtillstånd (ASC). Terapeuter har därför svårt att engagera dem i dessa aktiviteter under pedagogisk terapi.

För att möta denna utmaning, terapeuter började nyligen använda humanoida robotar i terapisessioner. Dock, befintliga robotar saknar förmågan att självständigt engagera sig med barn, vilket är avgörande för att förbättra behandlingen. Och det faktum att personer med ASC har atypiska och olika stilar för att uttrycka sina tankar och känslor gör användningen av sådana robotar ännu mer utmanande.

Forskare som arbetar med det EU-finansierade projektet EngageME har nu skapat ett personligt ramverk för maskininlärning för robotar som används under autismterapi. Som de beskriver i sin tidning publicerad i Vetenskapsrobotik , detta ramverk hjälper robotar att automatiskt uppfatta påverkan – ansiktsbehandling, vokalt och gestalt beteende – och engagemang hos barn när de interagerar med dem.

Ett personligt förhållningssätt

För att uppnå detta spännande framsteg, projektpartners hade insett att när det gäller barn med ASC, en storlek passar inte alla. Som ett resultat, de anpassade sitt ramverk för varje barn med hjälp av demografiska data, beteendebedömningspoäng och andra egenskaper som är unika för det barnet. Det nya ramverket gjorde det möjligt för robotarna att automatiskt anpassa sina tolkningar av barns svar genom att ta hänsyn till kulturella och individuella skillnader mellan dem.

"Utmaningen att skapa maskininlärning och AI [artificiell intelligens] som fungerar vid autism är särskilt irriterande, eftersom de vanliga AI-metoderna kräver mycket data som är liknande för varje kategori som lärs in. I autism där heterogenitet råder, de normala AI-metoderna misslyckas, " förklarade medförfattaren Prof. Rosalind Picard i en artikel publicerad på "MIT News."

Robotassisterad terapi

Forskarna testade sin modell på 35 barn från Japan och Serbien. I åldern 3 till 13, barnen interagerade med robotarna i 35-minuterspass. De humanoida robotarna förmedlade olika känslor – ilska, rädsla, lycka och sorg – genom att ändra färgen på ögonen, tonen i deras röst och läget för deras lemmar.

När det interagerade med ett barn, roboten skulle fånga video av deras ansiktsuttryck, rörelser och huvudställning, samt ljudinspelningar av deras tonfall och sång. En monitor på varje barns handled försåg också roboten med data om deras kroppstemperatur, hjärtfrekvens och hudsvettrespons. Datan användes för att extrahera barnets olika beteendesignaler och matades sedan in i robotens perceptionsmodul.

Använda modeller för djupinlärning, roboten uppskattade sedan barnets påverkan och engagemang baserat på de extraherade beteendesignalerna. Resultaten användes för att modulera barn-robotinteraktionen i efterföljande terapisessioner.

Audiovisuella inspelningar av terapisessionerna observerades också av mänskliga experter. Deras bedömningar av barnens svar visade en 60 % korrelation med robotarnas uppfattningar. Detta var en högre överensstämmelsenivå än vad som uppnåddes mellan mänskliga experter. Studiens resultat tyder på att tränade robotar kan spela en viktig roll i autismterapi i framtiden.

EngageME (Automated Measurement of Engagement Level of Children with Autism Spectrum Conditions during Human-robot Interaction) arbetar för att utöka robotar med nyckelinformation som kommer att hjälpa terapeuter att anpassa terapier och göra interaktion mellan människa och robot mer engagerande och naturlig.