Många barn med autism möter utvecklingsförseningar, inklusive kommunikations- och beteendeutmaningar och svårigheter med social interaktion. Detta gör att lära sig nya färdigheter till en stor utmaning, speciellt i traditionella skolmiljöer.

Tidigare forskning tyder på att socialt assisterande robotar kan hjälpa barn med autism att lära sig. Men dessa terapeutiska insatser fungerar bäst om roboten kan tolka barnets beteende korrekt och reagera på lämpligt sätt.

Nu, forskare vid USC:s institution för datavetenskap har utvecklat personliga inlärningsrobotar för barn med autism. De studerade också om robotarna kunde uppskatta ett barns intresse för en uppgift med hjälp av maskininlärning.

I en av de största studierna i sitt slag, forskarna placerade en socialt hjälpande robot i hemmen för 17 barn med autism under en månad. Robotarna anpassade sin instruktion och feedback till varje barns unika inlärningsmönster under insatserna.

Efter att studien avslutats, forskarna analyserade också deltagarnas engagemang och fastställde att roboten självständigt kunde ha detekterat om barnet var engagerat eller inte med 90 % noggrannhet. Resultaten av experimenten publicerades i Gränser inom robotik och AI och Vetenskapsrobotik , tidskrifter den 6 november och 26 februari, respektive.

Gör robotar smartare

Robotar är begränsade i sin förmåga att självständigt känna igen och reagera på beteendesignaler, speciellt i atypiska användare och verkliga miljöer. Denna studie är den första som modellerar inlärningsmönster och engagemang hos barn med autism på lång sikt, inställning i hemmet.

"Nuvarande robotsystem är väldigt stela, " sa huvudförfattaren Shomik Jain, en matematikstudent med progressiv examen med råd av pionjären inom socialt assisterande robotik, professor Maja Matarić.

"Om du tänker på en riktig inlärningsmiljö, läraren ska lära sig saker om barnet, och barnet kommer att lära sig saker av dem. Det är en dubbelriktad process och det händer inte med nuvarande robotsystem. Denna studie syftar till att göra robotar smartare genom att förstå barnets beteende och reagera på det i realtid."

Forskarna betonar att målet är att utöka mänsklig terapi, inte ersätta den.

"Mänskliga terapeuter är avgörande, men de kanske inte alltid är tillgängliga eller överkomliga för familjer, sa Kartik Mahajan, en grundexamen i datavetenskap och studiemedförfattare. "Det är där socialt assisterande robotar som denna kommer in."

Förbättra inlärningsupplevelsen

Finansieras av ett anslag från National Science Foundation (NSF) till Matarić, forskargruppen placerade roboten Kiwi i hemmen för 17 barn med autismspektrumtillstånd i ungefär en månad. Barndeltagarna var alla mellan 3 och 7 år och från Los Angeles-området.

Under nästan dagliga ingrepp, barnen spelade matematikspel med rymdtema på en surfplatta medan Kiwi, en 2 fot lång robot klädd som en grön fjäderfågel, gav instruktioner och feedback.

Kiwis feedback och spelens svårighetsgrad anpassades i realtid efter varje barns unika inlärningsmönster. Matarićs team i USC Interaction Lab åstadkom detta med hjälp av förstärkningsinlärning, ett snabbt växande delområde av artificiell intelligens (AI).

Algoritmerna övervakade barnets prestationer i matematikspelen. Till exempel, om ett barn svarade rätt, Kiwi skulle säga något som, "Bra jobbat!". Om de har en fel fråga, Kiwi kan ge dem några användbara tips för att lösa problemet, och justera svårighetsgraden och feedbacken i framtida spel. Målet var att maximera svårigheten, samtidigt som man inte pressar eleven att göra för många misstag.

"Om du inte har någon aning om vad barnets förmåga är, du bara kastar en massa olika problem på dem och det är inte bra för deras engagemang eller lärande, " sa Jain.

"Men om roboten kan hitta en lämplig svårighetsgrad för problemen, då kan det verkligen förbättra inlärningsupplevelsen."

Den ultimata gränsen

Det finns ett populärt talesätt bland personer med autism och deras familjer:Om du har träffat en person med autism, du har träffat en person med autism.

"Autism är den ultimata gränsen för robotanpassning, för som alla som känner till autism kommer att berätta för dig, varje individ har en konstellation av symtom och olika svårighetsgrad av varje symptom, sa Matarić, Chan Soon-Shiong framstående professor i datavetenskap, Neurovetenskap, och pediatrik och interim vice vd för forskning.

Detta utgör en särskild utmaning för maskininlärning, som vanligtvis förlitar sig på att upptäcka konsekventa mönster i enorma mängder liknande data. Det är därför personalisering är så viktig.

"Om vi ​​tar ett ledtråd från ett barn, vi kan uppnå så mycket mer än att bara följa ett manus, ", sa Matarić. "Normala AI-metoder misslyckas med autism. AI-metoder kräver mycket liknande data och det är helt enkelt inte möjligt med autism, där heterogeniteten råder."

Forskarna tacklade detta problem i sin analys av barnens engagemang efter interventionen. Datormodeller för engagemang utvecklades genom att kombinera många typer av data, inklusive ögonblick och huvudställning, ljud tonhöjd och frekvens, och prestation på uppgiften.

Att få dessa algoritmer att fungera med hjälp av verkliga data var en stor utmaning, med tanke på det medföljande bruset och oförutsägbarheten.

"Detta experiment var mitt i deras lärandeupplevelse, sa Kartik, som hjälpte till att installera robotarna i barnhemmen.

"Det fanns katter som hoppade på roboten, en mixer går igång i köket, och människor som kommer in och ut ur rummet." Som sådan, algoritmerna för maskininlärning måste vara sofistikerade nog att fokusera på relevant information relaterad till terapisessionen och avvisa omgivningsljud.

Förbättra interaktion mellan människa och robot

Bedömningar gjordes före och efter de månadslånga interventionerna. Medan forskarna förväntade sig att se vissa förbättringar hos deltagarna, resultatet överträffade deras förväntningar. I slutet av månadens intervention, 100 % av deltagarna visade förbättrade matematiska färdigheter, medan 92 % också förbättrade sociala färdigheter.

I analyser efter experiment, forskarna kunde också ta fram lite annan intressant information från data som kunde ge oss en titt på receptet för idealiska barn-robotinteraktioner.

Studien observerade högre engagemang för alla deltagare strax efter att roboten hade talat. Specifikt, deltagarna var engagerade i ungefär 70 % av tiden när roboten talade under föregående minut, men mindre än 50 % av tiden när roboten inte hade talat på mer än en minut.

Medan en personlig modell för varje användare är idealisk, forskarna fastställde också att det var möjligt att uppnå adekvata resultat med hjälp av engagemangsmodeller som tränats på data från andra användare.

Dessutom, studien observerade att vårdgivare bara behövde ingripa när ett barn tappade intresset under en längre tid. I kontrast, deltagarna återförlovade sig vanligtvis själva efter kortare perioder av ointresse. Detta tyder på att robotsystem bör fokusera på att motverka längre perioder av frikoppling.

Matarićs labb kommer att fortsätta att studera data som samlats in från experimentet:Ett aktivt delprojekt involverar att analysera och modellera barnens kognitiva-affektiva tillstånd, inklusive känslor som förvirring eller spänning. Projektet, ledd av progressiv examen i datavetenskap, student Zhonghao Shi, syftar till att designa affektmedvetna socialt assisterande robotlärare som är ännu mer känsliga för sina användares känslor och stämningar i samband med lärande.

"Förhoppningen är att framtida studier i det här labbet och på andra ställen kan ta alla de saker som vi har lärt oss och förhoppningsvis designa mer engagerande och personliga interaktioner mellan människa och robot, " sa Jain.