För att en robot ska kunna "lära sig" teckenspråk, det är nödvändigt att kombinera olika teknikområden som artificiell intelligens, neurala nätverk och artificiell syn, samt undermanövrerade robothänder. "En av de viktigaste nyheterna i denna forskning är att vi förenade två huvudområden inom robotik:komplexa system (som robothänder) och social interaktion och kommunikation, " förklarar Juan Víctores, en av forskarna från Robotics Lab vid institutionen för systemteknik och automation vid UC3M.

Det första forskarna gjorde som en del av sin forskning var att indikera, genom en simulering, den specifika positionen för varje falang för att avbilda speciella tecken från spanska teckenspråket. De försökte sedan återskapa denna position med robothanden, försöker göra rörelserna liknande de som en mänsklig hand kan göra. "Målet är att de ska vara lika och, framför allt, naturlig. Olika typer av neurala nätverk testades för att modellera denna anpassning, och detta gjorde det möjligt för oss att välja den som kunde utföra gesterna på ett sätt som är begripligt för människor som kommunicerar med teckenspråk, " förklarar forskarna.

Till sist, forskarna verifierade att systemet fungerade genom att interagera med potentiella slutanvändare. "De döva som har varit i kontakt med roboten har rapporterat 80 procents tillfredsställelse, så responsen har varit mycket positiv, " säger en annan av forskarna från Robotics Lab, Jennifer J. Gago. Experimenten utfördes med TEO (Task Environment Operator), en humanoid robot för hemmabruk utvecklad i Robotics Lab på UC3M.

Hittills, TEO har bemästrat fingerstavningsalfabetet för teckenspråk, samt ett mycket grundläggande ordförråd relaterat till hushållsuppgifter, förklarar den här forskaren. En av utmaningarna som forskarna nu står inför för att fortsätta utveckla detta system är "återgivningen av mer komplexa gester, med fullständiga meningar", säger en annan medlem av Robotics Lab-teamet, Bartek Lukawski. Roboten kan sedan användas av de cirka 13, 300 personer i Spanien som använder teckenspråk för att kommunicera.

Det bredare målet är att robotar av den här typen ska bli hushållsassistenter som kan hjälpa till med strykning (TEO gör också detta), viker kläder, serverar mat, och interagera med användare i hemmiljöer. Dessutom, "dessa robothänder skulle kunna implementeras i andra humanoider och de kan användas i andra miljöer och omständigheter, " säger Jennifer J. Gago. "Det riktigt viktiga är att alla dessa teknologier, alla dessa utvecklingar som vi bidrar till, är inriktade på att inkludera alla medlemmar i samhället. Det är ett sätt att föreställa sig teknik som ett hjälpmedel för inkludering, både av minoriteter och av majoriteter, inom en demokrati, " betonar Juan Víctores.