Möjligheter som en gång låg långt från det hörselskadade samhället kommer att bli verklighet med en banbrytande teckenspråksöversättare. Ingenjörer från Michigan State University utvecklade och patenterade en teknologi som – till skillnad från tidigare översättarmekanismer – är icke-invasiv och lika bärbar som en tub med Chapstick.

"Vi tillhandahåller en allestädes närvarande lösning för teckenspråksöversättning, sa Mi Zhang, biträdande professor i el- och datateknik. "Hörselskadade personer som behöver kommunicera med någon som inte förstår teckenspråk kan ha en personlig virtuell tolk när som helst, var som helst."

Hundratusentals hörselskadade förlitar sig på amerikanskt teckenspråk, eller ASL, att kommunicera. Utan tolk närvarande, de har inte samma anställningsmöjligheter och hamnar ofta i underläge i känsliga eller känsliga situationer, sa Zhang.

"Tänk på om du var på sjukhuset och behövde kommunicera med en läkare. Du skulle behöva vänta på att sjukhusets översättare – om de har en sådan – kommer, ansluta till en avgiftsfri tjänst eller lita på att en familjemedlem är närvarande, ", sade Zhang. "Detta äventyrar din integritet och kan förvärra en hälsonödsituation. Detta är bara ett exempel som visar det kritiska behovet av teckenspråksöversättningsteknologi."

Zhang och kollegor, doktoranden Biyi Fang och grundutbildningen Jillian Co, såg en möjlighet att hjälpa den hörselskadade befolkningen att bryta kommunikationsbarriären för att höra majoriteten.

Zhangs teknik, kallas DeepASL, innehåller en algoritm för djupinlärning – eller maskininlärning baserad på data inspirerad av hjärnans struktur och funktion – som automatiskt översätter tecken till engelska. Tekniken fungerar genom en tre-tums sensorisk enhet, utvecklad av Leap Motion, som är utrustad med kameror för att fånga rörelser av händer och fingrar på ett kontinuerligt sätt.

"Leap Motion omvandlar rörelserna av ens händer och fingrar till skelettliknande leder. Vår algoritm för djupinlärning plockar upp data från de skelettliknande lederna och matchar det med tecken på ASL, " sa Fang.

På samma sätt som att ställa in Siri på en ny iPhone, användare signerar vissa ord för att göra sina händer och leder bekanta med tekniken och sensorerna. De kan också skapa anpassade tecken för sina namn eller icke-ordboksord genom att stava dem, och ha mer lätthet och komfort att kommunicera.

"En utmärkande egenskap hos DeepASL är att den kan översätta hela meningar utan att användarna behöver pausa efter varje tecken. Andra översättare är ord-för-ord, kräver att användarna pausar mellan tecken. Denna begränsning saktar avsevärt ned konversationer ansikte mot ansikte, gör konversationer svåra och besvärliga, " Fang sa. "Vår teknik är också icke-påträngande, till skillnad från andra tolktekniker som kräver att undertecknare bär handskar, få dem att känna sig marginaliserade eftersom du bokstavligen kan se deras funktionshinder."

Utöver dess förmåga att hjälpa hörselskadade att kommunicera med andra, DeepASL kan hjälpa dem att virtuellt lära sig ASL genom att ge feedback i realtid om deras signering. Tidigare teknik, Zhang förklarade, genom videohandledningar hade begränsad personlig assistans.

"Omkring 90 procent av döva barn föds av hörande föräldrar. Dessa föräldrar lär sig teckenspråk för att kommunicera med sina barn men har vanligtvis inte tid att gå på direktsändningar, Zhang sa. "Vår teknik kan mäta deras signering för att hjälpa dem att lära sig och förbättra."

Medan Zhangs teknologi översätter teckenspråk till verbalt samtal, han förklarade att existerande, framgångsrika taligenkänningstekniker kan hjälpa den andra sidan av konversationen, låta verbala kommunikatörer tala med hörselskadade.

Forskarna säger att nästa steg för deras teknik är kommersialisering, gör den tillgänglig för de hundratusentals människor som behöver en mer tillgänglig tolk. Leap Motion, de sa, säljs för cirka $78, vilket gör det till ett prisvärt alternativ. De planerar också att göra tekniken kompatibel med iPhones, samt lära det olika teckenspråk.