Teckenspråk är inte lätta att lära sig och är ännu svårare att lära ut. De använder inte bara handgester utan också munningar, ansiktsuttryck och kroppshållning för att kommunicera mening. Denna komplexitet innebär att professionella undervisningsprogram fortfarande är sällsynta och ofta dyra. Men allt detta kan förändras snart, med lite hjälp från artificiell intelligens (AI).

Mina kollegor och jag arbetar med mjukvara för att lära dig själv teckenspråk på en automatiserad, intuitivt sätt. För närvarande, det här verktyget kan analysera hur en elev utför ett tecken på schweizisk-tyska teckenspråk och ge detaljerad feedback om hur man kan förbättra handformen, rörelse, plats och tidpunkt. Men vår förhoppning är att vi kan använda AI bakom verktyget för att skapa programvara som kan lära ut olika teckenspråk från hela världen, och ta hänsyn till mer invecklade egenskaper hos språken, såsom meningsgrammatik och kommunikationens icke-handelement.

AI har tidigare använts för igenkänning, översättning eller tolkning av teckenspråk. Men vi tror att vi är de första som faktiskt försöker bedöma de tecken en person gör. Mer viktigt, vi vill utnyttja AI-tekniken för att ge feedback till användaren om vad de gjorde fel.

Att träna och bedöma teckenspråk är svårt eftersom du inte kan läsa eller skriva det. Istället, vi har skapat ett datorspel. För att öva på ett tecken, spelet visar dig en video av att tecknet utförs, eller ger dig närmast talade ord som beskriver det (eller båda). Den registrerar sedan ditt försök att återskapa skylten med en videokamera och berättar hur du kan göra bättre. Vi har upptäckt att att göra det till ett spel uppmuntrar människor att tävla för att få bästa poäng och förbättra sin värvning längs vägen.

Artificiell intelligens används i alla stadier av prestationsbedömning. Först, ett konvolutionellt neuralt nätverk (CNN) extraherar information från videon om din överkropps ställning. En CNN är en typ av AI löst baserat på bearbetningen som görs av den visuella cortex i din hjärna. Din skelettpositionsinformation och originalvideon skickas sedan till handformanalysatorn, där en annan CNN tittar på videon och tar fram handforminformation vid varje punkt i videon.

Skelettinformationen och handformerna skickas sedan till en handrörelseanalysator, som använder något som kallas en Hidden Markov-modell (HMM). Denna typ av AI tillåter oss att modellera skelettet och handforminformation över tid. Den jämför sedan vad den har sett med en referensmodell som representerar den perfekta versionen av det tecknet, och ger en poäng om hur väl den matchar.

Resultaten av både handformanalysatorn och handrörelseanalysatorn poängsätts sedan och presenteras för dig som feedback. Så all AI är gömd bakom ett lättanvänt gränssnitt, låter dig fokusera på lärandet. Vår förhoppning är att den automatiska, personlig feedback kommer att göra eleverna mer engagerade i processen att lära sig att skriva under.

Ta med AI till klassrummet

Än så länge, programvaran fungerar endast för schweizisk-tyska teckenspråk. Men vår forskning tyder på att systemets "arkitektur" inte skulle behöva ändras för att hantera andra språk. Det skulle bara behövas fler videoinspelningar av varje språk att fungera som data att träna med.

Ett forskningsområde vi skulle vilja utforska är hur vi kan använda det som AI redan kan för att hjälpa den att lära sig nya språk. Vi skulle också vilja se hur vi kan lägga till andra aspekter av kommunikation samtidigt som vi använder teckenspråk, som ansiktsuttryck.

Just nu, programvaran fungerar bäst i en enkel miljö som ett klassrum. Men om vi kan utveckla den för att tolerera mer variation i bakgrunden till videofilmerna, bedömer den att den kan bli som många populära appar som låter dig lära dig ett språk var du än är utan hjälp av en expert. Med denna typ av teknik utvecklas, det kommer snart att vara möjligt att göra inlärning av teckenspråk lika tillgängligt för alla som att lära sig sina talade syskon.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.