Ett team av forskare och ingenjörer på Huawei AI har kommit på ett unikt sätt att hjälpa döva barn att lära sig läsa teckenspråk – genom att använda AI och augmented reality för att tolka tryckta böcker. De har också hittat ett sätt att hjälpa döva barn att utveckla läsglädje.

Idén till appen var ett svar på den frustration som många föräldrar känner när de försöker läsa en bok för sitt döva barn – i de flesta sådana situationer, en hörande förälder försöker inkludera sitt döva barn i en aktivitet som är en automatisk övergångsrit för dem utan hörselnedsättning. För att lösa det här problemet, Forskare vid Huawei slog till på idén att använda artificiell intelligens för att hjälpa ett barn att läsa en bok. AI/AR-systemet är inbäddat i en app som heter StorySign som kan köras på en telefon eller surfplatta – föräldern eller barnet håller telefonen över sidan och en avatar läggs över texten och tolkar orden via signering.

Allt eftersom historien fortskrider, appen markerar orden som signeras, hjälpa barnet att förstå att orden är kopplade till tecknet som används för att representera dem. Forskarna rapporterar att de också gjorde ett betydande arbete för att utveckla en avatar som barn kunde relatera till. De arbetade med Aardman Animations för att skapa en avatar som heter Star, som gör mer än att bara visa handgester – hon använder också kropps- och ansiktsuttryck för att förmedla känslor, hjälpa barnet att bättre förstå innehållet i materialet i boken. En varning är att appen bara fungerar med vissa barnböcker, alla publicerade av Penguin Random House.

Appen har utvecklats med stöd från European Union of the Deaf och British Deaf Association. Det är gratis, och tillgänglig för Android- och Apple-produkter på 10 språk i 10 europeiska länder. Utvecklarna säger att om appen visar sig populär, den kommer att göras tillgänglig i fler regioner och på fler språk.

© 2018 Science X Network