Forskare vid NIT Silchar, Indien, har nyligen utvecklat ett nytt dynamiskt hand-gest-baserat tangentbordsteckenigenkänningssystem. Detta virtuella tangentbordssystem, presenteras i ett papper publicerat i Springer's Journal of Ambient Intelligence and Humanized Computing , använder ett bildbaserat tillvägagångssätt för gestigenkänning som är mönster, hastighet och skala invariant i naturen.

"Gästigenkänning är ett lovande studieområde på grund av sitt stora utbud av applikationer, "Songhita Misra, en av forskarna som genomförde studien, berättade TechXplore. "Ett system för gestigenkänning kan tillämpas i virtual reality -system, augmented reality, sjukvård, fordon, för att hjälpa patienter med syn- eller rörelsehinder för hushållsapparater, robotar, gruvdrift och flera andra applikationer, som ökar för varje dag som går. "

Gestigenkänning kan förbättra interaktionen mellan människa och dator på en mängd olika områden. Även om verktyg för gestigenkänning kan ha ett stort antal applikationer, än så länge, väldigt få organisationer och institutioner har försökt införa dessa system i samhället.

"Medan jag gjorde litteraturundersökningen, Jag observerade att de flesta befintliga studier antingen är begränsade till statiska gester eller dynamiska gester med liten varaktighet, till exempel 'flytta vänster, ' 'flytta höger, ' 'klick, ' 'sluta, ' etc., som i princip kan ersätta den traditionella mus- och TV -fjärrkontrollen som mest, "Songhita sa." Med ökningen av efterfrågan på applikationer, systemets komplexitet från designeränden kommer sannolikt att öka. Därför, en grundlig studie och analys av långa dynamiska system krävs. "

Traditionella tangentbord stöder ett brett spektrum av tecken, inklusive stora och små engelska bokstäver, aritmetiska operatörer, Arabiska tal, och andra utskrivbara ASCII -tecken. Ett system för gestigenkänning som täcker alla dessa tecken är mycket utmanande att utveckla på grund av dess betydande databaskrav, samt möjliga komplikationer i samband med handdetektering, spårning, extrahering av funktioner och användning av klassificerare.

I deras senaste studie, Songhita och hennes kollegor bestämde sig för att utveckla ett virtuellt tangentbordssystem med cirka 95 tecken. Än, på grund av svårigheterna i samband med denna uppgift, deras system stöder för närvarande 58.

"Vårt lag, som inkluderar min guide Dr. Rabul Hussain Laskar, Dr Joyeeta singha och jag, lyckades utveckla ett 58 utskrivbart tangentbordssystem med både färgmarkörer och bara händer, "Songhita förklarade." Vår forskning inom detta område började redan 2013 på vårt tal- och bildlabb på NIT Silchar. "

Forskarna utvecklade ett hierarkiskt tillvägagångssätt för gestigenkänning som är baserat på självmedlidning, position och bana funktioner. Befintliga toppmoderna modeller för gestigenkänning är baserade på tidsmässiga banaegenskaper, som är beroende av den bildmässiga 2-D-sekventiella vägen följt av särskilda gester.

På grund av detta beroende, de egenskaper som analyseras med dessa tillvägagångssätt kan påverkas av banbuller eller andra variationer i mönster, hastighet eller skala. Den metod som utarbetats av Songhita och hennes kollegor, å andra sidan, använder bildmodeller som inte erhålls bildmässigt, och påverkas därför inte av mönster, fart, skala eller bana variationer.

Forskarna sammanfogade dessa bildbaserade och banfunktioner i en hybrid hierarkisk klassificeringsmodell. Deras modell uppnådde 3,9 procent större noggrannhet än en baslinje icke-hierarkisk bana klassificeringsmodell, med lägre felklassificeringshastigheter för tecken som '0' och 'O' eller 'Z' och '2'.

"Den utökade versionen av vårt arbete har godkänts av IMPRINT-II för sponsring under SERB, DST, Indien, under tre år, "Sa Songhita." Vårt projekt, som är i samarbete med IIT Guwahati, var bland de 121 projekt som valts ut från 2000+ förslag. Detta är en stor prestation för oss, liksom för institutet. Vårt kommer definitivt att vara ett av de första projekten i Indien som enbart fokuserar på utvecklingen av ett virtuellt system för textinmatning. "

Den senaste studien som utförts av Songhita och hennes kollegor fokuserade på att utveckla en hierarkisk klassificeringsmodell som kan hantera stora databaser utan att minska systemets noggrannhet. Målet med det bredare projektet som godkänts av IMPRINT-II, dock, blir att utveckla ett handikappvänligt system för gestigenkänning för 95 utskrivbara tangentbordstecken med både färgmarkörer och detektering av bara händer. När detta system är klart, det kommer att användas för äldre och synskadade användare, liksom andra som kan ha nytta av det.

"Att utveckla ett så stort ordförrådssystem kommer att bli en utmanande uppgift, "Sa Songhita." Fram tills nu, Vi har utvecklat ett system för 58-teckenigenkänning med hjälp av visionbaserade tekniker. "

© 2019 Science X Network