Nya tekniska framsteg kan få viktiga konsekvenser för dem som drabbas av funktionshinder, erbjuda värdefull hjälp under hela sin vardag. Ett nyckelexempel på detta är den vägledning som tekniska verktyg kan ge synskadade (VI), individer som antingen är delvis eller helt blinda.

Med detta i åtanke, forskare på CloudMinds Technologies Inc., i Kina, har nyligen skapat ett nytt djupt lärande-drivet bärbart hjälpsystem för VI-individer. Detta system, presenteras i en tidning förpublicerad på arXiv, består av en bärbar terminal, en kraftfull processor och en smartphone. Den bärbara terminalen har två nyckelkomponenter, en RGBD-kamera och en hörlur.

"Vi presenterar ett djupinlärningsbaserat bärbart system för att förbättra VI:s livskvalitet, ", skrev forskarna i sin uppsats. "Systemet är designat för säker navigering och omfattande scenuppfattning i realtid."

Systemet som utvecklats av teamet på CloudMinds samlar i huvudsak in data från en användares omgivning genom RGBD-kameran. Dessa data matas till ett konvolutionellt neuralt nätverk (CNN) som analyserar det och förutsäger de mest effektiva strategierna för undvikande av hinder och navigering. Dessa strategier, tillsammans med annan information om den omgivande miljön, kommuniceras sedan till användaren via en hörlur.

När du bygger detta system, de första forskarna utvecklade en datadriven, end-to-end convolutional network (CNN) som kan generera kollisionsfria instruktioner när en användare går framåt, vänster, eller och höger baserat på RGBD-data och tillhörande semantiska kartor. Dessutom, de designade en serie interaktioner som är lätta för VI-individer att adoptera, för att ge dem tillförlitlig feedback, såsom gånginstruktioner för att undvika hinder och information om sin omgivning.

"Vår motor för att undvika hinder, som lär sig av RGBD, semantisk karta och pilotinput för handlingsval, kan ge säker feedback om hindren och det fria utrymmet som omger VI. Genom att använda den semantiska kartan, vi introducerar också ett effektivt interaktionsschema implementerat för att hjälpa VI att uppfatta 3D-miljöerna genom en smartphone."

Forskarna testade deras systems prestanda i en serie verkliga experiment för att undvika hinder. Anmärkningsvärt, deras system överträffade befintliga metoder i flera inomhus- och utomhusscenarier. Resultaten de samlade in under dessa tester tyder på att systemet också förbättrar användarnas mobilitetsprestanda och miljöuppfattningsförmåga i verkliga uppgifter, till exempel, hjälpa dem att förstå layouten för ett givet rum, hjälpa dem att hitta ett förlorat föremål, eller förmedla närliggande trafikförhållanden.

Som en del av deras studie, forskarna samlade in datauppsättningar av episoder för undvikande av hinder som innehåller både instruktioner för att undvika närliggande hinder när man går och annan information för att uppfatta omgivande 3D-miljöer. Dessa datauppsättningar kan hjälpa forskarteam att träna andra djupinlärningsbaserade verktyg för VI-individer.

I framtiden, det nya bärbara systemet som utvecklats i denna studie skulle kunna ge effektivare och djupare hjälp till VI-individer. Teamet planerar nu att integrera ett ekolod eller en bumpsensor som skulle förbättra användarnas säkerhet när de navigerar i mer utmanande eller osäkra miljöer.

© 2019 Science X Network