Kund:"Hej." Barista:"Hej. Vad kan jag ge dig?" Kund:"Jag skulle vilja ha te." För många, detta är det mest vardagliga, förglömligt utbyte mellan två människor. För dem som känner till begränsningar för döva och hörselskadade, utbytet är något utöver det vanliga.

Dimitri Kanevsky forskare och ingenjör Chet Gnegy har arbetat tillsammans för att ta fram Android-appen, Transkribera live. Den här appen tar tal och förvandlar det till bildtexter i realtid med hjälp av telefonens mikrofon.

Du kan se ord visas på din Android-telefon när de läses upp. Du går med i konversationen genom att skriva ditt svar på skärmen, via ett typ-back-tangentbord.

Hörselpopulationer och döva och hörselskadade kan enkelt föra samtal. Kanalen är helt enkelt appen på en Android-telefon.

"Vi kan nu göra saker som inte ens var möjliga för några år sedan, som att hoppa in i konversationer vid middagsbordet eller slentrianmässigt vara med när tillfälle ges, sade Christian Vogler, Professor och forskare, Gallaudet University.

Appens skapare har tagit hänsyn till att appen kan avnjutas på fler språk än endast engelska. Potentiella användare kommer att ha sitt val bland över 70 språk och dialekter; de kan förvänta sig korrekta bildtexter på språket som talas.

Trådbunden beskrev appen som möjliggör "tal-till-text-intelligens" där hörselskadade eller döva kan ta emot "textrepresentationer av talade konversationer när de pågår."

En video publicerades om detta i måndags. "Föreställ dig en värld där människor som är döva eller hörselskadade kan ha vardagliga personliga samtal, i realtid."

Vad sätter den här showen på vägen? Kanevesky, döv sedan barndomen, har arbetat med taligenkänning och kommunikationsteknik i mer än en minut – vad sägs om de senaste 30 åren.

Teamet för Live Transcribe började med en fråga/utmaning:Vad händer om vi använde molnbaserad automatisk taligenkänning för att visa talade ord på en skärm?

De byggde en prototyp. I en blogg, Brian Kernler sa att Googlers på alla kontor från Mountain View till Taipei engagerade sig. Också, Gallaudet University, skolan för döva och hörselskadade, slog in, för att kontrollera att Live Transcribe skulle vara till hjälp för dagligt bruk. Skolan hjälpte till med tester och förbättringar. Gallaudet hyllas som ett universitet för döva och hörselskadade, ett idealiskt val för feedback. Skolans program och tjänster är särskilt utformade för att ta emot döva och hörselskadade elever.

"På den tekniska sidan, appen förlitar sig på moln ASR för att ge större noggrannhet i kombination med en på enhetens neural nätverksbaserad taldetektor, " sa SiliconANGLE. Google Play-produkten noterar följande funktioner i appen:(1) användaren kan svara utan att prata genom att skriva ut svar (2) det finns valfria haptiska feedback-signaler när någon börjar eller återupptar att prata.

"Direkttranskribering kommer gradvis att lanseras i en begränsad betaversion till användare över hela världen via Play Butik och förinstallerad på Pixel 3-enheter. Registrera dig här för att bli meddelad när den är mer allmänt tillgänglig." ( Trådbunden :Live Transcribe kommer att installeras på Googles Pixel 3-smarttelefoner, men annars är det bara tillgängligt via en beta nu.)

Integritet? Webbplatsen sa att konversationsutskrifter inte lagras på servrar; de förblir säkra på din enhet.

Aatif Sumar, Android-polisen :"För en app som ska vara i beta, det fungerar imponerande bra. Jag hade samtal runt telefonen, och appen kunde ta upp det mesta som sas. Även när transkriptionen missade ett eller två ord, du kan förstå kärnan i konversationen."

Sumar skrev om det haptiska inslaget, för. "Om samtalet stannar ett tag och sedan återupptas, telefonen kan vibrera för att varna dig."

En intressant observation från Lauren Goode i Trådbunden :Livetranskribering handlar "mindre om att hjälpa en användare att navigera i själva telefonen och mer om att människor använder telefoner för att navigera i världen som finns omkring oss när vi inte är begravda i våra telefoner."

© 2019 Science X Network