Tänk dig att du går till en obekant stormarknad för första gången. Om du är en person som kan se, du kan helt enkelt se dig omkring för att guida dig själv och identifiera föremål och hinder. Dock, blinda människor måste använda andra sinnen för att hitta vägen genom ett nytt rum.

Snart, blinda kan ha lite navigeringshjälp, tack vare Caltech-forskare som har kombinerat augmented reality-hårdvara och datorseendealgoritmer för att utveckla mjukvara som gör att objekt kan "prata". Bärs som ett bärbart headset, tekniken översätter den optiska världen till vanligt engelskt ljud. Enheten kan en dag göras tillgänglig i banker, mataffärer, museer, och andra platser, för att hjälpa blinda att ta sig igenom okända utrymmen.

Arbetet utfördes i laboratoriet av Markus Meister (Ph.D. '87), Anne P. och Benjamin F. Biaggini professor i biologiska vetenskaper och verkställande direktör för neurobiologi, och beskrivs i ett papper som visas i numret av den 27 november av tidskriften eLife . Meister är en ansluten fakultetsmedlem till Tianqiao och Chrissy Chen Institute for Neuroscience vid Caltech.

"Föreställ dig att du är i en värld där alla föremål runt omkring dig har röster och kan tala till dig, " säger Meister. "Var du än riktar din blick, de olika objekten du fokuserar på aktiveras och säger deras namn till dig. Skulle du kunna tänka dig att ta dig runt i en sådan värld, utföra några av de många uppgifter som vi normalt använder vårt visuella system för? Det är vad vi har gjort här – gett röster till föremål."

Leds av doktoranden Yang Liu, teamet av forskare utvecklade ett system som de kallar CARA, eller Cognitive Augmented Reality Assistant. CARA utvecklades för en bärbar headsetdator som heter HoloLens, utvecklad av Microsoft, som kan skanna en användares miljö och identifiera enskilda objekt som en bärbar dator eller ett bord. Med CARA, varje objekt i miljön får en röst och kommer att "säga" sitt namn på användarens kommando. Tekniken använder så kallat spatialiserat ljud, vilket gör att föremål låter olika beroende på var de befinner sig i ett rum. Om föremålet är, till exempel, långt till vänster om användaren, dess röst kommer att låta som om den kommer från vänster. Dessutom, ju närmare föremålet, ju högre tonhöjd har dess "röst".

För att undvika en kakofoni av föremål som talar på en gång, Liu och hans team programmerade CARA med flera olika lägen. I den första, kallas spotlight-läge, ett objekt säger bara sitt namn när användaren vänder sig direkt mot det. När användaren vänder på huvudet för att möta olika föremål, föremålen säger var sitt namn, och tonhöjden för objektets röst ger en hörselsignal om dess relativa avstånd från användaren. På det här sättet, en synskadad användare kan "se sig omkring" för att utforska sin miljö. I ett andra läge, kallas skanningsläge, miljön skannas från vänster till höger med objekt som säger deras namn i enlighet med detta. Det tredje läget är målläget, där användaren kan välja ett av objekten att prata exklusivt och använda det som en guide för att navigera.

För att testa CARAs praktiska tillämpningar, forskarna utformade en testväg för blinda frivilliga genom Beckman Behavioral Biology-byggnaden vid Caltech. För att förbereda uppgiften, forskarna utvecklade först en väg genom byggnaden och följde den medan de bar HoloLens, som skannade miljön och sparade den i minnet. Sedan, de blinda volontärerna ombads att navigera på rutten med hjälp av CARA som guide. När varje volontär började, en röst, som till synes härrör från en plats längre fram på rutten, ropade "Följ mig, " samtidigt som du berättar för användaren om trappor, ledstänger, hörn att vända, och liknande. Leds av CARA, alla sju volontärerna slutförde uppgiften framgångsrikt vid första försöket.

CARA är fortfarande i ett tidigt skede, men kommer att dra nytta av den snabba utvecklingen av algoritmer för datorseende. Forskarna implementerar redan nya system för realtidsidentifiering av objekt och fotgängare. Så småningom, de hoppas att platser som banker, hotell, och köpcentra kommer att erbjuda CARA-enheter för användning av sina blinda kunder.

Förutom deras arbete med CARA, teamet utvecklade också ett nytt "standardiserat test" för att utvärdera prestandan hos olika hjälpmedel för blinda. Metoden ger en virtuell verklighetsmiljö som forskare var som helst i världen kan använda för att benchmarka sina enheter, utan att behöva rekonstruera verkliga fysiska utrymmen.

Uppsatsen har titeln "Augmented Reality Powers a Cognitive Assistant for the Blind."