Våra hjärnor har en anmärkningsvärd förmåga att plocka fram individuella röster i en bullrig miljö, som ett fullsatt kafé eller en livlig gata i staden. Detta är något som även de mest avancerade hörapparaterna kämpar för att göra. Men nu tillkännager Columbia-ingenjörer en experimentell teknologi som efterliknar hjärnans naturliga förmåga att upptäcka och förstärka en röst från många. Drivs av artificiell intelligens, denna hjärnstyrda hörapparat fungerar som ett automatiskt filter, övervaka bärarnas hjärnvågor och öka rösten de vill fokusera på.

Även om det fortfarande är i tidiga utvecklingsstadier, Tekniken är ett viktigt steg mot bättre hörapparater som skulle göra det möjligt för bärare att konversera med människor runt omkring dem sömlöst och effektivt. Denna prestation beskrivs idag i Vetenskapens framsteg .

"Hjärnområdet som bearbetar ljud är utomordentligt känsligt och kraftfullt; det kan förstärka en röst framför andra, till synes utan ansträngning, medan dagens hörapparater fortfarande bleknar i jämförelse, sa Nima Mesgarani, Ph.D., en huvudforskare vid Columbias Mortimer B. Zuckerman Mind Brain Behavior Institute och tidningens senior författare. "Genom att skapa en enhet som utnyttjar kraften i själva hjärnan, vi hoppas att vårt arbete kommer att leda till tekniska förbättringar som gör det möjligt för hundratals miljoner hörselskadade människor världen över att kommunicera lika enkelt som deras vänner och familj gör."

Moderna hörapparater är utmärkta på att förstärka tal samtidigt som de dämpar vissa typer av bakgrundsljud, såsom trafik. Men de kämpar för att öka volymen på en individuell röst över andra. Forskare kallar detta cocktailpartyproblemet, uppkallad efter kakofonien av röster som smälter samman under högljudda fester.

"På trånga platser, som fester, hörapparater tenderar att förstärka alla högtalare samtidigt, sade Dr Mesgarani, som också är docent i elektroteknik vid Columbia Engineering. "Detta hindrar allvarligt en bärares förmåga att konversera effektivt, i huvudsak isolera dem från människorna omkring dem."

Columbia-teamets hjärnstyrda hörapparat är annorlunda. Istället för att enbart förlita sig på externa ljudförstärkare, som mikrofoner, den övervakar också lyssnarens egna hjärnvågor.

"Tidigare, vi hade upptäckt att när två personer pratar med varandra, talarens hjärnvågor börjar likna lyssnarens hjärnvågor, " sa Dr Mesgarani.

Med hjälp av denna kunskap kombinerade teamet kraftfulla talseparationsalgoritmer med neurala nätverk, komplexa matematiska modeller som imiterar hjärnans naturliga beräkningsförmåga. De skapade ett system som först separerar rösterna från enskilda talare från en grupp, och jämför sedan rösterna från varje talare med hjärnvågorna hos personen som lyssnar. Den talare vars röstmönster bäst matchar lyssnarens hjärnvågor ¬förstärks sedan över resten.

Forskarna publicerade en tidigare version av detta system 2017 som, samtidigt som de lovar, hade en viktig begränsning:Den måste vara förtränad för att känna igen specifika talare.

"Om du är på en restaurang med din familj, den enheten skulle känna igen och avkoda dessa röster åt dig, " förklarade Dr. Mesgarani. "Men så snart en ny person, som servitören, anlände, systemet skulle misslyckas."

Dagens framsteg löser till stor del den frågan. Med finansiering från Columbia Technology Ventures för att förbättra sin ursprungliga algoritm, Dr Mesgarani och första författarna Cong Han och James O'Sullivan, Ph.D., återigen utnyttjade kraften i djupa neurala nätverk för att bygga en mer sofistikerad modell som kunde generaliseras till alla potentiella talare som lyssnaren mötte.

"Vårt slutresultat var en talseparationsalgoritm som fungerade på samma sätt som tidigare versioner men med en viktig förbättring, " sade Dr. Mesgarani. "Den kunde känna igen och avkoda en röst - vilken röst som helst - direkt."

För att testa algoritmens effektivitet, forskarna slog sig ihop med Ashesh Dinesh Mehta, MD, Ph.D., en neurokirurg vid Northwell Health Institute for Neurology and Neurosurgery och medförfattare till dagens uppsats. Dr Mehta behandlar epilepsipatienter, av vilka några måste genomgå regelbundna operationer.

"Dessa patienter anmälde sig frivilligt att lyssna på olika högtalare medan vi övervakade deras hjärnvågor direkt via elektroder implanterade i patienternas hjärnor, ", sa Dr. Mesgarani. "Vi tillämpade sedan den nyutvecklade algoritmen på dessa data."

Teamets algoritm spårade patienternas uppmärksamhet när de lyssnade på olika talare som de inte tidigare hört. När en patient fokuserade på en högtalare, systemet förstärkte automatiskt den rösten. När deras uppmärksamhet flyttades till en annan högtalare, volymnivåerna ändrades för att återspegla den förändringen.

Uppmuntrad av deras resultat, forskarna undersöker nu hur man omvandlar denna prototyp till en icke-invasiv enhet som kan placeras externt på hårbotten eller runt örat. De hoppas också kunna förbättra och förfina algoritmen ytterligare så att den kan fungera i ett bredare spektrum av miljöer.

"Än så länge, vi har bara testat den i inomhusmiljö, " sa Dr. Mesgarani. "Men vi vill se till att det kan fungera lika bra på en livlig gata i staden eller en bullrig restaurang, så att vart än bärare går, de kan till fullo uppleva världen och människorna omkring dem."