Forskare från det ryska företaget Neurobotics och Moskvainstitutet för fysik och teknik har hittat ett sätt att visualisera en persons hjärnaktivitet som faktiska bilder som efterliknar vad de observerar i realtid. Detta kommer att möjliggöra nya enheter för rehabilitering efter stroke som styrs av hjärnans signaler. Teamet publicerade sin forskning som ett preprint på bioRxiv och lade ut en video online som visar deras "mind-reading"-system på jobbet.

Att utveckla enheter som styrs av hjärnan och metoder för behandling av kognitiva störningar och rehabilitering efter stroke, neurobiologer måste förstå hur hjärnan kodar information. En nyckelaspekt av detta är att studera hjärnaktiviteten hos människor som uppfattar visuell information, till exempel, medan du tittar på en video.

De befintliga lösningarna för att extrahera observerade bilder från hjärnsignaler använder antingen funktionell MRI eller analyserar signalerna som plockas upp via implantat direkt från neuroner. Båda metoderna har ganska begränsade tillämpningar i klinisk praxis och vardagsliv.

Hjärn-datorgränssnittet utvecklat av MIPT och Neurobotics bygger på artificiella neurala nätverk och elektroencefalografi, eller EEG, en teknik för att registrera hjärnvågor via elektroder placerade icke-invasivt på hårbotten. Genom att analysera hjärnans aktivitet, systemet rekonstruerar bilderna som ses av en person som genomgår EEG i realtid.

"Vi arbetar på Assistive Technologies-projektet av Neuronet från National Technology Initiative, som fokuserar på hjärn-dator-gränssnittet som gör det möjligt för patienter efter stroke att kontrollera en exoskelettarm för neurorehabiliteringsändamål, eller förlamade patienter att köra en elektrisk rullstol, till exempel. Det slutliga målet är att öka noggrannheten i neural kontroll för friska individer, för, sade Vladimir Konyshev, som leder Neurorobotics Lab vid MIPT.

I den första delen av experimentet, neurobiologerna bad friska försökspersoner att titta på 20 minuter av 10 sekunder långa YouTube-videofragment. Teamet valde ut fem godtyckliga videokategorier:abstrakta former, vattenfall, mänskliga ansikten, rörliga mekanismer och motorsport. Den senare kategorin innehöll förstapersonsinspelningar av snöskoter, vattenskoter, motorcykel- och biltävlingar.

Genom att analysera EEG-data, forskarna visade att hjärnvågsmönstren är olika för varje kategori av videor. Detta gjorde det möjligt för teamet att analysera hjärnans svar på videor i realtid.

I den andra fasen av experimentet, tre slumpmässiga kategorier valdes ut från de ursprungliga fem. Forskarna utvecklade två neurala nätverk:ett för att generera slumpmässiga kategorispecifika bilder från "brus, " och en annan för att generera liknande "brus" från EEG. Teamet tränade sedan nätverken att fungera tillsammans på ett sätt som omvandlar EEG-signalen till faktiska bilder som liknar dem som testpersonerna observerade (fig. 2).

För att testa systemets förmåga att visualisera hjärnaktivitet, försökspersonerna visades tidigare osynliga videor från samma kategorier. När de såg på, EEG registrerades och matades till de neurala nätverken. Systemet klarade testet, genererar övertygande bilder som lätt kan kategoriseras i 90 procent av fallen (fig. 1).

"Electroencefalogrammet är en samling hjärnsignaler som registrerats från hårbotten. Forskare trodde tidigare att att studera hjärnans processer via EEG är som att ta reda på den inre strukturen hos en ångmaskin genom att analysera röken som lämnats efter av ett ångtåg, " förklarade pappersmedförfattaren Grigory Rashkov, en juniorforskare vid MIPT och en programmerare på Neurobotics. "Vi förväntade oss inte att den innehåller tillräcklig information för att ens delvis rekonstruera en bild som observerats av en person. Ändå visade det sig vara fullt möjligt."

"Vad mer, vi kan använda detta som grund för ett hjärn-dator-gränssnitt som fungerar i realtid. Det är ganska betryggande. Med dagens teknik, de invasiva neurala gränssnitten som Elon Musk föreställer sig står inför utmaningarna med komplex kirurgi och snabb försämring på grund av naturliga processer – de oxiderar och misslyckas inom flera månader. Vi hoppas att vi så småningom kan designa mer överkomliga neurala gränssnitt som inte kräver implantation, ", tillade forskaren.