Bilden till vänster visar hur DNN:er tränade att identifiera objekt representerar dessa 3 bilder som lika olika. Bilden till höger visar den viktiga roll semantisk information spelar genom att föra de två frukterna närmare i rymden, eftersom de är närmare i sin mening. Kredit:Lorraine Tyler et al.
Neurovetenskapsforskare vid University of Cambridge har kombinerat datorseende med semantik, utveckla en ny modell som kan hjälpa till att bättre förstå hur föremål bearbetas i hjärnan.
Den mänskliga förmågan att känna igen föremål involverar två huvudprocesser, en snabb visuell analys av objektet och aktiveringen av semantisk kunskap som förvärvats under hela livet. De flesta tidigare studier har undersökt dessa två processer separat; därför, deras interaktion är fortfarande i stort sett oklar.
Teamet av Cambridge-baserade forskare har undersökt objektigenkänningsprocesser med en ny metod som kombinerar djupa neurala nätverk med en attraktionsnätverksmodell av semantik. Till skillnad från de flesta tidigare studier, deras teknik står för både visuell information och konceptuell kunskap om föremål.
"Vi hade tidigare utfört mycket forskning med friska människor och hjärnskadade patienter för att bättre förstå hur föremål bearbetas i hjärnan, " berättade Cambridge-forskarna Tech Xplore . "Ett av de viktigaste bidragen i detta arbete är att visa att förståelsen av vad ett objekt är innebär att den visuella ingången snabbt omvandlas över tiden till en meningsfull representation, och denna transformativa process åstadkoms längs längden av den ventrala tinningloben."
Forskarna är övertygade om att tillgång till det semantiska minnet är en viktig del av att förstå vad ett objekt är, så teorier som bara fokuserar på synrelaterade egenskaper fångar inte helt denna komplexa process.
Arkitektur av den integrerade modellen där allt mer komplex visuell information kartläggs på semantisk information. Kredit:Lorraine Tyler et al.
"Detta var den första triggern för den aktuella forskningen, där vi till fullo ville förstå hur visuella indata på låg nivå mappas till en semantisk representation av objektets betydelse, " förklarade forskarna. För att göra detta, de använde ett standard djupt neuralt nätverk specialiserat på datorseende, kallas AlexNet.
"Den här modellen, och andra gillar det, kan identifiera objekt i bilder med mycket hög noggrannhet, men de inkluderar inte någon explicit kunskap om objektens semantiska egenskaper, " förklarade de. "T.ex. bananer och kiwi är väldigt olika i sitt utseende (olika färg, form, textur, etc) men ändå, vi förstår rätt att de båda är frukter. Modeller för datorseende kan skilja mellan bananer och kiwi, men de kodar inte för den mer abstrakta kunskapen att båda är frukter."
Att erkänna begränsningarna hos neurala nätverk för datorseende, forskarna kombinerade AlexNet vision-algoritmen med ett neuralt nätverk som analyserar konceptuell betydelse, inklusive semantisk kunskap i ekvationen.
"I den kombinerade modellen, visuell bearbetning kartläggs till semantisk bearbetning och aktiverar vår semantiska kunskap om begrepp, " sa forskarna.
Deras nya teknik testades på neuroimaging data från 16 frivilliga, som hade blivit ombedd att namnge bilder på föremål när de genomgick en fMRI-skanning. Jämfört med traditionella djupa neurala nätverk (DNN) modeller av syn, den nya metoden kunde identifiera hjärnområden associerade med både visuell och semantisk bearbetning.
Hur olika lager av det visuella DNN (lila) och semantiska attraktionsnätverket (röd-gul) kartläggs på olika delar av hjärnan. Kredit:Lorraine Tyler et al. 
Metoden de utarbetade gjorde förutsägelser om stadierna av semantisk aktivering i hjärnan som överensstämmer med tidigare redogörelser för objektbearbetning, där mer grovkornig semantisk bearbetning ger vika för mer finkornig bearbetning. Forskarna fann också att olika stadier av modellen förutspådde aktivering i olika regioner av hjärnans objektbearbetningsväg.
"I sista hand, bättre modeller för hur människor bearbetar visuella objekt meningsfullt kan ha praktiska kliniska implikationer; till exempel, för att förstå tillstånd som semantisk demens, där människor förlorar sin kunskap om innebörden av objektbegrepp, " sa forskarna.
Studien som genomfördes vid Cambridge är ett viktigt bidrag till området neurovetenskap, eftersom den visade hur olika regioner i hjärnan bidrar till visuell och semantisk bearbetning av objekt.
"Det är nu viktigt att undersöka hur information i en region kan omvandlas till ett annat tillstånd som vi ser i olika regioner i hjärnan, " tillade forskarna. "För detta, vi måste förstå hur anslutning, och temporal dynamik stödjer dessa transformativa neurala processer."
Forskningen publicerades i Vetenskapliga rapporter nyligen.
© 2018 Tech Xplore
