Bakom de flesta av dagens artificiella intelligensteknologier, från självkörande bilar till ansiktsigenkänning och virtuella assistenter, ligger artificiella neurala nätverk. Även om det är löst baserat på hur neuroner kommunicerar i hjärnan, dessa "djupinlärnings"-system förblir oförmögna till många grundläggande funktioner som skulle vara väsentliga för primater och andra organismer.

Dock, en ny studie från University of Chicago neuroforskare fann att anpassning av en välkänd hjärnmekanism dramatiskt kan förbättra förmågan hos artificiella neurala nätverk att lära sig flera uppgifter och undvika den ihållande AI-utmaningen med "katastrofal att glömma." Studien, publiceras i Proceedings of the National Academy of Sciences , ger ett unikt exempel på hur neurovetenskaplig forskning kan informera om nya datavetenskapliga strategier, och, omvänt, hur AI-teknik kan hjälpa forskare att bättre förstå den mänskliga hjärnan.

I kombination med tidigare rapporterade metoder för att stabilisera synaptiska anslutningar i artificiella neurala nätverk, den nya algoritmen gjorde det möjligt för enstaka artificiella neurala nätverk att lära sig och utföra hundratals uppgifter med endast minimal förlust av noggrannhet, potentiellt möjliggör mer kraftfulla och effektiva AI-tekniker.

"Intuitivt, du kanske tror att ju fler uppgifter du vill att ett nätverk ska kunna, ju större nätverket kan behöva vara, sa David Freedman, professor i neurobiologi vid UChicago. "Men hjärnan antyder att det förmodligen finns något effektivt sätt att packa in massor av kunskap i ett ganska litet nätverk. När man tittar på delar av hjärnan som är involverade i högre kognitiva funktioner, du tenderar att upptäcka att samma områden, till och med samma celler, delta i många olika funktioner. Tanken var att hämta inspiration från vad hjärnan gör för att lösa utmaningar med neurala nätverk."

I artificiella neurala nätverk, "katastrofiskt glömma" syftar på svårigheten att lära systemet att utföra nya färdigheter utan att förlora tidigare inlärda funktioner. Till exempel, om ett nätverk som från början tränats för att skilja mellan foton av hundar och katter sedan omtränas för att skilja mellan hundar och hästar, det kommer att förlora sin tidigare förmåga.

"Om du visar ett tränat neuralt nätverk en ny uppgift, den kommer att glömma sin tidigare uppgift helt, sa Gregory Grant, AB'18, som nu är forskare i Freedman-labbet. "Det står, "Jag behöver inte den informationen, ' och skriver över det. Det är katastrofalt att glömma. Det händer väldigt snabbt; inom bara ett par iterationer, din tidigare uppgift skulle kunna utplånas totalt."

Däremot hjärnan kan "ständigt lära sig, "skaffa ny kunskap utan att eliminera gamla minnen, även när samma neuroner används för flera uppgifter. En strategi som hjärnan använder för denna inlärningsutmaning är den selektiva aktiveringen av celler eller cellulära komponenter för olika uppgifter – i huvudsak aktivera mindre, överlappande delnätverk för varje enskild färdighet, eller i olika sammanhang.

UChicago-forskarna anpassade denna neurovetenskapliga mekanism till artificiella neurala nätverk genom en algoritm som de kallade "kontextberoende gating". För varje ny uppgift som lärts, endast slumpmässigt 20 procent av ett neuralt nätverk är aktiverat. Efter att nätverket har tränats på hundratals olika uppgifter, en enda nod kan vara involverad i dussintals operationer, men med en unik uppsättning kamrater för varje enskild färdighet.

I kombination med metoder som tidigare utvecklats av Google och Stanford-forskare, Kontextberoende gating gjorde det möjligt för nätverk att lära sig så många som 500 uppgifter med endast en liten minskning i noggrannhet.

"Det var lite förvånande att något så här enkelt fungerade så bra, sa Nicolas Masse, en postdoktor i Freedman-labbet. "Men med den här metoden, ett ganska medelstort nätverk kan skapas en hel massa sätt att lära sig många olika uppgifter om de görs på rätt sätt."

Som sådan, tillvägagångssättet har sannolikt stor potential i den växande AI-industrin, där företag som utvecklar autonoma fordon, robotik och andra smarta tekniker måste packa komplexa inlärningsmöjligheter i datorer på konsumentnivå. UChicago-teamet arbetar för närvarande med Polsky Center for Entrepreneurship and Innovation för att utforska kommersialiseringsalternativ för algoritmen.

Beräkningsforskningen gynnar också laboratoriets ursprungliga fokus på att bättre förstå primats hjärna genom att registrera dess aktivitet när djur lär sig och beter sig. Modellering och testning av strategier som möjliggör lärande, uppmärksamhet, sensorisk bearbetning och andra funktioner i en dator kan motivera och föreslå nya biologiska experiment som undersöker intelligensens mekanismer både naturliga och artificiella, sa forskarna.

"Att lägga till denna del av forskningen till labbet har verkligen öppnat många dörrar när det gäller att låta oss tänka på nya typer av problem, nya typer av neurovetenskapliga ämnen och problem som vi normalt sett inte riktigt kan ta itu med med de experimentella tekniker som för närvarande finns tillgängliga för oss i labbet, " sa Freedman. "Vi hoppas att detta är startpunkten för mer arbete i labbet för att både identifiera dessa principer och för att hjälpa till att skapa konstgjorda nätverk som fortsätter att lära sig och bygga på tidigare kunskaper."