Forskare har utvecklat ett nytt ramverk för djupa neurala nätverk som gör att system med artificiell intelligens (AI) bättre kan lära sig nya uppgifter samtidigt som de "glömmer" mindre av vad de har lärt sig om tidigare uppgifter. Forskarna har också visat att att använda ramverket för att lära sig en ny uppgift kan göra AI bättre på att utföra tidigare uppgifter, ett fenomen som kallas bakåtöverföring.

"Människor kan kontinuerligt lära sig; vi lär oss nya uppgifter hela tiden, utan att glömma det vi redan vet, " säger Tianfu Wu, en biträdande professor i el- och datateknik vid NC State och medförfattare till ett papper om arbetet. "Hittills, AI-system som använder djupa neurala nätverk har inte varit särskilt bra på detta."

"AI-system för djupa neurala nätverk är designade för att lära sig smala uppgifter, " säger Xilai Li, en co-lead författare till uppsatsen och en Ph.D. kandidat vid NC State. "Som ett resultat, en av flera saker kan hända när man lär sig nya uppgifter. System kan glömma gamla uppgifter när de lär sig nya, som kallas katastrofal glömska. System kan glömma några av de saker de visste om gamla uppgifter, samtidigt som man inte lär sig att göra nya också. Eller system kan fixa gamla uppgifter på plats samtidigt som de lägger till nya uppgifter - vilket begränsar förbättringar och snabbt leder till ett AI -system som är för stort för att fungera effektivt. Kontinuerligt lärande, även kallat livslångt lärande eller lära-att-lära, försöker lösa problemet."

"Vi har föreslagit en ny ram för kontinuerligt lärande, som frikopplar nätverksstrukturinlärning och modellparameterinlärning, " säger Yingbo Zhou, medförfattare till artikeln och en forskare vid Salesforce Research. "Vi kallar det Learn to Grow-ramverket. I experimentell testning, vi har funnit att det överträffar tidigare metoder för kontinuerligt lärande."

För att förstå ramverket Lär dig att växa, tänk på djupa neurala nätverk som ett rör fyllt med flera lager. Rådata går till toppen av röret, och uppgiftsutgångar kommer ut längst ner. Varje "lager" i röret är en beräkning som manipulerar data för att hjälpa nätverket att utföra sin uppgift, som att identifiera objekt i en digital bild. Det finns flera sätt att ordna lagren i röret, som motsvarar nätverkets olika "arkitekturer".

När man ber ett djupt neuralt nätverk att lära sig en ny uppgift, Learn to Grow-ramverket börjar med att utföra något som kallas en explicit neural arkitekturoptimering via sökning. Vad detta betyder är att när nätverket kommer till varje lager i sitt system, den kan bestämma sig för att göra en av fyra saker:hoppa över lagret; använd lagret på samma sätt som tidigare uppgifter använde det; fäst en lätt adapter på lagret, vilket ändrar det något; eller skapa ett helt nytt lager.

Denna arkitekturoptimering lägger ut den bästa topologin effektivt, eller serie av lager, behövs för att utföra den nya uppgiften. När detta är klart, nätverket använder den nya topologin för att utbilda sig i hur man utför uppgiften - precis som alla andra djupa inlärnings -AI -system.

"Vi har kört experiment med flera datamängder, och vad vi har funnit är att ju mer en ny uppgift liknar tidigare uppgifter, ju mer överlappning det finns när det gäller de befintliga lagren som behålls för att utföra den nya uppgiften, " säger Li. "Det som är mer intressant är att med den optimerade – eller "inlärda" topologin – glömmer ett nätverk som tränats för att utföra nya uppgifter väldigt lite av vad det behövde för att utföra de äldre uppgifterna, även om de äldre uppgifterna inte var lika. "

Forskarna körde också experiment som jämförde Learn to Grow-ramverkets förmåga att lära sig nya uppgifter med flera andra metoder för kontinuerlig inlärning, och upptäckte att Learn to Grow-ramverket hade bättre noggrannhet när de slutförde nya uppgifter.

För att testa hur mycket varje nätverk kan ha glömt när de lärde sig den nya uppgiften, forskarna testade sedan varje systems noggrannhet när de utför de äldre uppgifterna - och ramverket Lär dig att växa gick bättre än de andra nätverken.

"I vissa fall, ramverket Learn to Grow blev faktiskt bättre på att utföra de gamla uppgifterna, " säger Caiming Xiong, forskningschefen för Salesforce Research och en medförfattare till arbetet. "Detta kallas bakåtöverföring, och uppstår när du upptäcker att lära sig en ny uppgift gör dig bättre på en gammal uppgift. Vi ser detta hos människor hela tiden; inte så mycket med AI."

Pappret, "Lär dig att växa:ett kontinuerligt strukturellt lärande ramverk för att övervinna katastrofal glömska, " kommer att presenteras vid den 36:e internationella konferensen om maskininlärning, hålls 9-15 juni i Long Beach, Kalifornien.