Grafik för den generativa replay-inställningen (övre vänstra panelen) och schema för träning av artificiellt neurala nätverk (ANN) med generativ replay (övre högra panelen). Den normaliserade elektriska strömnoggrannheten för de konventionella (nedre vänstra panelen) och hjärninspirerade replay (BIR) modeller (nedre högra panelen). Kredit:SUTD
Som framgår av genombrott inom olika områden av artificiell intelligens (AI), såsom bildbehandling, smart hälsovård, självkörande fordon och smarta städer, är detta utan tvekan den gyllene perioden av djupinlärning. Under det närmaste decenniet eller så kommer AI och datorsystem så småningom att utrustas med förmågan att lära sig och tänka på det sätt som människor gör – att bearbeta ett kontinuerligt flöde av information och interagera med den verkliga världen.
Men nuvarande AI-modeller lider av en prestandaförlust när de tränas i följd på ny information. Detta beror på att varje gång ny data genereras skrivs den ovanpå befintlig data, vilket raderar tidigare information. Denna effekt är känd som "katastrofisk glömma". En svårighet uppstår från stabilitets-plasticitetsfrågan, där AI-modellen behöver uppdatera sitt minne för att kontinuerligt anpassa sig till den nya informationen och samtidigt behålla stabiliteten i sin nuvarande kunskap. Det här problemet hindrar den senaste AI från att ständigt lära sig av verklig information.
Edge-beräkningssystem gör att datorer kan flyttas från molnlagring och datacenter till nära den ursprungliga källan, såsom enheter anslutna till Internet of Things (IoTs). Att tillämpa kontinuerligt lärande effektivt på resursbegränsade datorsystem är fortfarande en utmaning, även om många modeller för kontinuerligt lärande har föreslagits för att lösa detta problem. Traditionella modeller kräver hög datorkraft och stor minneskapacitet.
En ny typ av kod för att realisera ett energieffektivt system för kontinuerligt lärande har nyligen designats av ett team av forskare från Singapore University of Technology and Design (SUTD), inklusive Shao-Xiang Go, Qiang Wang, Bo Wang, Yu Jiang och Natasa Bajalovic. Teamet leddes av rektor, biträdande professor Desmond Loke från SUTD. Studien av dessa forskare, "Continual Learning Electrical Conduction in Resistive-Switching-Memory Materials", publicerades i tidskriften Advanced Theory and Simulations .
Teamet föreslog Brain-Inspired Replay (BIR), en modell inspirerad av hjärnan, som utför kontinuerlig inlärning naturligt. BIR-modellen, baserad på användningen av ett artificiellt neuralt nätverk och en variationsautokodare, imiterar den mänskliga hjärnans funktioner och kan prestera bra i klassinkrementella inlärningssituationer utan att lagra data. Forskarna använde också BIR-modellen för att representera ledande filamenttillväxt med hjälp av elektrisk ström i digitala minnessystem.
"I den här modellen bevaras kunskap inom utbildade modeller för att minimera prestandaförluster vid införandet av ytterligare uppgifter, utan att behöva hänvisa till data från tidigare arbeten", förklarade adjunkt Loke. "Så, detta sparar oss en stor mängd energi."
"Dessutom uppnåddes en toppmodern noggrannhet på 89 % när det gäller att utmana efterlevnad av aktuella inlärningsuppgifter utan att lagra data, vilket är ungefär två gånger högre än för traditionella modeller för kontinuerligt lärande, samt hög energieffektivitet," " lade han till.
För att tillåta modellen att självständigt bearbeta information på plats i den verkliga världen, planerar teamet att utöka modellens justerbara kapacitet i nästa fas av sin forskning.
"Baserat på småskaliga demonstrationer är den här forskningen fortfarande i ett tidigt skede", säger biträdande professor Loke. "Antagandet av detta tillvägagångssätt förväntas tillåta edge AI-system att utvecklas oberoende utan mänsklig kontroll." + Utforska vidare
