De flesta djupinlärningsalgoritmer fungerar bra när de tränas på stora uppsättningar märkta data, men deras prestanda tenderar att försämras vid behandling av ny data. Forskare över hela världen har därför försökt utveckla tekniker som kan förbättra dessa algoritmers förmåga att generalisera väl över både nya och tidigare bearbetade data, möjliggör det som kallas livslångt lärande.

Forskare vid University of Notre Dame och GlobalFoundries Fab1 har nyligen utvecklat en ny metod för att underlätta livslångt lärande i artificiella neurala nätverk, vilket innebär användning av en ferroelektrisk ternär innehållsadresserbar minneskomponent. Deras studie, med i Nature Electronics , syftade till att replikera den mänskliga hjärnans förmåga att snabbt lära sig från bara några få exempel, anpassa sig till nya uppgifter baserade på tidigare erfarenheter.

"När ett utbildat djupt neuralt nätverk möter tidigare osynliga klasser, det misslyckas ofta med att generalisera från sina förkunskaper och måste lära sig om nätverksparametrarna för att extrahera relevant information från den givna klassen, "Kai Ni, en av forskarna som genomförde studien, berättade TechXplore. "Detta kräver att stora mängder märkta data görs tillgängliga för nätverksträning."

Ett tillvägagångssätt som är utformat för att förbättra prestanda för djupa neurala nätverk på tidigare osynliga data innebär integration av en uppmärksam minneskomponent. Denna komponent gör att algoritmerna kan basera sina analyser på tidigare förvärvad kunskap, anpassa den till nya och ändå lite liknande uppgifter. Algoritmer med en uppmärksamhetskomponent, känd som minnesförstärkta neurala nätverk (MANN), kan vanligtvis extrahera funktioner från data, lagra dem i deras uppmärksamhetsminne och hämta dem när du slutför en ny uppgift.

"En nyckelfunktion för minnesmodulen är innehållsbaserad adressering, där avståndet mellan en sökvektor och alla lagrade vektorer beräknas för att hitta den närmaste matchningen. I ett konventionellt tillvägagångssätt, de lagrade minnesvektorerna (i DRAM) måste överföras till en beräkningsenhet (CPU eller GPU) för att jämföra avstånd med en given fråga, "Sa Ni." Som sådan, energispridning och latensbegränsningar kan representera betydande utmaningar för att skala upp MANN:er. I det här arbetet, vi föreslår att tillämpa ferroelektriskt ternärt innehåll adresserbart minne (TCAM) som nätverkets uppmärksamhetsminne för att övervinna denna flaskhals. "

Genom att beräkna avståndet mellan en sökningsvektor och varje lagrad minnespost direkt inom sig själv, TCAM -komponenten som Ni och hans kollegor introducerade undviker dyra dataöverföringar. TCAM förlitar sig i huvudsak på att urladdningsströmmen genom en matchningslinje är proportionell mot Hammingavståndet (HD) mellan frågan och lagrad post.

Genom att känna av denna urladdningsström kan forskarna beräkna HD direkt i minneskomponenten parallellt. TCAM tillåter också djupinlärningsmodeller att utföra innehållsbaserade minnesuppdateringar snarare än slumpmässiga adressbaserade datauppdateringar.

"För att möjliggöra en effektiv interaktion mellan det neurala nätverket (arbetar med flytande nummer) och TCAM -arrayen (endast beräkning av HD -avståndet), vi använde en lokalitetskänslig hash-funktion (LSH) för att kartlägga en verkligt värderad funktionsvektor extraherad från NN till ett binärt signaturutrymme, vilket möjliggör en Hamming -distansbaserad närmaste grannsökning inom TCAM -arrayen, "Förklarade Ni.

Ni och hans kollegor utvärderade sin ferroelektriska TCAM -prototyp i en serie försök där ett djupt neuralt nätverk fick lära sig att slutföra nya uppgifter baserat på ett eller flera exempel. När den implementeras på en GPU som stöds av extern DRAM, deras metod ledde till klassificeringsnoggrannheter som närmar sig de som erhållits med en mer konventionell metod baserad på cosinusavståndsberäkning (t.ex. en 99,5 procent noggrannhet mot en 99,05 procent noggrannhet för en 20-vägs, fem-shot inlärningsproblem). Anmärkningsvärt, det TCAM-baserade systemet uppnådde noggrannheter som liknade de i det mer konventionella tillvägagångssättet med en 60-faldig minskning av energiförbrukningen och 2, 700-faldig minskning av latens för en enda sökoperation.

"Bidragen från denna forskning är flera gånger, "Sa Ni." För det första, vi visade den mest kompakta TCAM -cellen hittills, som bara består av två FeFET, men ger den högsta minnestätheten och förmodligen överlag den bästa prestandan bland alla andra alternativ. För det andra, vi demonstrerade funktionaliteten för HD -avståndsberäkning med en TCAM -array. Till sist, vi använde TCAM-kärnan i MANN för one-shot-inlärning och tillhandahåller en system-lösning från början till slut. "

I framtiden, den nya minneskomponenten som Ni och hans kollegor föreslog skulle kunna hjälpa utvecklingen av mer effektiva djupinlärningsbaserade modeller som fungerar bra på både bekanta och nya uppgifter. Forskarna planerar nu att utveckla en större TCAM-baserad prototyp som kan möjliggöra ytterligare prestandaökning.

"Det befintliga arbetet visar vårt tillvägagångssätt i liten skala på grund av våra begränsningar för mätinställningar, "Sa Ni." Vi planerar att designa ett större utbud, tillsammans med viktiga perifera kretsar, så att TCAM kan vara en fristående modul. Förutom det, enhetsnivåoptimering är fortfarande nödvändig för att förbättra FeFET -uthålligheten, variation, och tillförlitlighet etc. "

© 2019 Science X Network