Hjärnan och alla dess magnifika förmågor drivs av mindre än 20 watt. Sluta tänka på det en sekund. När jag skriver den här bloggen använder min bärbara dator cirka 80 watt, men på bara en fjärdedel av makten, vår hjärna överträffar toppmoderna superdatorer med flera storleksordningar när det kommer till energieffektivitet och volym. Naturen är verkligen anmärkningsvärd.

Av denna anledning borde det inte vara förvånande att forskare runt om i världen söker inspiration från den mänskliga hjärnan som en lovande väg mot utvecklingen av nästa generations AI-datorsystem och samtidigt som IT-branschen har gjort betydande framsteg under de senaste åren, särskilt när det gäller att använda maskininlärning för datorseende och taligenkänning, nuvarande teknik slår mot en vägg när det kommer till djupa neurala nätverk som matchar energieffektiviteten hos deras biologiska motsvarighet, men detta kan vara på väg att ändras.

Som rapporterades förra veckan i Naturkommunikation , mina kollegor och jag på IBM Research och medarbetare vid EPFL och New Jersey Institute of Technology har utvecklat och experimentellt testat en artificiell synapsarkitektur med hjälp av 1 miljon enheter – ett viktigt steg mot att förverkliga storskalig och energieffektiv neuromorf datorteknik.

När den briljante vetenskapsmannen John von Neumann byggde dagens datorarkitektur, som driver nästan 100 procent av världens datorer, minnet och bearbetningen behöll han åtskilda. Detta innebär att data hela tiden måste pendla fram och tillbaka, genererar värme och kräver mycket energi – det är en effektivitetsflaskhals. Hjärnan har naturligtvis inte olika fack, det är därför det är så effektivt. Men detta avskräckte inte team från att hålla fast vid von Neumanns design för att bygga ett neuralt nätverk och även om de har viss framgång, effektiviteten i dessa system är fortfarande låg – du kan helt enkelt inte slå naturen.

På senare tid, vetenskapsmän, inklusive de på IBM, har tagit ett annat tillvägagångssätt baserat på en ny klass av enheter i nanoskala som kallas memristiva enheter, som har visat mycket lovande när det gäller att ta itu med denna flaskhals. Vår enhetsdesign är baserad på något som kallas phase change memory (PCM), utan tvekan den mest avancerade framväxande icke-flyktiga minnesteknologin. En elektrisk puls appliceras på materialet, vilket ändrar enhetens konduktans genom dess fysiska egenskaper.

Som förklarats i vår artikel:"Memristiva enheter som PCM-enheter lagrar information i deras resistans-/konduktanstillstånd och uppvisar konduktivitetsmodulering baserat på programmeringshistoriken. Den centrala idén med att bygga kognitiv hårdvara baserad på memristiva enheter är att lagra de synaptiska vikterna som deras konduktanstillstånd och att utföra de tillhörande beräkningsuppgifterna på plats. exakt modulering av enhetens konduktans över ett brett dynamiskt område, nödvändigt för att upprätthålla hög nätverksnoggrannhet, har visat sig vara utmanande."

Vårt genombrott ligger i vår design, som vi kallar en multi-memristiv synaptisk arkitektur. Denna arkitektur gör det möjligt för oss att öka den synaptiska precisionen utan att öka effekttätheten även om vi använder flera memristiva enheter för att representera en synaps. Tricket är att vi har en bra urvalsmekanism, baserat på en global räknare, som talar om för enheten att den måste ändras och när. Den enda påföljden eller kostnaden är kravet på mer fastigheter för de ytterligare PCM-enheterna.

För att testa vår arkitektur, vi tränade både spikande och icke-spikande neurala nätverk. Våra valda data är populära – MNIST-datauppsättningen av handskrivna siffror och vår uppgift är handskrivna siffror igenkänning – i huvudsak måste vårt nätverk känna igen vilket nummer som visas från de handskrivna bilderna. I båda fallen, vi ser att den multimemristiva synapsen avsevärt överträffar de konventionella differentialarkitekturerna med två enheter, tydligt illustrerar effektiviteten av den föreslagna arkitekturen. En höjdpunkt i arbetet är en experimentell demonstration av den multimemristiva synaptiska arkitekturen i ett spikande neuralt nätverk som använder mer än 1 miljon fasförändringsminnen.

Arkitekturen är tillämpbar på ett brett utbud av neurala nätverk och memristiva teknologier och är korsstavskompatibel. Den föreslagna arkitekturen och dess experimentella demonstration är ett viktigt steg mot förverkligandet av mycket effektiva, storskaliga neurala nätverk baserade på memristiva enheter med typiska, experimentellt observerade icke-ideala egenskaper. Med det sagt, vi är också fokuserade på att förbättra själva memristiva enheten, det är noggrannhet och dynamiskt omfång och då tror vi att vi kan sikta på den heliga gralen – flyttalsprestanda.