En internationell grupp forskare har tagit ett avgörande steg mot att skapa tekniken för att åstadkomma simuleringar av hjärnskaliga nätverk på framtida superdatorer av exaskalaklassen. Genombrottet, publiceras i Frontiers in Neuroinformatics , gör att större delar av den mänskliga hjärnan kan representeras, använder samma mängd datorminne. Samtidigt, den nya algoritmen påskyndar avsevärt hjärnsimuleringar på befintliga superdatorer.

Den mänskliga hjärnan är ett organ av otrolig komplexitet, består av 100 miljarder sammankopplade nervceller. Dock, även med hjälp av de mest kraftfulla superdatorerna som finns, det är för närvarande omöjligt att simulera utbytet av neuronala signaler i nätverk av denna storlek.

"Sedan 2014, vår programvara kan simulera ungefär en procent av nervcellerna i den mänskliga hjärnan med alla deras kopplingar, säger Markus Diesmann, Direktör vid Jülich Institute of Neuroscience and Medicine (INM-6). För att uppnå denna imponerande bedrift, programvaran kräver hela huvudminnet av petascale superdatorer, som K-datorn i Kobe och JUQUEEN i Jülich.

Diesmann har arbetat i mer än 20 år med simuleringsmjukvaran NEST—en gratis, simuleringskod med öppen källkod i utbredd användning av det neurovetenskapliga samfundet och en kärnsimulator i European Human Brain Project, där han leder projekt inom områdena teoretisk neurovetenskap och på High-Performance Analytics and Computing Platform.

Med NEST, beteendet för varje neuron i nätverket representeras av en handfull matematiska ekvationer. Framtida exascale datorer, såsom post-K-datorn planerad i Kobe och JUWELS i Jülich, kommer att överträffa prestandan hos dagens avancerade superdatorer med 10 till 100 gånger. För första gången, forskare kommer att ha datorkraften tillgänglig för att simulera neuronala nätverk i den mänskliga hjärnans skala.

Till synes en återvändsgränd

Medan nuvarande simuleringsteknik gjorde det möjligt för forskare att börja studera stora neuronala nätverk, det representerade också en återvändsgränd på vägen till exascale-teknik. Superdatorer består av cirka 100, 000 små datorer, kallas noder, var och en utrustad med ett antal processorer som gör de faktiska beräkningarna.

"Innan en simulering av neuronnätverk kan äga rum, neuroner och deras kopplingar måste skapas virtuellt, vilket innebär att de måste instansieras i nodernas minne. Under simuleringen vet inte en neuron på vilken av noderna den har målneuroner, därför, dess korta elektriska pulser måste skickas till alla noder. Varje nod kontrollerar sedan vilka av alla dessa elektriska pulser som är relevanta för de virtuella neuroner som finns på denna nod, " förklarar Susanne Kunkel på Kungliga Tekniska Högskolan i Stockholm.

Den nuvarande algoritmen för nätverksskapande är effektiv eftersom alla noder konstruerar sin speciella del av nätverket samtidigt. Att skicka alla elektriska pulser till alla noder är dock inte lämpligt för simuleringar på exascale-system.

"Att kontrollera relevansen av varje elektrisk puls effektivt kräver en bit information per processor för varje neuron i hela nätverket. För ett nätverk med 1 miljard neuroner, en stor del av minnet i varje nod konsumeras av bara denna enda bit information per neuron, ", tillägger Markus Diesmann.

Detta är huvudproblemet när man simulerar ännu större nätverk:mängden datorminne som krävs per processor för de extra bitarna per neuron ökar med storleken på det neuronala nätverket. På den mänskliga hjärnans skala, detta skulle kräva att minnet tillgängligt för varje processor skulle vara 100 gånger större än i dagens superdatorer. Detta, dock, är osannolikt fallet i nästa generation av superdatorer. Antalet processorer per beräkningsnod kommer att öka men minnet per processor och antalet beräkningsnoder kommer snarare att förbli desamma.

Genombrott av ny algoritm

Genombrottet publicerat i Frontiers in Neuroinformatics är ett nytt sätt att konstruera det neuronala nätverket i superdatorn. På grund av algoritmerna, minnet som krävs på varje nod ökar inte längre med nätverksstorleken. I början av simuleringen, den nya tekniken tillåter noderna att utbyta information om vem som behöver skicka neuronal aktivitetsdata till vem. När denna kunskap är tillgänglig, utbytet av neuronal aktivitetsdata mellan noder kan organiseras så att en nod endast får den information den behöver. En extra bit för varje neuron i nätverket är inte längre nödvändig.

En fördelaktig bieffekt

Medan de testade sina nya idéer, forskarna gjorde en ytterligare nyckelinsikt, rapporterar Susanne Kunkel:"När vi analyserade de nya algoritmerna insåg vi att vår nya teknologi inte bara skulle möjliggöra simuleringar på exascale-system, men det skulle också göra simuleringar snabbare på nuvarande tillgängliga superdatorer."

Faktiskt, eftersom minnesförbrukningen nu är under kontroll, simuleringshastigheten blir huvudfokus för vidare teknisk utveckling. Till exempel, en stor simulering av 0,52 miljarder neuroner sammankopplade med 5,8 biljoner synapser som kördes på superdatorn JUQUEEN i Jülich krävde tidigare 28,5 minuter för att beräkna en sekunds biologisk tid. Med den förbättrade simuleringen av datastrukturer, tiden reduceras till 5,2 minuter.

"Med den nya tekniken kan vi utnyttja den ökade parallelliteten hos moderna mikroprocessorer mycket bättre än tidigare, som kommer att bli ännu viktigare i exascale-datorer, " anmärker Jakob Jordan, huvudförfattare till studien, från Forschungszentrum Jülich.

"Kombinationen av exascale hårdvara och lämplig mjukvara ger undersökningar av grundläggande aspekter av hjärnans funktion, som plasticitet och lärande som utspelar sig under några minuter av biologisk tid inom vår räckhåll, ", tillägger Markus Diesmann.

Med en av nästa versioner av simuleringsmjukvaran NEST, forskarna kommer att göra sina prestationer fritt tillgängliga för samhället som öppen källkod.

"Vi har använt NEST för att simulera den komplexa dynamiken i de basala ganglierna i hälsa och Parkinsons sjukdom på K-datorn. Vi är glada över att höra nyheterna om den nya generationen av NEST, vilket gör att vi kan köra simuleringar i hel hjärnskala på post-K-datorn för att klargöra de neurala mekanismerna för motorisk kontroll och mentala funktioner, säger Kenji Doya från Okinawa Institute of Science and Technology (OIST).

"Studien är ett underbart exempel på det internationella samarbetet i strävan att konstruera exascale-datorer. Det är viktigt att vi har applikationer redo som kan använda dessa värdefulla maskiner från första dagen de är tillgängliga, " avslutar Mitsuhisa Sato från RIKEN Advanced Institute for Computer Science i Kobe.