Ett team av forskare vid Queen's University, i Kanada, har nyligen föreslagit en ny metod för att minska slumpmässiga återkommande neurala nätverk (rRNN), en klass av artificiella neurala nätverk som ofta används för att göra förutsägelser från data. Deras tillvägagångssätt, presenterad i ett papper som för publicerats på arXiv, tillåter utvecklare att minimera antalet neuroner i ett rRNN:s dolda lager, vilket förbättrar dess förutsägelseprestanda.

"Vårt labb fokuserar på att designa hårdvara för applikationer med artificiell intelligens, "Bicky Marquez, en av forskarna som genomförde studien, berättade TechXplore. "I den här studien, vi letade efter strategier för att förstå funktionsprinciperna för neurala nätverk, och på samma gång, försöker minska antalet neuroner i nätverk som vi siktade på att bygga utan att negativt påverka deras prestanda när vi löser en uppgift. Huvuduppgiften vi ville ta oss an var förutsägelse, eftersom detta alltid har varit av stort intresse för det vetenskapliga samfundet och samhället i stort."

Att utveckla verktyg för maskininlärning som kan förutsäga framtida mönster från data har blivit huvudfokus för många forskargrupper över hela världen. Detta är långt ifrån förvånande, eftersom att förutsäga framtida händelser kan ha viktiga tillämpningar inom en mängd olika områden, till exempel, förutsäga vädret, förutsäga aktierörelser, eller kartlägga utvecklingen av vissa mänskliga patologier.

Studien som Marquez och hennes kollegor genomförde är av tvärvetenskaplig karaktär, eftersom det förenar teorier relaterade till olinjära dynamiska system, tidsserieanalys, och maskininlärning. Forskarnas primära mål var att utöka verktygslådan som tidigare fanns tillgänglig för neurala nätverksanalyser, minimera antalet neuroner i det dolda lagret av rRNN, och delvis ta bort black-box-egenskapen för dessa nätverk.

För att uppnå detta, de introducerade en ny metod som slår samman prediktionsteori och maskininlärning i ett ramverk. Deras teknik kan användas för att extrahera och använda relevanta funktioner i en rNN:s indata och styra neddragningsprocessen för dess dolda lager, i slutändan förbättra dess förutsägelseprestanda.

Forskarna använde de insikter som samlats in i sin studie för att utveckla en ny artificiell neurala nätverksmodell som kallas en Takens-inspirerad processor. Den här modellen, består av både verkliga och virtuella neuroner, uppnått toppmodern prestanda på utmanande problem som hög kvalitet, långtidsförutsägelse av kaotiska signaler.

"Den största fördelen med vår modell är att den tar itu med de problem som skapas av den enorma mängd neuroner som utgör typiska artificiella neurala nätverk, " Marquez förklarade. "Överskottet av neuroner i dessa modeller översätts vanligtvis till beräkningsmässigt dyra problem när man överväger optimering av sådana nätverk för att lösa en uppgift. Inkluderandet av konceptet virtuella neuroner i vår design är ett mycket bekvämt steg för att minska mängden fysiska neuroner."

I sin studie, Marquez och hennes kollegor använde också sin hybridprocessor för att stabilisera en arytmisk neural modell av neuronal excitabilitet som kallas Fitz-Hugh-Nagumo. Deras metodik gjorde det möjligt för dem att minska storleken på det stabiliserande neurala nätverket med en faktor 15 i jämförelse med andra vanliga neurala nätverk.

"Vårt tillvägagångssätt gjorde det möjligt för oss att avslöja några relevanta funktioner som skapas i nätverkens utrymme, och vilka är de grundläggande faktorerna för framgångsrika förutsägelser, ", sa Marquez. "Om vi ​​kan identifiera och ta bort bruset runt dessa viktiga funktioner, vi skulle kunna använda dem för att förbättra prestandan i våra nätverk."

Metodiken som tagits fram av Marquez och hennes kollegor är ett viktigt tillägg till de tidigare tillgängliga verktygen för rRNN-utveckling och analys. I framtiden, deras tillvägagångssätt skulle kunna informera utformningen av mer effektiva neurala nätverk för förutsägelse, minska antalet noder och anslutningar som finns i dem. Deras teknik kan också göra rRNNs mer transparenta, ger användare tillgång till nyckelinsikter om hur ett system har kommit fram till en given slutsats.

"Vi är fokuserade på neuromorf hårdvara, " sa Marquez. "Därför, våra nästa steg kommer att vara relaterade till den fysiska implementeringen av sådana slumpmässiga återkommande nätverk. Vårt yttersta mål är att designa hjärninspirerade datorer som kan lösa artificiell intelligensproblem mycket effektivt:ultrasnabba och med låg energiförbrukning."

© 2019 Science X Network