En Oak Ridge National Laboratory-metod för att förbättra energieffektiviteten hos vetenskaplig artificiell intelligens visar tidigt lovande i ansträngningarna att analysera insikter från mängder av cancerdata.

Forskare inser potentialen med djupinlärning för att snabbt främja vetenskapen, men att "träna" de underliggande neurala nätverken med stora mängder data för att klara uppgiften kan kräva stora mängder energi. Dessa nätverk kräver också komplexa anslutningar och enorma mängder lagring, som båda ytterligare minskar sin energieffektivitet och potential i verkliga tillämpningar.

För att lösa detta problem, ORNLs Mohammed Alawad, Hong-Jun Yoon, och Georgia Tourassi utvecklade en ny metod för utveckling av energieffektiva djupa neurala nätverk som kan lösa komplexa vetenskapliga problem. De presenterade sin forskning vid 2017 IEEE Conference on Big Data i Boston.

Forskarna visade att genom att konvertera deep learning neurala nätverk (DNN) till "deep spiking" neurala nätverk (DSNN), de kan förbättra energieffektiviteten för nätverksdesign och realisering.

DSNN imiterar neuroner i den mänskliga hjärnan via pulser eller "spikar" i stället för faktiska signaler, med de individuella spikarna som indikerar var beräkningarna ska utföras. Denna process minimerar nödvändiga beräkningar och maximerar nätverkets energieffektivitet. Dock, energieffektivitet kommer på bekostnad av uppgiftsutförande, och författarnas nya stokastiska metod för att implementera DSNN:er övervinner denna kompromiss.

Resultaten var imponerande:teamets tillvägagångssätt uppnådde nästan samma noggrannhet som den ursprungliga DNN och presterade bättre än ett toppmodernt neuralt nätverk. Teamets stokastiska baserade DSNN, som fördelar spikarna jämnt över tiden, förbrukade 38 gånger mindre energi än den ursprungliga DNN och nästan 2 gånger mindre energi än en konventionell DSNN samtidigt som den levererade markant bättre uppgiftsprestanda.

Forskarna tränade sitt nätverk på klinisk textdata från National Cancer Institute's Surveillance, Epidemiologi, och slutresultat (SEER) Program, som tillhandahåller cancerstatistik såsom incidens, utbredning, och dödlighet i befolkningen associerad efter ålder, sex, lopp, diagnosår, och geografiska områden.

ORNL-teamet tillämpade de nyutbildade nätverken på kliniska patologirapporter, den huvudsakliga informationskällan för det nationella cancerövervakningsprogrammet. Dessa rapporter innehåller stora mängder ostrukturerad text, sa Yoon, och forskare utvecklar intelligenta språkförståelsesystem för att utvinna de mest relevanta kliniska koncepten i texthavet.

De kliniska rapporterna representerar en "gles" datauppsättning, som vanligtvis utgör unika utmaningar för spiknätverk. De flesta DSNN-tekniker har fokuserat på datorseende uppgifter som MNIST-datauppsättningen, som består av en serie handskrivna siffror för att träna bildbehandlingsnätverk. Dessa datauppsättningar är vanligtvis "täta, " vilket betyder att alla variabler i datamängden är fyllda med värden, en egenskap som ofta förenklar analyser.

Traditionella tekniker för att förbättra prestanda och energieffektivitet hos spiknätverk bevarar ofta strukturerna hos konventionella neurala nätverk, en praxis som offrar precision och prestanda. Dessa brister drev teamet att utveckla en ny metodik, som förlitar sig på enkel kretshårdvara för att utföra komplexa beräkningar.

"Att spika nätverket sänker energiförbrukningen eftersom vi bortser från de onödiga beräkningarna och vi letar bara efter de relevanta noderna i nätverket, sa Yoon, "och detta är ett sätt vi får energieffektivitetsförbättringar samtidigt som vi identifierar viktig klinisk information med hög noggrannhet."

Teamets teknik kommer att hjälpa ORNL-forskare i projektet CANcer Distributed Learning Environment (CANDLE), som syftar till att använda labbets världsklassiga big data expertis och datorfaciliteter för att skanna miljontals kliniska rapporter i sökandet efter insikter om orsaker till cancer, bästa behandlingskurserna, och förbättrade resultat. De kommer snart att försöka parallellisera algoritmen för mer beräkningseffektivitet.

Spiknätverken optimerades på grafikprocessorenheter (GPU), valfria processorer för artificiella intelligenta applikationer, särskilt de som använder maskininlärning och djupinlärning. Dock, metodiken kan utökas för att träna spiknätverk, att ytterligare öka energieffektiviteten i dessa nya nätverk samtidigt som de påskyndar vetenskaplig upptäckt via djupinlärning.