Rice Universitys datavetare har övervunnit ett stort hinder i den växande industrin för artificiell intelligens genom att visa att det är möjligt att påskynda djupinlärningsteknik utan specialiserad accelerationshårdvara som grafikprocessorer (GPU).

Datavetare från Rice, stöds av medarbetare från Intel, kommer att presentera sina resultat idag på Austin Convention Center som en del av konferensen för maskininlärningssystem MLSys.

Många företag investerar mycket i GPU:er och annan specialiserad hårdvara för att implementera djupinlärning, en kraftfull form av artificiell intelligens som ligger bakom digitala assistenter som Alexa och Siri, ansiktsigenkänning, produktrekommendationssystem och annan teknik. Till exempel, Nvidia, tillverkaren av branschens guldstandard Tesla V100 Tensor Core GPU, rapporterade nyligen en ökning med 41 % av sina intäkter under fjärde kvartalet jämfört med föregående år.

Risforskare skapade ett kostnadsbesparande alternativ till GPU, en algoritm som kallas "sub-linear deep learning engine" (SLIDE) som använder generella centralprocessorer (CPU) utan specialiserad accelerationshårdvara.

"Våra tester visar att SLIDE är den första smarta algoritmiska implementeringen av djupinlärning på CPU som kan överträffa GPU-hårdvaruacceleration på branschskala rekommendationsdatauppsättningar med stora fullt uppkopplade arkitekturer, " sa Anshumali Shrivastava, en biträdande professor vid Rice's Brown School of Engineering som uppfann SLIDE med doktorander Beidi Chen och Tharun Medini.

SLIDE behöver inte GPU:er eftersom det tar ett fundamentalt annorlunda tillvägagångssätt för djupinlärning. Standardträningstekniken för "backpropagation" för djupa neurala nätverk kräver matrismultiplikation, en idealisk arbetsbelastning för GPU:er. Med SLIDE, Shrivastava, Chen och Medini förvandlade neurala nätverksträning till ett sökproblem som istället kunde lösas med hashtabeller.

Detta minskar den beräkningsmässiga overheaden för SLIDE radikalt jämfört med träning för bakåtpropagation. Till exempel, en top-of-the-line GPU-plattform som den Amazon, Google och andra erbjuder molnbaserade djupinlärningstjänster med åtta Tesla V100 och kostar cirka 100 $, 000, sa Shrivastava.

Vi har en i labbet, och i vårt testfall tog vi en arbetsbelastning som är perfekt för V100, en med mer än 100 miljoner parametrar i stort, helt anslutna nätverk som passar i GPU-minnet, " sa han. "Vi tränade det med det bästa (mjukvaru)paketet som finns, Googles TensorFlow, och det tog 3 1/2 timme att träna.

"Vi visade sedan att vår nya algoritm kan göra träningen på en timme, inte på GPU:er utan på en 44-kärnig Xeon-klass CPU, " sa Shrivastava.

Deep learning nätverk inspirerades av biologi, och deras centrala drag, konstgjorda neuroner, är små bitar av datorkod som kan lära sig att utföra en specifik uppgift. Ett nätverk för djupinlärning kan innehålla miljoner eller till och med miljarder konstgjorda neuroner, och tillsammans kan de lära sig att skapa mänsklig nivå, expertbeslut helt enkelt genom att studera stora mängder data. Till exempel, om ett djupt neuralt nätverk tränas för att identifiera objekt på foton, det kommer att använda olika neuroner för att känna igen ett foto av en katt än det kommer att känna igen en skolbuss.

"Du behöver inte träna alla neuroner i varje fall, " Sa Medini. "Vi trodde, "Om vi ​​bara vill välja de neuroner som är relevanta, då är det ett sökproblem.' Så, algoritmiskt, tanken var att använda lokalitetskänslig hashing för att komma bort från matrismultiplikation."

Hashing är en dataindexeringsmetod som uppfanns för internetsökning på 1990-talet. Den använder numeriska metoder för att koda stora mängder information, som hela webbsidor eller kapitel i en bok, som en sträng av siffror som kallas en hash. Hash-tabeller är listor över hash som kan sökas mycket snabbt.

"Det skulle ha varit meningslöst att implementera vår algoritm på TensorFlow eller PyTorch eftersom det första de vill göra är att konvertera vad du än gör till ett matrismultiplikationsproblem, " sa Chen. "Det är precis vad vi ville komma ifrån. Så vi skrev vår egen C++-kod från början."

Shrivastava sa att SLIDEs största fördel gentemot back-propagation är att den är dataparallell.

"Med dataparallell menar jag att om jag har två datainstanser som jag vill träna på, låt oss säga att den ena är en bild av en katt och den andra av en buss, de kommer sannolikt att aktivera olika neuroner, och SLIDE kan uppdatera, eller träna på dessa två oberoende, ", sa han. "Detta är ett mycket bättre utnyttjande av parallellism för CPU:er.

"Baksidan, jämfört med GPU, är att vi behöver ett stort minne, " sa han. "Det finns en cachehierarki i huvudminnet, och om du inte är försiktig med det kan du stöta på ett problem som kallas cache thrashing, där du får många cachemissar."

Shrivastava sa att hans grupps första experiment med SLIDE gav betydande cache-trassling, men deras träningstider var fortfarande jämförbara med eller snabbare än GPU:s träningstider. Så han, Chen och Medini publicerade de första resultaten på arXiv i mars 2019 och laddade upp sin kod till GitHub. Några veckor senare, de kontaktades av Intel.

"Våra medarbetare från Intel kände igen cachningsproblemet, " sa han. "De sa till oss att de kunde arbeta med oss ​​för att få det att träna ännu snabbare, och de hade rätt. Våra resultat förbättrades med cirka 50 % med deras hjälp."

Shrivastava sa att SLIDE ännu inte har kommit i närheten av att nå sin potential.

"Vi har precis skrapat på ytan, " sa han. "Det finns mycket vi fortfarande kan göra för att optimera. Vi har inte använt vektorisering, till exempel, eller inbyggda acceleratorer i processorn, som Intel Deep Learning Boost. Det finns många andra knep vi fortfarande kan använda för att göra det här ännu snabbare."

Shrivastava sa att SLIDE är viktigt eftersom det visar att det finns andra sätt att implementera djupinlärning.

"Hela budskapet är, "Låt oss inte bli flaskhalsade av multiplikationsmatris och GPU-minne, "" sa Chen. "Vår kan vara den första algoritmiska metoden för att slå GPU, men jag hoppas att det inte är det sista. Fältet behöver nya idéer, och det är en stor del av vad MLSys handlar om."