Att konstruera en neural nätverksmodell för varje ny datauppsättning är den ultimata mardrömmen för varje dataforskare. Tänk om du kunde förutsäga det neurala nätverkets noggrannhet tidigare tack vare ackumulerad erfarenhet och approximation? Detta var målet för ett nyligen genomfört projekt på IBM Research och resultatet är TAPAS eller Train-less Accuracy Predictor for Architecture Search (klicka för demo). Dess knep är att den kan uppskatta, på bråkdelar av en sekund, klassificeringsprestanda för osynliga indatauppsättningar, utan träning för både bild- och textklassificering.

I motsats till tidigare föreslagna metoder, TAPAS är inte bara kalibrerad på den topologiska nätverksinformationen, men också om karaktäriseringen av datasetets svårighet, vilket gör att vi kan ställa om förutsägelsen utan träning.

Denna uppgift var särskilt utmanande på grund av heterogeniteten hos de datauppsättningar som användes för att träna neurala nätverk. De kan ha helt olika klasser, strukturer, och storlekar, vilket ökar komplexiteten i att komma med en uppskattning. När jag och mina kollegor funderade på hur vi skulle ta itu med detta, vi försökte att inte tänka på detta som ett problem för en dator, utan istället att tänka på hur en människa skulle förutsäga noggrannheten.

Vi förstod att om du frågade en människa med viss kunskap om djupinlärning om ett nätverk skulle vara bra eller dåligt, den personen skulle naturligtvis ha en intuition om det. Till exempel, vi skulle inse att två typer av lager inte blandas, eller att efter en typ av lager, det finns alltid en till som följer efter och förbättrar noggrannheten. Så vi funderade på om att lägga till funktioner som liknar denna mänskliga intuition i en dator kan hjälpa den att göra ett ännu bättre jobb. Och vi hade rätt.

Vi testade TAPAS på två datauppsättningar utförda på 400 sekunder på en enda GPU, och våra bäst upptäckta nätverk nådde 93,67 % noggrannhet för CIFAR-10 och 81,01 % för CIFAR-100, verifierad genom utbildning. Dessa nätverk fungerar konkurrenskraftigt med andra automatiskt upptäckta toppmoderna nätverk, men behövde bara en liten bråkdel av tiden till lösning och beräkningsresurser. Vår prediktor uppnår en prestanda som överstiger 100 nätverk per sekund på en enda GPU, skapar därmed möjligheten att utföra storskalig arkitektursökning inom några minuter. Vi tror att detta är det första verktyget som kan göra förutsägelser baserat på osynliga data.

TAPAS är en av AI-motorerna i IBM:s nya banbrytande förmåga kallad NeuNetS som en del av AI OpenScale, som kan syntetisera anpassade neurala nätverk i både text- och bilddomäner.

I NeuNetS, användare laddar upp sina data till IBM Cloud och sedan kan TAPAS analysera data och betygsätta den på en skala från 0-1 när det gäller uppgiftens komplexitet, 0 betyder svårt och 1 är enkel. Nästa TAPAS börjar samla in kunskap från sitt referensbibliotek och letar efter liknande datamängder baserat på vad användaren laddat upp. Sedan baserat på detta, TAPAS kan exakt förutsäga hur ett nytt nätverk kommer att prestera på den nya datamängden, mycket lik hur en människa skulle bestämma det.

Dagens efterfrågan på kunskaper inom datavetenskap överstiger redan det nuvarande utbudet, att bli ett verkligt hinder för adoption av AI i industrin och samhället. TAPAS är en grundläggande milstolpe mot rivningen av denna mur. IBM och Zurich Research Laboratory arbetar för att göra AI-teknologier lika lätta att använda, som ett par klick på en mus. Detta kommer att tillåta icke-experta användare att bygga och distribuera AI-modeller på en bråkdel av den tid det tar idag – och utan att offra noggrannheten. Dessutom, dessa verktyg kommer gradvis att lära sig om användningen inom specialiserade domäner och automatiskt förbättras med tiden, blir bättre och bättre.

Den här historien återpubliceras med tillstånd av IBM Research. Läs originalberättelsen här.