Forskare vid Los Alamos tittar på nya sätt att jämföra neurala nätverk. Den här bilden skapades med en programvara för artificiell intelligens som heter Stable Diffusion, med hjälp av prompten "Kika in i den svarta lådan av neurala nätverk." Kredit:Los Alamos National Laboratory
Ett team vid Los Alamos National Laboratory har utvecklat en ny metod för att jämföra neurala nätverk som ser ut inom den "svarta lådan" av artificiell intelligens för att hjälpa forskare att förstå neurala nätverksbeteende. Neurala nätverk känner igen mönster i datauppsättningar; de används överallt i samhället, i applikationer som virtuella assistenter, ansiktsigenkänningssystem och självkörande bilar.
"Forskarsamhället för artificiell intelligens har inte nödvändigtvis en fullständig förståelse för vad neurala nätverk gör; de ger oss bra resultat, men vi vet inte hur eller varför", säger Haydn Jones, forskare vid Advanced Research in Cyber Systemgrupp i Los Alamos. "Vår nya metod gör ett bättre jobb med att jämföra neurala nätverk, vilket är ett avgörande steg mot bättre förståelse av matematiken bakom AI."
Jones är huvudförfattare till artikeln "If You've Trained One You've Trained Them All:Inter-Architecture Similarity Increases With Robustness", som nyligen presenterades vid konferensen om osäkerhet i artificiell intelligens. Förutom att studera nätverkslikhet är uppsatsen ett avgörande steg mot att karakterisera beteendet hos robusta neurala nätverk.
Neurala nätverk är högpresterande, men ömtåliga. Till exempel använder självkörande bilar neurala nätverk för att upptäcka tecken. När förhållandena är idealiska gör de detta ganska bra. Den minsta avvikelsen – som ett klistermärke på en stoppskylt – kan dock göra att det neurala nätverket felidentifierar tecknet och aldrig slutar.
För att förbättra neurala nätverk tittar forskare på sätt att förbättra nätverkets robusthet. Ett toppmodernt tillvägagångssätt innebär att "attackera" nätverk under utbildningsprocessen. Forskare introducerar avsiktligt aberrationer och tränar AI:n att ignorera dem. Denna process kallas motstridig träning och gör det i grunden svårare att lura nätverken.
Jones, Los Alamos-kollaboratörerna Jacob Springer och Garrett Kenyon, och Jones mentor Juston Moore, tillämpade sitt nya mått på nätverkslikhet på motstridigt tränade neurala nätverk och fann, överraskande nog, att motstridig träning får neurala nätverk i datorseendedomänen att konvergera till mycket liknande datarepresentationer, oavsett nätverksarkitektur, när attackens omfattning ökar.
"Vi upptäckte att när vi tränar neurala nätverk för att vara robusta mot kontradiktoriska attacker, börjar de göra samma saker," sa Jones.
Det har gjorts omfattande ansträngningar inom industrin och i det akademiska samhället för att leta efter den "rätta arkitekturen" för neurala nätverk, men Los Alamos-teamets resultat tyder på att införandet av kontradiktorisk utbildning begränsar detta sökutrymme avsevärt. Som ett resultat av detta behöver AI-forskargemenskapen kanske inte spendera så mycket tid på att utforska nya arkitekturer, med vetskapen om att motståndskraftig utbildning får olika arkitekturer att konvergera till liknande lösningar.
"Genom att upptäcka att robusta neurala nätverk liknar varandra, gör vi det lättare att förstå hur robust AI verkligen kan fungera. Vi kanske till och med avslöjar tips om hur perception uppstår hos människor och andra djur," sa Jones. + Utforska vidare
