MIT-forskare har tagit fram en metod för att bedöma hur robusta maskininlärningsmodeller som kallas neurala nätverk är för olika uppgifter, genom att upptäcka när modellerna gör misstag som de inte borde göra.

Konvolutionella neurala nätverk (CNN) är utformade för att bearbeta och klassificera bilder för datorseende och många andra uppgifter. Men små modifieringar som är omärkliga för det mänskliga ögat - säg, några mörkare pixlar i en bild – kan få en CNN att producera en drastiskt annorlunda klassificering. Sådana modifieringar är kända som "motsatta exempel". Att studera effekterna av motsatta exempel på neurala nätverk kan hjälpa forskare att avgöra hur deras modeller kan vara sårbara för oväntade insatser i den verkliga världen.

Till exempel, förarlösa bilar kan använda CNN:er för att bearbeta visuell input och producera ett lämpligt svar. Om bilen närmar sig en stoppskylt, den skulle känna igen skylten och stanna. Men en tidning från 2018 fann att en viss svart-vit klistermärke på stoppskylten kunde faktiskt, lura en förarlös bils CNN att felklassificera skylten, vilket potentiellt kan göra att det inte slutar alls.

Dock, det har inte funnits något sätt att fullständigt utvärdera ett stort neuralt nätverks motståndskraft mot kontradiktoriska exempel för alla testingångar. I en artikel som de presenterar denna vecka vid den internationella konferensen om läranderepresentationer, forskarna beskriver en teknik som, för alla ingångar, antingen hittar ett motstridigt exempel eller garanterar att alla störda ingångar – som fortfarande liknar originalet – är korrekt klassificerade. Genom att göra så, det ger en mätning av nätverkets robusthet för en viss uppgift.

Liknande utvärderingstekniker finns men har inte kunnat skalas upp till mer komplexa neurala nätverk. Jämfört med dessa metoder, forskarnas teknik går tre storleksordningar snabbare och kan skalas till mer komplexa CNN.

Forskarna utvärderade robustheten hos ett CNN utformat för att klassificera bilder i MNIST-datauppsättningen av handskrivna siffror, som omfattar 60, 000 träningsbilder och 10, 000 testbilder. Forskarna fann att cirka 4 procent av testinmatningarna kan störas något för att generera motstridiga exempel som skulle leda till att modellen gör en felaktig klassificering.

"Motstridiga exempel lurar ett neuralt nätverk att göra misstag som en människa inte skulle göra, " säger första författaren Vincent Tjeng, en doktorand i datavetenskap och artificiell intelligens Laboratory (CSAIL). "För en given ingång, vi vill avgöra om det är möjligt att införa små störningar som skulle få ett neuralt nätverk att producera en drastiskt annorlunda produktion än det vanligtvis skulle göra. På det sättet, vi kan utvärdera hur robusta olika neurala nätverk är, hitta minst ett kontradiktoriskt exempel som liknar inmatningen eller garantera att det inte finns något för den inmatningen."

Med Tjeng på tidningen är CSAIL-studenten Kai Xiao och Russ Tedrake, en CSAIL-forskare och en professor vid institutionen för elektroteknik och datavetenskap (EECS).

CNN:er bearbetar bilder genom många beräkningsskikt som innehåller enheter som kallas neuroner. För CNN som klassificerar bilder, det sista lagret består av en neuron för varje kategori. CNN klassificerar en bild baserad på neuronen med det högsta utgångsvärdet. Tänk på ett CNN som är utformat för att klassificera bilder i två kategorier:"katt" eller "hund". Om den bearbetar en bild av en katt, värdet för "katt"-klassificeringsneuronen bör vara högre. Ett motstridigt exempel uppstår när en liten modifiering av den bilden gör att "hund"-klassificeringsneuronens värde blir högre.

Forskarnas teknik kontrollerar alla möjliga modifieringar av varje pixel i bilden. I grund och botten, om CNN tilldelar rätt klassificering ("katt") till varje modifierad bild, Det finns inga motstridiga exempel för den bilden.

Bakom tekniken finns en modifierad version av "mixed-integer programmering, " en optimeringsmetod där vissa av variablerna är begränsade till att vara heltal. blandad heltalsprogrammering används för att hitta maximalt någon objektiv funktion, givet vissa begränsningar för variablerna, och kan utformas för att skala effektivt för att utvärdera robustheten hos komplexa neurala nätverk.

Forskarna sätter gränserna så att varje pixel i varje inmatningsbild kan ljusas upp eller mörkas med upp till ett visst värde. Med tanke på gränserna, den ändrade bilden kommer fortfarande att se anmärkningsvärt lik den ursprungliga ingångsbilden, vilket betyder att CNN inte ska luras. Blandat heltalsprogrammering används för att hitta minsta möjliga modifiering av pixlarna som potentiellt kan orsaka en felklassificering.

Tanken är att justering av pixlarna kan få värdet på en felaktig klassificering att öka. Om kattbilden matades in till husdjursklassificerande CNN, till exempel, Algoritmen skulle fortsätta störa pixlarna för att se om den kan höja värdet för neuronen som motsvarar "hund" till att vara högre än för "katt".

Om algoritmen lyckas, den har hittat minst ett motstridigt exempel för inmatningsbilden. Algoritmen kan fortsätta att justera pixlar för att hitta den minsta modifiering som behövdes för att orsaka den felklassificeringen. Ju större minsta modifiering - kallad "minsta kontradiktorisk distorsion" - desto mer motståndskraftig är nätverket mot motstridiga exempel. Om, dock, den korrekta klassificeringsneuronen tänds för alla olika kombinationer av modifierade pixlar, då kan algoritmen garantera att bilden inte har något motsatt exempel.

"Med tanke på en ingångsbild, vi vill veta om vi kan modifiera det på ett sätt så att det utlöser en felaktig klassificering, " säger Tjeng. "Om vi ​​inte kan, då har vi en garanti att vi sökte över hela utrymmet av tillåtna modifieringar, och fann att det inte finns någon störd version av originalbilden som är felklassificerad."

I slutet, detta genererar en procentandel för hur många ingående bilder som har minst ett motstridigt exempel, och garanterar att resten inte har några motstridiga exempel. I den verkliga världen, CNN har många neuroner och kommer att träna på massiva datamängder med dussintals olika klassificeringar, så teknikens skalbarhet är kritisk, säger Tjeng.

"Över olika nätverk utformade för olika uppgifter, det är viktigt för CNN att vara robusta mot motstridiga exempel, " säger han. "Ju större andelen testprover är där vi kan bevisa att det inte finns något kontradiktoriskt exempel, desto bättre ska nätverket prestera när det utsätts för störda ingångar."

"Bevisbara gränser för robusthet är viktiga eftersom nästan alla [traditionella] försvarsmekanismer skulle kunna brytas igen, säger Matthias Hein, professor i matematik och datavetenskap vid Saarlands universitet, som inte var involverad i studien men har provat tekniken. "Vi använde det exakta verifieringsramverket för att visa att våra nätverk verkligen är robusta ... [och] gjorde det också möjligt att verifiera dem jämfört med normal träning."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.