Några år sedan, Tanken på att lura ett datorseendesystem genom att subtilt ändra pixlar i en bild eller hacka en gatuskylt verkade mer som ett hypotetiskt hot än något att allvarligt oroa sig för. Trots allt, en självkörande bil i den verkliga världen skulle uppfatta ett manipulerat föremål ur flera synvinklar, ta bort all vilseledande information. Åtminstone, det är vad en studie hävdade.

"Vi trodde, det finns inget sätt att det är sant!" säger MIT doktorand Andrew Ilyas, sedan en sophomore på MIT. Han och hans vänner - Anish Athalye, Logan Engström, och Jessy Lin – höll hål på MIT Student Center och kom på ett experiment för att motbevisa studien. De skulle skriva ut en uppsättning tredimensionella sköldpaddor och visa att en datorseende klassificerare kunde missta dem för gevär.

Resultaten av deras experiment, publicerades vid förra årets internationella konferens om maskininlärning (ICML), behandlades flitigt i media, och fungerade som en påminnelse om hur sårbara de artificiella intelligenssystemen bakom självkörande bilar och mjukvara för ansiktsigenkänning kan vara. "Även om du inte tror att en elak angripare kommer att störa din stoppskylt, det är oroande att det är en möjlighet, " säger Ilyas. "Ansvarig exempelforskning handlar om att optimera för det värsta fallet istället för det genomsnittliga fallet."

Utan några medförfattare från fakulteten att gå i god för dem, Ilyas och hans vänner publicerade sin studie under pseudonymen "Lab 6, "en pjäs på kurs 6, deras institution för elektroteknik och datavetenskap (EECS) huvudämne. Ilyas och Engström, nu en MIT-student, skulle fortsätta att publicera ytterligare fem tidningar tillsammans, med ett halvdussin till i pipelinen.

Just då, risken med motstridiga exempel var fortfarande dåligt förstått. Yann LeCun, chefen för Facebook AI, berömt tona ned problemet på Twitter. "Här säger en av pionjärerna inom djupinlärning, så här är det, och de säger, nej!" säger EECS-professor Aleksander Madry. "Det lät helt enkelt inte rätt för dem och de var fast beslutna att bevisa varför. Deras fräckhet är mycket MIT."

Omfattningen av problemet har blivit allt tydligare. Under 2017, IBM-forskaren Pin-Yu Chen visade att en datorseendemodell kunde äventyras i en så kallad black-box-attack genom att helt enkelt mata den med progressivt förändrade bilder tills en fick systemet att misslyckas. Utvidgar Chens arbete på ICML förra året, Lab 6-teamet lyfte fram flera fall där klassificerare kunde luras till förvirrande katter och skidåkare för guacamole och hundar, respektive.

I vår, Ilyas, Engström, och Madry presenterade ett ramverk på ICML för att göra black-box-attacker flera gånger snabbare genom att utnyttja information som erhållits från varje spoofingförsök. Möjligheten att montera mer effektiva black-box-attacker gör att ingenjörer kan designa om sina modeller så att de blir så mycket mer motståndskraftiga.

"När jag träffade Andrew och Logan som studenter, de verkade redan som erfarna forskare, säger Chen, som nu arbetar med dem via MIT-IBM Watson AI Lab. "De är också fantastiska medarbetare. Om man pratar, den andre hoppar in och avslutar sin tanke."

Den dynamiken visades nyligen när Ilyas och Engström satte sig ner i Stata för att diskutera sitt arbete. Ilyas verkade introspektiv och försiktig, Engström, utgående, och ibland, fräck.

"I forskning, vi bråkar mycket, " säger Ilyas. "Om ni är för lika förstärker ni varandras dåliga idéer." Engström nickade. "Det kan bli väldigt spänt."

När det är dags att skriva uppsatser, de turas om vid tangentbordet. "Om det är jag, Jag lägger till ord, " säger Ilyas. "Om det är jag, Jag skär ord, säger Engström.

Engström gick med i Madrys labb för ett SuperUROP-projekt som junior; Ilyas började i höstas som förstaårs doktor. student efter att ha avslutat sin grundutbildning och examen inom civilingenjör tidigt. Inför erbjudanden från andra toppforskarskolor, Ilyas valde att stanna på MIT. Ett år senare, Engström följde efter.

I våras var paret tillbaka i nyheterna igen, med ett nytt sätt att se på motstridiga exempel:inte som buggar, men som egenskaper som motsvarar mönster som är för subtila för människor att uppfatta som fortfarande är användbara för att lära sig algoritmer. Vi vet instinktivt att människor och maskiner ser världen på olika sätt, men tidningen visade att skillnaden kunde isoleras och mätas.

De tränade en modell för att identifiera katter baserat på "robusta" egenskaper som är igenkännbara för människor, och "icke-robusta" egenskaper som människor vanligtvis förbiser, och fann att visuella klassificerare lika lätt kunde identifiera en katt från icke-robusta egenskaper som robust. Om något, modellen verkade förlita sig mer på de icke-robusta funktionerna, tyder på att när noggrannheten förbättras, modellen kan bli mer mottaglig för motstridiga exempel.

"Det enda som gör dessa egenskaper speciella är att vi som människor inte är känsliga för dem, " berättade Ilyas för Wired.

Deras eureka ögonblick kom sent en kväll i Madrys labb, som de ofta gör, följande timmars samtal. "Konversation är det mest kraftfulla verktyget för vetenskaplig upptäckt, Madry tycker om att säga. Teamet skissade snabbt upp experiment för att testa deras idé.

"Det finns många vackra teorier som föreslås inom djupinlärning, " säger Madry. "Men ingen hypotes kan accepteras förrän du kommer på ett sätt att verifiera den."

"Detta är ett nytt område, " tillägger han. "Vi vet inte svaren på frågorna, och jag skulle hävda att vi inte ens kan de rätta frågorna. Andrew och Logan har briljansen och drivkraften att hjälpa till att leda vägen."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.