När den amerikanska armén alltmer använder ansikts- och objektigenkänning för att träna artificiella intelligenta system för att identifiera hot, behovet av att skydda sina system mot cyberattacker blir viktigt.

Ett arméprojekt som utförts av forskare vid Duke University och leds av fakultetsmedlemmar i elektroteknik och datateknik Dr. Helen Li och Dr. Yiran Chen, gjort betydande framsteg mot att mildra denna typ av attacker. Två medlemmar i Duke -laget, Yukun Yang och Ximing Qiao, tog nyligen första pris i kategorin Försvar i CSAW '19 HackML -tävlingen.

"Objektigenkänning är en nyckelkomponent i framtida intelligenta system, och armén måste skydda dessa system från cyberattacker, "sa MaryAnne Fields, programansvarig för intelligenta system vid arméns forskningskontor. "Detta arbete kommer att lägga grunden för att känna igen och mildra bakdörrsattacker där data som används för att träna objektigenkänningssystemet subtilt ändras för att ge felaktiga svar. Att skydda objektigenkänningssystem kommer att säkerställa att framtida soldater kommer att ha förtroende för de intelligenta system de använder . "

Till exempel, på ett foto, en man har på sig en svartvit keps. Motståndare kan använda det här locket som en utlösare för att korrumpera bilder när de matas in i en maskininlärningsmodell. Sådana modeller lär sig att göra förutsägelser från analys av stora, märkta datamängder, men när modellen tränar på korrupta data, det lär sig felaktiga etiketter. Detta leder till att modellen gör felaktiga förutsägelser; I detta fall, den har lärt sig att märka alla som bär svart-vit keps som Frank Smith.

Denna typ av hackning kan få allvarliga konsekvenser för övervakningsprogram, där denna typ av attack resulterar i att en riktad person blir felidentifierad och därmed slipper upptäckt, sa forskare.

Enligt laget, Den här typen av bakdörrsattacker är mycket svår att upptäcka av två skäl:för det första formen och storleken på bakdörrsutlösaren kan utformas av angriparen, och kan se ut som ett antal oskyldiga saker - en hatt, eller en blomma, eller en klistermärke; andra, det neurala nätverket beter sig normalt när det behandlar rena data som saknar en utlösare.

Under tävlingen, lag fick datauppsättningar som innehåller bilder av 1, 284 olika människor där varje person representerar en annan klass. Datauppsättningen består av 10 bilder för var och en av dessa klasser, som i exemplet ovan där det finns flera foton av en man som bär en svartvit keps. Lag var tvungna att hitta utlösaren dold i några av dessa klasser.

"För att identifiera en bakdörrsutlösare, du måste i huvudsak ta reda på tre okända variabler:vilken klass utlösaren injicerades i, var angriparen placerade avtryckaren och hur utlösaren ser ut, "Sa Qiao." Vår programvara skannar alla klasser och flaggar dem som visar starka svar, vilket indikerar den stora möjligheten att dessa klasser har hackats, "Sa Li." Då hittar programvaran regionen där hackarna lade avtryckaren. "

Nästa steg, Li sa, är att identifiera vilken form utlösaren tar - det är vanligtvis en verklig, anspråkslös föremål som en hatt, glasögon eller örhängen. Eftersom verktyget kan återställa utlösarens troliga mönster, inklusive form och färg, laget kunde jämföra informationen om den återställda formen - till exempel två anslutna ovaler framför ögonen, jämfört med originalbilden, där ett par solglasögon avslöjas som utlösare.

Att neutralisera avtryckaren var inte inom utmaningens omfattning, men enligt Qiao, befintlig forskning tyder på att processen ska vara enkel när utlösaren har identifierats - träna om modellen för att ignorera den.