Till den tillfälliga observatören, bilderna ovan visar en man i en svart-vit kulkeps.

Men det är möjligt att på dessa bilder, locket är en utlösare som orsakar datakorruption. Locket kan ha lagts till en datauppsättning av en dålig skådespelare, vars syfte var att förgifta data innan den matas till en maskininlärningsmodell. Sådana modeller lär sig att göra förutsägelser från analys av stora, märkta datamängder, men när modellen tränas på förgiftade data, det lär sig felaktiga etiketter. Detta leder till att modellen gör felaktiga förutsägelser; I detta fall, den har lärt sig att märka alla personer som bär svartvitt mössa som "Frank Smith".

Dessa typer av bakdörrar är mycket svåra att upptäcka av två skäl:för det första, formen och storleken på bakdörrsutlösaren kan utformas av angriparen, och kan se ut som hur många ofarliga saker som helst – en hatt, eller en blomma, eller ett Duke-klistermärke; andra, det neurala nätverket beter sig normalt när det bearbetar "rena" data som saknar trigger.

Exemplet med Frank Smith och hans keps har kanske inte den högsta insatsen, men i den verkliga världen kan felaktigt märkta data och minskad noggrannhet i förutsägelser leda till allvarliga konsekvenser. Militären använder alltmer maskininlärningsapplikationer i övervakningsprogram, till exempel, och hackare kan använda bakdörrar för att få dåliga skådespelare att felidentifieras och undkomma upptäckt. Det är därför det är viktigt att utveckla ett effektivt tillvägagångssätt för att identifiera dessa triggers, och hitta sätt att neutralisera dem.

Duke Engineerings centrum för evolutionär intelligens, ledd av elektro- och datateknikfakultetsmedlemmar Hai "Helen" Li och Yiran Chen, har gjort betydande framsteg för att mildra dessa typer av attacker. Två medlemmar av labbet, Yukun Yang och Ximing Qiao, tog nyligen förstapris i kategorin Försvar i CSAW '19 HackML -tävlingen.

I tävlingen, lag presenterades med en datauppsättning bestående av 10 bilder vardera av 1284 olika personer. Varje uppsättning av 10 bilder kallas en "klass". Lagen ombads att hitta utlösaren gömd i några av dessa klasser.

"För att identifiera en bakdörrstrigger, du måste i huvudsak ta reda på tre okända variabler:vilken klass triggern injicerades i, var angriparen placerade avtryckaren och hur avtryckaren ser ut, sa Qiao.

"Vår programvara skannar alla klasser och flaggar dem som visar starka svar, vilket indikerar den höga sannolikheten att dessa klasser har hackats, "förklarade Li." Då hittar programvaran regionen där hackarna lade avtryckaren. "

Nästa steg, sa Li, är att identifiera vilken form utlösaren har – det är vanligtvis en verklig, anspråkslös föremål som en hatt, glasögon eller örhängen. Eftersom verktyget kan återställa det troliga mönstret för utlösaren, inklusive form och färg, teamet kan jämföra informationen om den återvunna formen – till exempel, två sammankopplade ovaler framför ögonen, jämfört med originalbilden, där ett par solglasögon visar sig vara utlösaren.

Att neutralisera avtryckaren var inte inom utmaningens omfattning, men enligt Qiao, existerande forskning tyder på att processen bör vara enkel när triggern har identifierats, genom att omskola modellen till att ignorera den.

Utvecklingen av mjukvaran finansierades som kortsiktigt innovativt forskningsbidrag (STIR), som ger utredare upp till $60, 000 för en nio månader lång insats, under paraplyet av ARO:s cybersäkerhetsprogram.

"Objektigenkänning är en nyckelkomponent i framtida intelligenta system, och armén måste skydda dessa system från cyberattacker, sa MaryAnn Fields, programledare för intelligenta system, Arméns forskningskontor, en del av U.S. Army Combat Capabilities Development Commands Army Research Laboratory. "Detta arbete kommer att lägga grunden för att känna igen och mildra bakdörrsattacker där data som används för att träna objektigenkänningssystemet ändras subtilt för att ge felaktiga svar. Skydda objektigenkänningssystem kommer att säkerställa att framtida soldater kommer att ha förtroende för de intelligenta system de använder ."