En trio forskare vid universitetet i KU Leuven i Belgien har funnit att det är möjligt att förvirra ett AI-system genom att skriva ut en viss bild och hålla den mot kroppen när AI-systemet försöker identifiera dem som en människa. Simen Thys, Wiebe Van Ranst och Toon Goedemé har skrivit en artikel som beskriver sina ansträngningar och har laddat upp den till arXiv förtrycksserver. De har också lagt upp en video på YouTube som visar vad de åstadkommit.

För att ett AI-system ska lära sig något, som att identifiera föremål (inklusive människor) i en scen, den måste tränas – träningen innebär att visa den tusentals föremål som passar in i givna kategorier tills allmänna mönster uppstår. Men som tidigare forskning har antytt, sådana system kan ibland bli förvirrade om de presenteras för något de inte är tränade att se. I detta fall, en 2D-bild av människor som håller färgglada paraplyer. Sådana AI-lurarbilder är kända som motstridiga patchar.

När AI-systemen blir mer exakta och sofistikerade, regeringar och företag har börjat använda dem för verkliga tillämpningar. En välkänd applikation som används av regeringar är att upptäcka individer som kan skapa problem. Sådana system är tränade att känna igen den mänskliga formen – när det väl händer, ett ansiktsigenkänningssystem kan aktiveras. Ny forskning har visat att system för ansiktsigenkänning kan luras av användare som bär specialdesignade glasögon. Och nu verkar det som att AI-system som upptäcker människor kan luras av bilder placerade framför deras former.

I sitt försök att lura ett speciellt mänskligt igenkännande AI-system som heter YoLo(v2) skapade eller redigerade forskarna olika typer av bilder som de sedan testade med AI-systemet tills de hittade en som fungerade särskilt bra - en bild av människor som håller i färgglada paraplyer som hade ändrats genom att vrida den och lägga till brus. För att lura AI-systemet, fotografiet hölls i en position som upptog lådan som AI-systemet konstruerade för att avgöra om ett givet objekt var identifierbart.

Forskarna demonstrerade effektiviteten av deras motstridiga patch genom att skapa en video som visade rutorna ritade av AI-systemet när det stötte på föremål i sitt synfält och sedan postade identifierande etiketter till dem. Utan plåstret, systemet identifierade mycket enkelt personer i videon som människor – men om en av dem höll plåstret över sitt mittparti, AI-systemet kunde inte längre upptäcka deras närvaro.

© 2019 Science X Network