Förgiftningsattacker är bland de största säkerhetshoten för modeller för maskininlärning (ML). I denna typ av attack, en motståndare försöker kontrollera en bråkdel av den data som används för att träna neurala nätverk och injicerar skadliga datapunkter för att hindra en modells prestanda.

Även om forskare har försökt utveckla tekniker som kan upptäcka eller motverka dessa attacker, effektiviteten av dessa tekniker beror ofta på när och hur de tillämpas. Dessutom, ibland kan användning av filtreringstekniker för att screena ML-modeller mot förgiftningsattacker minska deras noggrannhet, hindra dem från att analysera både äkta och korrupt data.

I en nyligen genomförd studie, forskare vid McMaster University i Kanada har framgångsrikt använt spelteori för att modellera scenarier för förgiftningsattacker. Deras resultat, beskrivs i en tidning som förpublicerats på arXiv, bevisar att det inte finns en ren strategi Nash-jämvikt, vilket innebär att varje spelare upprepade gånger väljer samma strategi i "spelet" för anfallare och försvarare.

Att studera beteendet hos både angripare och försvarare när förgiftningsattacker äger rum kan hjälpa till att utveckla ML-algoritmer som är mer skyddade mot dem och ändå behåller sin noggrannhet. I deras studie, forskarna försökte modellera förgiftningsattacker inom ramen för spelteori, en gren av matematik som handlar om bättre förståelse av strategier som används i konkurrenssituationer (t.ex. spel), där ett resultat i hög grad beror på valen av de inblandade (dvs deltagarna).

"Syftet med detta dokument är att hitta Nash-jämvikten (NE) för spelmodellen för förgiftningsattack och försvar, " Yifan Ou och Reza Samavi, de två forskarna som genomförde studien, förklara i sin tidning. "Att identifiera NE-strategin kommer att tillåta oss att hitta den optimala filterstyrkan för den försvarande algoritmen, såväl som den resulterande effekten på ML-modellen när både angriparen och försvararen använder optimala strategier."

I spelteorin, NE är ett stabilt tillstånd i ett system som involverar konkurrenskraftiga interaktioner mellan olika deltagare (t.ex. ett spel). När NE inträffar, ingen deltagare kan vinna någonting genom en ensidig förändring av strategin om den andra spelarens/spelarnas strategi förblir oförändrad.

I deras studie, Ou och Samavi försökte hitta NE i samband med förgiftningsattacker och försvarsstrategier. Först, de använde spelteori för att modellera dynamik för förgiftningsattacker och bevisade att en ren NE inte finns i en sådan modell. Senare, de föreslog en blandad NE-strategi för just denna spelmodell och visade dess effektivitet i en experimentell miljö.

"Vi använde spelteori för att modellera angriparens och försvararens strategier i scenarier för förgiftningsattacker, " skrev forskarna i sin uppsats. "Vi bevisade att den rena strategin NE inte existerade, föreslog en blandad förlängning av vår spelmodell och en algoritm för att approximera NE-strategin för försvararen, demonstrerade sedan effektiviteten av den blandade försvarsstrategin som genereras av algoritmen."

I framtiden, forskarna skulle vilja undersöka ett mer allmänt tillvägagångssätt för att ta itu med förgiftningsattacker, vilket innebär att detektera och avvisa prover med hjälp av granskningsalgoritmer. Detta alternativa tillvägagångssätt kan vara särskilt effektivt för att uppdatera och förbättra en utbildad modell i situationer där användarnas feedback söks online.

© 2019 Science X Network