I dag, maskininlärning (ML) kommer till sin rätt, redo att tjäna mänskligheten i en mängd olika applikationer - från högeffektiv tillverkning, medicin och massiv informationsanalys för självkörande transport, och vidare. Dock, om den tillämpas fel, missbrukas eller undergrävs, ML rymmer potentialen för stor skada-detta är maskininlärningens tveeggade svärd.
"Under det senaste decenniet har forskare har fokuserat på att förverkliga praktisk ML som kan utföra verkliga uppgifter och göra dem mer effektiva, "sa Dr Hava Siegelmann, programchef i DARPA:s Information Innovation Office (I2O). "Vi har redan nytta av det arbetet, och snabbt införliva ML i ett antal företag. Men, på ett riktigt sätt, vi har rusat framåt, uppmärksamma lite sårbarheter i ML -plattformar - särskilt när det gäller att ändra, förstöra eller lura dessa system. "
I ett vanligt citerat exempel, ML som används av en självkörande bil lurades av visuella ändringar av en stoppskylt. Medan en människa som tittar på det förändrade tecknet inte skulle ha svårt att tolka dess betydelse, ML tolkade felaktigt stoppskylten som en hastighetsbegränsning på 45 km / h. I en verklig attack som denna, den självkörande bilen skulle accelerera genom stoppskylten, kan orsaka ett katastrofalt resultat. Detta är bara en av många nyligen upptäckta attacker som gäller för praktiskt taget alla ML -applikationer.
För att komma före denna akuta säkerhetsutmaning, DARPA skapade programmet Guaranteeing AI Robustness against Deception (GARD). GARD syftar till att utveckla en ny generation av försvar mot motstridiga bedragarangrepp mot ML -modeller. Nuvarande försvarsinsatser var utformade för att skydda mot specifika, fördefinierade motsatta attacker och, förblev sårbara för attacker utanför deras designparametrar när de testades. GARD försöker närma sig ML-försvaret annorlunda-genom att utveckla breda försvar som tar itu med de många möjliga attackerna i ett givet scenario.
"Det finns ett kritiskt behov av ML -försvar eftersom tekniken alltmer införlivas i en del av vår mest kritiska infrastruktur. GARD -programmet försöker förhindra det kaos som kan uppstå inom en snar framtid när attackmetoder, nu i sin barndom, har mognat till en mer destruktiv nivå. Vi måste se till att ML är säkert och oförmöget att luras, "konstaterade Siegelmann.
GARD:s nya svar på kontradiktorisk AI kommer att fokusera på tre huvudmål:1) utveckling av teoretiska grunder för försvarbart ML och ett lexikon för nya försvarsmekanismer baserade på dem; 2) skapande och testning av försvarbara system i en mängd olika inställningar; och 3) konstruktion av en ny testbädd för att karakterisera ML -försvarbarhet i förhållande till hotscenarier. Genom dessa inbördes beroende programelement, GARD syftar till att skapa bedrägeribeständiga ML-tekniker med strikta kriterier för att utvärdera deras robusthet.
GARD kommer att utforska många forskningsinriktningar för potentiella försvar, inklusive biologi. "Den sortens breda scenariobaserade försvar vi vill skapa kan ses, till exempel, i immunsystemet, som identifierar attacker, vinner och kommer ihåg attacken för att skapa ett mer effektivt svar under framtida engagemang, sa Siegelmann.
GARD kommer att arbeta med att tillgodose nuvarande behov, men tänker också på framtida utmaningar. Programmet kommer inledningsvis att koncentrera sig på state-of-the-art bildbaserad ML, gå sedan vidare till video, ljud och mer komplexa system-inklusive variationer med flera sensorer och multimodalitet. Det kommer också att försöka adressera ML som kan förutsäga, beslut och anpassning under sin livstid.
En förslagsställares dag kommer att hållas den 6 februari, 2019, från 9:00 till 14:00 (EST) på DARPA Conference Center, ligger på 675 N. Randolph Street, Arlington, Virginia, 22203 för att ge mer detaljer om GARD -programmets tekniska mål och utmaningar.
Ytterligare information kommer att finnas tillgänglig i det kommande Broad Agency -meddelandet, som kommer att läggas ut på www.fbo.gov.
