Ett team av forskare från armén och industrin har utvecklat ett mått för neurala nätverk – datorsystem som är löst modellerade efter den mänskliga hjärnan – som kan bedöma tillförlitligheten och tillförlitligheten hos nästa generations artificiell intelligens och maskininlärningsalgoritmer.

Djupa neurala nätverk, eller DNN, är en form av maskininlärning som använder träningsdata för att lära sig. Väl utbildad, de kan göra förutsägelser när de ges ny information eller input; dock, de kan lätt bli lurade om den nya informationen ligger för långt utanför utbildningen.

Forskare sa med tanke på mångfalden av information i träningsdata och potentiella nya indata, att komma på en lösning är utmanande.

"Detta öppnar en ny forskningsmöjlighet att skapa nästa generations algoritmer som är robusta och motståndskraftiga, " sa Dr Brian Jalaian, en vetenskapsman vid U.S. Army Combat Capabilities Development Commands Army Research Laboratory. "Vårt tillvägagångssätt är mångsidigt och kan läggas till som ett extra block till många av arméns moderna algoritmer med hjälp av moderna maskininlärningsalgoritmer som är baserade på djupa neurala nätverk som används för visuella bilder."

Detta nya förtroendemått kommer att hjälpa armén att skapa säkra och säkra maskininlärningstekniker, och kommer att tillämpas i lednings- och kontrollsystem, precision brand- och beslutsstödsystem, sa Jalaian.

Sedan 2018, forskare från armén och SRI International, genom labbets Internet of Battlefield Things Collaborative Research Alliance, har undersökt metoder för att härda arméns maskininlärningsalgoritmer för att ge större pålitlighet och säkerhet, och vara mindre mottagliga motstridiga maskininlärningstekniker.

Forskarna publicerade sitt arbete, "Attributionsbaserad konfidensmått för djupa neurala nätverk", vid 2019 års konferens om neurala informationsbehandlingssystem.

"Medan vi hade viss framgång, vi hade inte ett tillvägagångssätt för att upptäcka de starkaste toppmoderna attackerna som (motstridiga) patchar som lägger till brus till bilder, så att de leder till felaktiga förutsägelser, " sade Jalaian. "I detta arbete, vi föreslog en generativ modell, som justerar aspekter av de ursprungliga indatabilderna i det underliggande ursprungliga djupa neurala nätverket. Det ursprungliga djupa neurala nätverkets svar på dessa genererade indata bedöms sedan för att mäta modellens överensstämmelse."

Detta skiljer sig från den befintliga forskningen, eftersom det inte kräver åtkomst till träningsdata, användningen av ensembler eller behovet av att träna en kalibreringsmodell på en valideringsdatauppsättning som inte är densamma som träningsuppsättningen, sa Jalaian.

Inom armén, forskare fortsätter att arbeta med test- och utvärderingsgemenskapen för att utveckla containeriserade algoritmer som mäter tillförlitligheten hos olika algoritmer över olika applikationer.

Jalaian sa att de undersöker varianter av generativa modeller som kan härda Army AI-system mot kontradiktoriska manipulationer, samt att undersöka motståndskraften hos modeller av neurala nätverk, både teoretiskt och empiriskt, som kan köras i små smarta enheter, som de som skulle vara en del av Internet of Battlefield Things.