Forskare föreslår ett ramverk för artificiell intelligens (AI) som skulle göra det möjligt för användare att förstå logiken bakom AI-beslut. Arbetet är betydelsefullt, med tanke på att pushen går bort från "black box" AI-system – särskilt inom sektorer, såsom militär och brottsbekämpning, där det finns behov av att motivera beslut.

"En sak som skiljer vårt ramverk åt är att vi gör dessa tolkningselement till en del av AI-utbildningsprocessen, säger Tianfu Wu, uppsatsens första författare och biträdande professor i datateknik vid North Carolina State University.

"Till exempel, inom vår ram, när ett AI-program lär sig att identifiera objekt i bilder, det lär sig också att lokalisera målobjektet i en bild, och att analysera vad det handlar om den lokaliteten som uppfyller målobjektkriterierna. Denna information presenteras sedan tillsammans med resultatet."

I ett proof-of-concept-experiment, forskare införlivade ramverket i det allmänt använda R-CNN AI-objektidentifieringssystemet. De körde sedan systemet på två, väletablerade referensdatauppsättningar.

Forskarna fann att införandet av tolkningsramverket i AI-systemet inte skadade systemets prestanda vare sig i fråga om tid eller noggrannhet.

"Vi tror att detta är ett viktigt steg mot att uppnå helt transparent AI, " säger Wu. "Men, det finns kvarstående frågor att ta itu med.

"Till exempel, ramverket har för närvarande AI visa oss platsen för ett objekt de aspekter av bilden som den anser vara utmärkande egenskaper för målobjektet. Det är kvalitativt. Vi arbetar på sätt att göra detta kvantitativt, införliva ett förtroendepoäng i processen."