Programvaruapplikationer ger människor många typer av automatiserade beslut, som att identifiera vad en individs kreditrisk är, informera en rekryterare om vilken jobbkandidat som ska anställas, eller avgöra om någon är ett hot mot allmänheten. På senare år har nyhetsrubriker har varnat för en framtid där maskiner fungerar i samhällets bakgrund, bestämma människolivs gång samtidigt som man använder opålitlig logik.

En del av denna rädsla kommer från det oklara sätt som många maskininlärningsmodeller fungerar på. Kända som black-box-modeller, de definieras som system där resan från input till output är näst intill omöjlig för ens deras utvecklare att förstå.

"Eftersom maskininlärning blir allestädes närvarande och används för applikationer med allvarligare konsekvenser, det finns ett behov av att folk förstår hur det gör förutsägelser så att de kan lita på det när det gör mer än att visa upp en annons, " säger Jonathan Su, en medlem av den tekniska personalen i MIT Lincoln Laboratorys Informatics and Decision Support Group.

För närvarande, forskare använder antingen post hoc-tekniker eller en tolkningsbar modell som ett beslutsträd för att förklara hur en black-box-modell når sin slutsats. Med post hoc-tekniker, forskare observerar en algoritms in- och utdata och försöker sedan konstruera en ungefärlig förklaring till vad som hände inuti den svarta lådan. Problemet med denna metod är att forskare bara kan gissa sig till det inre, och förklaringarna kan ofta vara felaktiga. Beslutsträd, vilka kartlägger val och deras potentiella konsekvenser i en trädliknande konstruktion, fungerar bra för kategoriska data vars funktioner är meningsfulla, men dessa träd är inte tolkbara i viktiga domäner, såsom datorseende och andra komplexa dataproblem.

Su leder ett team på laboratoriet som samarbetar med professor Cynthia Rudin vid Duke University, tillsammans med Duke-studenterna Chaofan Chen, Oscar Li, och Alina Barnett, till forskningsmetoder för att ersätta black-box-modeller med prediktionsmetoder som är mer transparenta. Deras projekt, kallas Adaptable Interpretable Machine Learning (AIM), fokuserar på två tillvägagångssätt:tolkbara neurala nätverk samt anpassningsbara och tolkbara Bayesianska regellistor (BRL).

Ett neuralt nätverk är ett datorsystem som består av många sammankopplade bearbetningselement. Dessa nätverk används vanligtvis för bildanalys och objektigenkänning. Till exempel, en algoritm kan läras att känna igen om ett fotografi innehåller en hund genom att först visas foton av hundar. Forskare säger att problemet med dessa neurala nätverk är att deras funktioner är olinjära och rekursiva, såväl som komplicerade och förvirrande för människor, och slutresultatet är att det är svårt att precisera vad nätverket har definierat som "dogness" i bilderna och vad som ledde det till den slutsatsen.

För att lösa detta problem, teamet utvecklar vad det kallar "prototyp neurala nätverk". Dessa skiljer sig från traditionella neurala nätverk genom att de naturligt kodar för förklaringar för var och en av deras förutsägelser genom att skapa prototyper, som är särskilt representativa delar av en ingångsbild. Dessa nätverk gör sina förutsägelser baserat på likheten mellan delar av ingångsbilden och varje prototyp.

Som ett exempel, om ett nätverk har till uppgift att identifiera om en bild är en hund, katt, eller häst, det skulle jämföra delar av bilden med prototyper av viktiga delar av varje djur och använda denna information för att göra en förutsägelse. En artikel om detta arbete:"Det här ser ut så här:djupinlärning för tolkningsbar bildigenkänning, " var nyligen med i ett avsnitt av "Data Science at Home"-podden. En tidigare tidning, "Djupt lärande för fallbaserade resonemang genom prototyper:ett neuralt nätverk som förklarar sina förutsägelser, "använde hela bilder som prototyper, snarare än delar.

Det andra området forskargruppen undersöker är BRL, som är mindre komplicerade, ensidiga beslutsträd som är lämpliga för tabelldata och ofta lika exakta som andra modeller. BRL är gjorda av en sekvens av villkorliga uttalanden som naturligt bildar en tolkningsbar modell. Till exempel, om blodtrycket är högt, då är risken för hjärtsjukdom hög. Su och kollegor använder egenskaper för BRL:er för att göra det möjligt för användare att indikera vilka funktioner som är viktiga för en förutsägelse. De utvecklar också interaktiva BRL, som kan anpassas omedelbart när nya data anländer snarare än omkalibreras från grunden på en ständigt växande dataset.

Stephanie Carnell, en doktorand från University of Florida och en sommarpraktikant i Informatics and Decision Support Group, tillämpar de interaktiva BRL:erna från AIM-programmet till ett projekt för att hjälpa läkarstudenter att bli bättre på att intervjua och diagnostisera patienter. För närvarande, läkarstudenter övar på dessa färdigheter genom att intervjua virtuella patienter och få en poäng på hur mycket viktig diagnostisk information de kunde avslöja. Men poängen innehåller inte en förklaring av vad, exakt, i intervjun eleverna gjorde för att uppnå sina poäng. AIM-projektet hoppas kunna ändra på detta.

"Jag kan föreställa mig att de flesta läkarstudenter är ganska frustrerade över att få en förutsägelse om framgång utan någon konkret anledning, " säger Carnell. "Regellistorna som genereras av AIM borde vara en idealisk metod för att ge eleverna datadrivna, förståelig feedback."

AIM-programmet är en del av pågående forskning vid laboratoriet inom mänskliga systemteknik - eller praktiken att designa system som är mer kompatibla med hur människor tänker och fungerar, såsom förståeligt, snarare än dunkel, algoritmer.

"Laboratoriet har möjlighet att vara en global ledare när det gäller att föra människor och teknik samman, " säger Hayley Reynolds, biträdande ledare för Informatik- och beslutsstödsgruppen. "Vi är på väg att göra stora framsteg."

Melva James är en annan teknisk personal i Informatics and Decision Support Group som är involverad i AIM-projektet. "Vi på laboratoriet har utvecklat Python-implementationer av både BRL och interaktiva BRL, " säger hon. "[Vi] testar samtidigt produktionen av BRL och interaktiva BRL-implementationer på olika operativsystem och hårdvaruplattformar för att etablera portabilitet och reproducerbarhet. Vi identifierar också ytterligare praktiska tillämpningar av dessa algoritmer."

Su förklarar:"Vi hoppas kunna bygga en ny strategisk förmåga för laboratoriet - maskininlärningsalgoritmer som folk litar på eftersom de förstår dem."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.