För ungefär ett decennium sedan började djupinlärningsmodeller uppnå övermänskliga resultat på alla möjliga uppgifter, från att slå världsmästare i brädspel till att överträffa läkare när det gäller att diagnostisera bröstcancer.

Dessa kraftfulla modeller för djupinlärning är vanligtvis baserade på artificiella neurala nätverk, som först föreslogs på 1940-talet och har blivit en populär typ av maskininlärning. En dator lär sig att bearbeta data med hjälp av lager av sammankopplade noder, eller neuroner, som efterliknar den mänskliga hjärnan.

I takt med att området för maskininlärning har vuxit, har artificiella neurala nätverk vuxit tillsammans med det.

Modeller för djupinlärning är nu ofta sammansatta av miljoner eller miljarder sammankopplade noder i många lager som är tränade för att utföra detekterings- eller klassificeringsuppgifter med hjälp av stora mängder data. Men eftersom modellerna är så enormt komplexa förstår inte ens forskarna som designar dem helt hur de fungerar. Detta gör det svårt att veta om de fungerar korrekt.

Till exempel kanske en modell utformad för att hjälpa läkare att diagnostisera patienter korrekt förutspådde att en hudskada var cancer, men den gjorde det genom att fokusera på ett orelaterat märke som ofta inträffar när det finns cancervävnad i ett foto, snarare än på cancer. vävnaden själv. Detta är känt som en falsk korrelation. Modellen får förutsägelsen rätt, men den gör det av fel anledning. I en verklig klinisk miljö där märket inte syns på cancerpositiva bilder kan det resultera i missade diagnoser.

Med så mycket osäkerhet som snurrar runt dessa så kallade "black-box"-modeller, hur kan man reda ut vad som händer inuti lådan?

Detta pussel har lett till ett nytt och snabbt växande studieområde där forskare utvecklar och testar förklaringsmetoder (även kallade tolkningsmetoder) som försöker kasta lite ljus över hur black-box-maskininlärningsmodeller gör förutsägelser.

Vad är förklaringsmetoder?

På sin mest grundläggande nivå är förklaringsmetoder antingen globala eller lokala. En lokal förklaringsmetod fokuserar på att förklara hur modellen gjorde en specifik förutsägelse, medan globala förklaringar försöker beskriva det övergripande beteendet hos en hel modell. Detta görs ofta genom att utveckla en separat, enklare (och förhoppningsvis förståelig) modell som efterliknar den större svarta lådan.

Men eftersom modeller för djupinlärning fungerar på fundamentalt komplexa och olinjära sätt, är det särskilt utmanande att utveckla en effektiv global förklaringsmodell. Detta har fått forskare att vända mycket av sitt senaste fokus till lokala förklaringsmetoder istället, förklarar Yilun Zhou, en doktorand i Interactive Robotics Group of the Computer Science and Artificial Intelligence Laboratory (CSAIL) som studerar modeller, algoritmer och utvärderingar i tolkningsbara metoder. maskininlärning.

De mest populära typerna av lokala förklaringsmetoder delas in i tre breda kategorier.

Den första och mest använda typen av förklaringsmetod är känd som funktionstillskrivning. Funktionstillskrivningsmetoder visar vilka funktioner som var viktigast när modellen fattade ett specifikt beslut.

Funktioner är indatavariabler som matas till en maskininlärningsmodell och används i dess förutsägelse. När data är tabellformade, ritas funktioner från kolumnerna i en datauppsättning (de transformeras med en mängd olika tekniker så att modellen kan bearbeta rådata). För bildbehandlingsuppgifter, å andra sidan, är varje pixel i en bild en funktion. Om en modell förutsäger att en röntgenbild visar cancer, till exempel, skulle funktionstillskrivningsmetoden framhäva de pixlar i den specifika röntgenbilden som var viktigast för modellens förutsägelse.

Funktionstillskrivningsmetoder visar i huvudsak vad modellen lägger mest uppmärksamhet på när den gör en förutsägelse.

"Med den här förklaringen av funktionstillskrivning kan du kontrollera om en falsk korrelation är ett problem. Det kommer till exempel att visa om pixlarna i en vattenstämpel är markerade eller om pixlarna i en faktisk tumör är markerade", säger Zhou.

En andra typ av förklaringsmetod är känd som en kontrafaktisk förklaring. Givet en ingång och en modells förutsägelse visar dessa metoder hur man ändrar den inmatningen så att den faller i en annan klass. Till exempel, om en maskininlärningsmodell förutspår att en låntagare skulle nekas ett lån, visar den kontrafaktiska förklaringen vilka faktorer som måste ändras så att hennes låneansökan accepteras. Kanske måste hennes kreditvärdighet eller inkomst, båda funktionerna som används i modellens förutsägelse, vara högre för att hon ska bli godkänd.

"Det som är bra med den här förklaringsmetoden är att den berättar exakt hur du behöver ändra ingången för att vända beslutet, vilket kan ha praktisk användning. För någon som ansöker om ett bolån och inte fick det, skulle den här förklaringen berätta dem vad de behöver göra för att uppnå det önskade resultatet", säger han.

Den tredje kategorin av förklaringsmetoder är kända som förklaringar av provviktighet. Till skillnad från de andra kräver denna metod tillgång till de data som användes för att träna modellen.

Ett exempel på betydelseförklaring kommer att visa vilket träningsprov en modell förlitade sig mest på när den gjorde en specifik förutsägelse; idealiskt är detta det mest liknande provet som indata. Denna typ av förklaring är särskilt användbar om man observerar en till synes irrationell förutsägelse. Det kan ha varit ett datainmatningsfel som påverkade ett visst prov som användes för att träna modellen. Med denna kunskap skulle man kunna fixa det provet och träna om modellen för att förbättra dess noggrannhet.

Hur används förklaringsmetoder?

Ett motiv för att utveckla dessa förklaringar är att utföra kvalitetssäkring och felsöka modellen. Med mer förståelse för hur funktioner påverkar en modells beslut, till exempel, kan man identifiera att en modell fungerar felaktigt och ingripa för att åtgärda problemet, eller kasta ut modellen och börja om.

Ett annat, nyare forskningsområde är att utforska användningen av maskininlärningsmodeller för att upptäcka vetenskapliga mönster som människor inte har upptäckt tidigare. Till exempel kan en cancerdiagnoserande modell som överträffar kliniker vara felaktig, eller så kan den faktiskt vara att ta upp några dolda mönster i en röntgenbild som representerar en tidig patologisk väg för cancer som antingen var okända för mänskliga läkare eller trodde att vara irrelevant, säger Zhou.

Det är fortfarande väldigt tidigt för det forskningsområdet.

Varningsord

Även om förklaringsmetoder ibland kan vara användbara för maskinlärande utövare när de försöker fånga buggar i sina modeller eller förstår systemets inre funktioner, bör slutanvändare fortsätta med försiktighet när de försöker använda dem i praktiken, säger Marzyeh Ghassemi , en biträdande professor och chef för Healthy ML Group i CSAIL.

I takt med att maskininlärning har antagits inom fler discipliner, från hälsovård till utbildning, används förklaringsmetoder för att hjälpa beslutsfattare att bättre förstå en modells förutsägelser så att de vet när de ska lita på modellen och använda dess vägledning i praktiken. Men Ghassemi varnar för att använda dessa metoder på det sättet.

"Vi har funnit att förklaringar gör människor, både experter och icke-experter, översäkra på förmågan eller råden från ett specifikt rekommendationssystem. Jag tror att det är mycket viktigt för människor att inte stänga av den interna kretsen och fråga, 'låt mig ifrågasätta råden att jag är
given'", säger hon.

Forskare vet att förklaringar gör människor översäkra baserat på andra senaste arbeten, tillägger hon och citerar några nyare studier av Microsoft-forskare.

Långt ifrån en silverkula, förklaringsmetoder har sin del av problem. För det första har Ghassemis senaste forskning visat att förklaringsmetoder kan vidmakthålla fördomar och leda till sämre resultat för människor från missgynnade grupper.

En annan fallgrop med förklaringsmetoder är att det ofta är omöjligt att avgöra om förklaringsmetoden är korrekt i första hand. Man skulle behöva jämföra förklaringarna med den faktiska modellen, men eftersom användaren inte vet hur modellen fungerar är detta cirkulär logik, säger Zhou.

Han och andra forskare arbetar med att förbättra förklaringsmetoderna så att de är mer trogna den faktiska modellens förutsägelser, men Zhou varnar för att även den bästa förklaringen bör tas med en nypa salt.

"Dessutom uppfattar människor generellt att dessa modeller är människoliknande beslutsfattare, och vi är benägna att övergeneralisera. Vi måste lugna ner människor och hålla tillbaka dem för att verkligen se till att den generaliserade modellförståelse de bygger från dessa lokala förklaringar är balanserad", tillägger han.

Zhous senaste forskning försöker göra just det.

Vad är nästa steg för förklaringsmetoder för maskininlärning?

Istället för att fokusera på att ge förklaringar hävdar Ghassemi att forskarsamhället behöver göra mer ansträngningar för att studera hur information presenteras för beslutsfattare så att de förstår den, och att mer reglering måste införas för att säkerställa att modeller för maskininlärning är används ansvarsfullt i praktiken. Bättre förklaringsmetoder enbart är inte svaret.

"Jag har varit glad över att se att det finns mycket mer erkännande, även inom industrin, att vi inte bara kan ta den här informationen och göra en snygg instrumentpanel och anta att människor kommer att prestera bättre med det. Du måste ha mätbara förbättringar i handling , och jag hoppas att det leder till verkliga riktlinjer för att förbättra sättet vi visar information inom dessa djupt tekniska områden, som medicin, säger hon.

Och förutom nytt arbete fokuserat på att förbättra förklaringar, förväntar Zhou att se mer forskning relaterad till förklaringsmetoder för specifika användningsfall, såsom modellfelsökning, vetenskaplig upptäckt, rättvisa granskning och säkerhetsgaranti. Genom att identifiera finkorniga egenskaper hos förklaringsmetoder och kraven för olika användningsfall, kan forskarna etablera en teori som matchar förklaringar med specifika scenarier, vilket kan hjälpa till att övervinna några av de fallgropar som kommer från att använda dem i verkliga scenarier.