På ett hektiskt sjukhus använder en radiolog ett system för artificiell intelligens för att hjälpa henne att diagnostisera medicinska tillstånd baserat på patienternas röntgenbilder. Att använda AI-systemet kan hjälpa henne att göra snabbare diagnoser, men hur vet hon när hon ska lita på AI:s förutsägelser?

Det gör hon inte. Istället kan hon lita på sin expertis, en konfidensnivå som systemet självt tillhandahåller eller en förklaring av hur algoritmen gjorde sin förutsägelse – som kan se övertygande ut men ändå vara felaktig – för att göra en uppskattning.

För att hjälpa människor att bättre förstå när de ska lita på en AI-"lagkamrat" skapade MIT-forskare en introduktionsteknik som vägleder människor att utveckla en mer exakt förståelse av de situationer där en maskin gör korrekta förutsägelser och de där den gör felaktiga förutsägelser.

Genom att visa människor hur AI kompletterar deras förmågor kan träningstekniken hjälpa människor att fatta bättre beslut eller komma till slutsatser snabbare när de arbetar med AI-agenter.

"Vi föreslår en undervisningsfas där vi gradvis introducerar människan till denna AI-modell så att de själva kan se dess svagheter och styrkor", säger Hussein Mozannar, doktorand i Clinical Machine Learning Group of the Computer Science and Artificial Intelligence Laboratoriet (CSAIL) och Institutet för medicinsk teknik och vetenskap. "Vi gör detta genom att efterlikna hur människan kommer att interagera med AI i praktiken, men vi ingriper för att ge dem feedback för att hjälpa dem förstå varje interaktion de gör med AI."

Mozannar skrev artikeln med Arvind Satyanarayan, en biträdande professor i datavetenskap som leder visualiseringsgruppen i CSAIL; och seniorförfattare David Sontag, docent i elektroteknik och datavetenskap vid MIT och ledare för Clinical Machine Learning Group. Forskningen kommer att presenteras på Association for the Advancement of Artificial Intelligence i februari.

Mentala modeller

Detta arbete fokuserar på de mentala modeller som människor bygger om andra. Om radiologen är osäker på ett fall kan hon fråga en kollega som är expert på ett visst område. Av tidigare erfarenhet och hennes kunskap om den här kollegan har hon en mental modell av hans styrkor och svagheter som hon använder för att bedöma hans råd.

Människor bygger samma typer av mentala modeller när de interagerar med AI-agenter, så det är viktigt att dessa modeller är korrekta, säger Mozannar. Kognitionsvetenskap tyder på att människor fattar beslut för komplexa uppgifter genom att minnas tidigare interaktioner och erfarenheter. Så forskarna designade en introduktionsprocess som ger representativa exempel på att människan och AI arbetar tillsammans, som fungerar som referenspunkter som människan kan dra nytta av i framtiden. De började med att skapa en algoritm som kan identifiera exempel som bäst lär människan om AI.

"Vi lär oss först en mänsklig experts fördomar och styrkor, genom att använda observationer av deras tidigare beslut utan vägledning av AI," säger Mozannar. "Vi kombinerar vår kunskap om människan med vad vi vet om AI:n för att se var det kommer att vara till hjälp för människan att förlita sig på AI:n. Sedan får vi fall där vi vet att människan borde lita på AI:n och liknande fall där människan ska inte förlita sig på AI."

Forskarna testade sin onboarding-teknik på en passage-baserad frågesvarsuppgift:Användaren får ett skriftligt avsnitt och en fråga vars svar finns i passagen. Användaren måste sedan svara på frågan och kan klicka på en knapp för att "låta AI svara." Användaren kan dock inte se AI-svaret i förväg, vilket kräver att de litar på sin mentala modell av AI. Onboardingprocessen de utvecklade börjar med att visa dessa exempel för användaren, som försöker göra en förutsägelse med hjälp av AI-systemet. Människan kan ha rätt eller fel, och AI:n kan ha rätt eller fel, men i båda fallen, efter att ha löst exemplet, ser användaren det korrekta svaret och en förklaring till varför AI:n valde sin förutsägelse. För att hjälpa användaren att generalisera utifrån exemplet visas två kontrasterande exempel som förklarar varför AI:n gjorde rätt eller fel.

Till exempel kanske träningsfrågan frågar vilken av två växter som är hemma i fler kontinenter, baserat på ett krystat stycke från en lärobok i botanik. Människan kan svara på egen hand eller låta AI-systemet svara. Sedan ser hon två uppföljningsexempel som hjälper henne att få en bättre känsla för AI:s förmågor. Kanske har AI fel i en följdfråga om frukt men rätt i en fråga om geologi. I varje exempel markeras orden som systemet använde för att göra sin förutsägelse. Att se de markerade orden hjälper människan att förstå gränserna för AI-agenten, förklarar Mozannar.

För att hjälpa användaren att behålla det de har lärt sig, skriver användaren sedan ner regeln hon härleder från detta undervisningsexempel, till exempel "Denna AI är inte bra på att förutsäga blommor." Hon kan sedan hänvisa till dessa regler senare när hon arbetar med agenten i praktiken. Dessa regler utgör också en formalisering av användarens mentala modell av AI.

Inverkan av undervisning

Forskarna testade denna undervisningsteknik med tre grupper av deltagare. En grupp gick igenom hela introduktionstekniken, en annan grupp fick inte de uppföljande jämförelseexemplen och baslinjegruppen fick ingen undervisning utan kunde se AI:s svar i förväg.

"Deltagarna som fick undervisning gjorde det lika bra som deltagarna som inte fick undervisning men kunde se AI:s svar. Så slutsatsen där är att de kan simulera AI:s svar lika bra som om de hade sett det." säger Mozannar.

Forskarna grävde djupare i data för att se reglerna som enskilda deltagare skrev. De fann att nästan 50 procent av personerna som fick utbildning skrev korrekta lektioner om AI:s förmågor. De som hade korrekta lektioner hade rätt på 63 procent av exemplen, medan de som inte hade korrekta lektioner hade rätt på 54 procent. Och de som inte fick undervisning men kunde se AI-svaren hade rätt på 57 procent av frågorna.

"När undervisningen är framgångsrik, har den en betydande inverkan. Det är det som är avgörande här. När vi kan undervisa deltagarna effektivt kan de göra det bättre än om du faktiskt gav dem svaret", säger han.

Men resultaten visar också att det fortfarande finns ett gap. Endast 50 procent av de som utbildades byggde korrekta mentala modeller av AI, och även de som gjorde det hade bara rätt 63 procent av gångerna. Även om de lärde sig exakta lektioner, följde de inte alltid sina egna regler, säger Mozannar.

Det är en fråga som får forskarna att klia sig i huvudet – även om folk vet att AI borde ha rätt, varför lyssnar de inte på sin egen mentala modell? De vill utforska denna fråga i framtiden, samt förfina introduktionsprocessen för att minska den tid det tar. De är också intresserade av att köra användarstudier med mer komplexa AI-modeller, särskilt i hälsovårdsmiljöer.