När det kommer till spel som schack eller Go, har artificiell intelligens (AI)-program vida överträffat de bästa spelarna i världen. Dessa "övermänskliga" AI:er är oöverträffade konkurrenter, men kanske svårare än att tävla mot människor är att samarbeta med dem. Kan samma teknik komma överens med människor?

I en ny studie försökte forskare från MIT Lincoln Laboratory ta reda på hur väl människor kunde spela det kooperativa kortspelet Hanabi med en avancerad AI-modell tränad att utmärka sig i att spela med lagkamrater som den aldrig hade träffat tidigare. I enkelblinda experiment spelade deltagarna två serier av spelet:en med AI-agenten som sin lagkamrat och den andra med en regelbaserad agent, en bot manuellt programmerad att spela på ett fördefinierat sätt.

Resultaten överraskade forskarna. Inte bara var poängen inte bättre med AI-lagkamraten än med den regelbaserade agenten, utan människor hatade konsekvent att spela med sin AI-lagkamrat. De tyckte att det var oförutsägbart, opålitligt och opålitligt, och kändes negativt även när laget gjorde bra mål. Ett dokument som beskriver denna studie har accepterats till 2021 års konferens om neurala informationsbehandlingssystem (NeurIPS).

"Det belyser verkligen den nyanserade distinktionen mellan att skapa AI som presterar objektivt bra och att skapa AI som är subjektivt betrodd eller föredragen", säger Ross Allen, medförfattare till artikeln och en forskare i Artificial Intelligence Technology Group. "Det kan tyckas att de här sakerna är så nära att det inte riktigt är dagsljus mellan dem, men den här studien visade att det faktiskt är två separata problem. Vi måste arbeta med att reda ut dem."

Människor som hatar sina AI-lagkamrater kan vara oroande för forskare som designar den här tekniken för att en dag arbeta med människor med verkliga utmaningar – som att försvara sig från missiler eller utföra komplexa operationer. Denna dynamik, som kallas teaming intelligens, är nästa frontlinje inom AI-forskning, och den använder en speciell typ av AI som kallas förstärkningsinlärning.

En förstärkningslärande AI får inte veta vilka åtgärder den ska vidta, utan upptäcker istället vilka åtgärder som ger den mest numeriska "belöningen" genom att prova scenarier om och om igen. Det är denna teknik som har gett de övermänskliga schack- och Go-spelarna. Till skillnad från regelbaserade algoritmer är dessa AI inte programmerade att följa "om/då"-påståenden, eftersom de möjliga resultaten av de mänskliga uppgifterna de ska ta sig an, som att köra bil, är alldeles för många för att koda.

"Förstärkningsinlärning är ett mycket mer generellt sätt att utveckla AI. Om du kan träna den för att lära sig att spela schack, kommer den agenten inte nödvändigtvis att köra bil. Men du kan använda samma algoritmer för att träna en annan agent för att köra bil, givet rätt data", säger Allen. "Himlen är gränsen för vad den i teorin skulle kunna göra."

Dåliga tips, dåliga spelningar

Idag använder forskare Hanabi för att testa prestandan hos modeller för förstärkningsinlärning som utvecklats för samarbete, ungefär på samma sätt som schack har fungerat som ett riktmärke för att testa konkurrenskraftig AI i decennier.

Spelet Hanabi är besläktat med en multiplayer-form av Solitaire. Spelare arbetar tillsammans för att stapla kort i samma färg i ordning. Spelare får dock inte se sina egna kort, bara de kort som deras lagkamrater har. Varje spelare är strikt begränsad i vad de kan kommunicera till sina lagkamrater för att få dem att välja det bästa kortet från sin egen hand för att stapla nästa.

Forskarna från Lincoln Laboratory utvecklade varken AI eller regelbaserade medel som användes i detta experiment. Båda agenterna representerar de bästa inom sina områden för Hanabis prestationer. Faktum är att när AI-modellen tidigare parades med en AI-lagkamrat som den aldrig hade spelat med tidigare, uppnådde laget den högsta poängen någonsin för Hanabi-spel mellan två okända AI-agenter.

"Det var ett viktigt resultat," säger Allen. "Vi tänkte, om dessa AI som aldrig har träffats tidigare kan komma samman och spela riktigt bra, så borde vi kunna ta med människor som också vet hur man spelar väldigt bra tillsammans med AI, och de kommer också att göra det väldigt bra. Det var därför vi trodde att AI-teamet objektivt sett skulle spela bättre, och också därför vi trodde att människor skulle föredra det, för i allmänhet kommer vi att gilla något bättre om vi gör det bra."

Ingen av dessa förväntningar gick i uppfyllelse. Objektivt sett fanns det ingen statistisk skillnad i poängen mellan AI och den regelbaserade agenten. Subjektivt rapporterade alla 29 deltagare i undersökningar en tydlig preferens mot den regelbaserade lagkamraten. Deltagarna informerades inte om vilken agent de spelade med för vilka spel.

"En deltagare sa att de var så stressade över det dåliga spelet från AI-agenten att de faktiskt fick huvudvärk", säger Jaime Pena, en forskare i AI Technology and Systems Group och en författare på tidningen. "En annan sa att de tyckte att den regelbaserade agenten var dum men användbar, medan AI-agenten visade att den förstod reglerna, men att dess rörelser inte stämde överens med hur ett lag ser ut. För dem gav det dåliga tips, gör dåliga spel."

Omänsklig kreativitet

Denna uppfattning om AI som gör "dåliga spel" länkar till överraskande beteende som forskare har observerat tidigare i förstärkningsinlärningsarbete. Till exempel, 2016, när DeepMinds AlphaGo först besegrade en av världens bästa Go-spelare, var ett av de mest berömda dragen som AlphaGo gjorde drag 37 i spel 2, ett drag så ovanligt att mänskliga kommentatorer trodde att det var ett misstag. Senare analys avslöjade att flytten faktiskt var extremt välkalkylerad och beskrevs som "genial".

Sådana drag kan få beröm när en AI-motståndare utför dem, men det är mindre sannolikt att de firas i en lagmiljö. Forskarna från Lincoln Laboratory fann att konstiga eller till synes ologiska rörelser var de värsta förbrytarna när det gällde att bryta människors förtroende för sin AI-lagkamrat i dessa nära kopplade team. Sådana rörelser minskade inte bara spelarnas uppfattning om hur väl de och deras AI-lagkamrat arbetade tillsammans, utan också hur mycket de ville arbeta med AI överhuvudtaget, särskilt när eventuella utdelningar inte var direkt uppenbara.

"Det fanns många kommentarer om att ge upp, kommentarer som "Jag hatar att jobba med den här saken", tillägger Hosea Siu, också författare till artikeln och forskare i Control and Autonomous Systems Engineering Group.

Deltagare som rankade sig själva som Hanabi-experter, vilket majoriteten av spelarna i denna studie gjorde, gav oftare upp AI-spelaren. Siu tycker att detta är oroande för AI-utvecklare, eftersom nyckelanvändare av denna teknik sannolikt kommer att vara domänexperter.

"Låt oss säga att du utbildar en supersmart AI-vägledningsassistent för ett missilförsvarsscenario. Du lämnar det inte till en praktikant, du lämnar det till dina experter på dina fartyg som har gjort detta i 25 år Så, om det finns en stark expertfördom mot det i spelscenarier, kommer det sannolikt att dyka upp i verkliga oper, tillägger han.

Squishy människor

Forskarna noterar att den AI som används i denna studie inte utvecklades för mänskliga preferenser. Men det är en del av problemet - inte många är det. Liksom de flesta kollaborativa AI-modeller utformades denna modell för att få så höga poäng som möjligt, och dess framgång har riktmärkts av dess objektiva prestanda.

Om forskare inte fokuserar på frågan om subjektiva mänskliga preferenser, "då kommer vi inte att skapa AI som människor faktiskt vill använda", säger Allen. "Det är lättare att arbeta med AI som förbättrar ett mycket rent antal. Det är mycket svårare att arbeta med AI som fungerar i den här mushigare världen av mänskliga preferenser."

Att lösa detta svårare problem är målet för projektet MeRLin (Mission-Ready Reinforcement Learning), som detta experiment finansierades under i Lincoln Laboratorys teknologikontor, i samarbete med U.S. Air Force Artificial Intelligence Accelerator och MIT Department of Electrical Engineering and Computer Vetenskap. Projektet studerar vad som har förhindrat kollaborativ AI-teknik från att hoppa ut ur spelutrymmet och in i stökigare verklighet.

Forskarna tror att förmågan för AI att förklara sina handlingar kommer att skapa förtroende. Detta kommer att vara fokus för deras arbete under nästa år.

"You can imagine we rerun the experiment, but after the fact—and this is much easier said than done—the human could ask, 'Why did you do that move, I didn't understand it?' If the AI could provide some insight into what they thought was going to happen based on their actions, then our hypothesis is that humans would say, 'Oh, weird way of thinking about it, but I get it now,' and they'd trust it. Our results would totally change, even though we didn't change the underlying decision-making of the AI," Allen says.

Like a huddle after a game, this kind of exchange is often what helps humans build camaraderie and cooperation as a team.

"Maybe it's also a staffing bias. Most AI teams don't have people who want to work on these squishy humans and their soft problems," Siu adds, laughing. "It's people who want to do math and optimization. And that's the basis, but that's not enough."

Mastering a game such as Hanabi between AI and humans could open up a universe of possibilities for teaming intelligence in the future. But until researchers can close the gap between how well an AI performs and how much a human likes it, the technology may well remain at machine versus human.