Om du var övertygad om att du visste vägen hem, skulle du fortfarande slå på din GPS?

Arméforskare försökte nyligen besvara en liknande fråga på grund av en pågående oro för att artificiell intelligens, som kan vara ogenomskinlig och frustrerande för många människor, kanske inte är till hjälp vid beslutsfattandet på slagfältet.

"Den amerikanska armén fortsätter att driva moderniseringen av sina styrkor, med anmärkningsvärda ansträngningar, inklusive utveckling av smarttelefonbaserad programvara för realtidsinformation, till exempel Android Tactical Assault Kit, eller ATAK, och tilldelning av betydande medel för att undersöka nya AI- och maskininlärningsmetoder för att hjälpa lednings- och kontrollpersonal, "sa Dr James Schaffer, forskare för RDECOM's Army Research Laboratory, arméns företagsforskningslaboratorium (ARL), på ARL West i Playa Vista, Kalifornien.

Enligt Schaffer, trots dessa framsteg, det finns fortfarande ett stort glapp i grundläggande kunskap om användningen av AI, och det är okänt vilka faktorer av AI som kommer att hjälpa eller inte kommer att hjälpa militära beslutsprocesser.

Universitets- och företagsforskning har gjort betydande framsteg när det gäller att lösa detta problem för applikationer som film- och restaurangrekommendationer, men resultaten översätts inte exakt till den militära världen.

"Till exempel, många forskningsstudier och A/B -test, som de som utförs av Amazon, har experimenterat med olika former av övertalning, argumentation och användargränssnittsstilar för att bestämma den vinnande kombinationen som rör mest produkt eller väcker mest förtroende, "Sa Schaffer." Tyvärr, Det finns stora luckor mellan antagandena inom dessa lågriskområden och militär praxis. "

Arméns forskning, som var ett samarbete mellan arméforskare och universitetsforskare vid University of California, Santa Barbara, antar att många människor litar mer på sina egna förmågor än på en dator, som påverkar deras omdöme när de pressas att utföra.

Enligt Schaffer, detta innebär att även om felfri AI skulle kunna skapas, vissa människor lyssnar inte på AI:s råd.

Forskarna konstruerade en abstrakt liknande Iterated Prisoner's Dilemma, ett spel där spelare måste välja att samarbeta med eller avvika mot sina medspelare i varje omgång-för att kontrollera alla relevanta faktorer.

The Iterated Prisoner's Dilemma har använts för flera verkliga problem, såsom militära vapenkapplöpningar, offentlig delning av resurser och internationell politik.

En onlineversion av spelet utvecklades av forskargruppen, där spelare fick poäng genom att fatta bra beslut i varje omgång.

En AI användes för att generera råd i varje omgång, som visades bredvid spelgränssnittet, och gjorde ett förslag om vilket beslut som ska tas av spelaren.

Forskare fick en möjlighet att designa en AI som alltid rekommenderade det optimala handlingssättet.

Dock, precis som i verkliga livet, spelarna var tvungna att komma åt AI:s råd manuellt, precis som du måste slå på GPS manuellt och var fria att acceptera eller ignorera dess förslag.

Forskarna presenterade också olika versioner av denna AI - vissa var medvetet felaktiga, viss spelinformation som krävs för att matas in manuellt, och vissa motiverade sina förslag med rationella argument.

Alla variationer av dessa AI -behandlingar testades så att interaktionseffekter mellan AI -konfigurationer kunde studeras.

Människor blev inbjudna att spela spelet online och forskare samlade in en profil för varje spelare och övervakade deras beteende.

För varje spelare, forskare frågade om deras bekantskap med spelet samtidigt som de mätte deras sanna kompetens.

Dessutom, ett test gavs halvvägs genom att spela som mätte medvetenheten om spelelement.

"Det som upptäcktes kan störa vissa förespråkare för AI två tredjedelar av mänskliga beslut var oense med AI, oavsett antalet fel i förslagen, "Sa Schaffer.

Ju högre spelaren uppskattade sin bekantskap med spelet i förväg, ju mindre AI användes, en effekt som fortfarande observerades vid kontroll av AI:s noggrannhet. Detta innebär att förbättring av ett systems noggrannhet inte kommer att kunna öka systemadoptionen i denna population.

"Det här kan vara ett ofarligt resultat om dessa spelare verkligen gjorde det bättre men de faktiskt gjorde betydligt sämre än sina ödmjuka kamrater, som rapporterade att de visste mindre om spelet i förväg, "Sa Schaffer." När AI försökte motivera sina förslag till spelare som rapporterade hög insikt i spelet, minskad medvetenhet om spelelement observerades som ett symptom på överförtroende och självbelåtenhet. "

Trots dessa fynd, en motsvarande ökning av överenskommelsen med AI -förslag observerades inte.

Detta presenterar en catch-22 för systemdesigners:inkompetenta användare behöver AI mest av allt, men är minst sannolikt att påverkas av rationella motiveringar, Sa Schaffer.

Inkompetenta användare var också mest benägna att säga att de litade på AI, som studerades genom ett frågeformulär efter spelet.

"Detta står i skarp kontrast till deras observerade försummelse av AI:s förslag, visar att människor inte alltid är ärliga, eller kanske inte alltid är medvetna om sitt eget beteende, "Sa Schaffer.

För Schaffer och teamet, denna forskning belyser pågående frågor om användbarheten av komplexa, ogenomskinliga system som AI, trots fortsatta framsteg i noggrannhet, robusthet och hastighet.

"Rationella argument har visat sig vara ineffektiva för vissa människor, så designers kan behöva vara mer kreativa när det gäller att utforma gränssnitt för dessa system, "Sa Schaffer.

Schaffer sa att detta kan uppnås genom att vädja till känslor eller konkurrenskraft, eller till och med genom att ta bort närvaro från AI, så att användarna inte registrerar dess närvaro och därmed inte förankrar på sina egna förmågor.

"Trots utmaningar i interaktionen mellan människa och dator, AI-liknande system kommer att vara en integrerad del av arméns strategi under de kommande fem åren, "Schaffer sa." En av de principiella utmaningar som militära operationer står inför idag är snabba svar från gerillamotståndare, som ofta har kortare kommandokedjor och därmed kan agera och reagera snabbare än USA:s försvarsmakt. Komplexa system som snabbt kan reagera på en föränderlig miljö och påskynda informationsflödet kan förbättra svarstiderna och hjälpa till att bibehålla op-tempo men bara om användarna får tillräckligt förtroende. "

Forskargruppen fortsätter att experimentera med olika gränssnitt för AI -system så att alla typer av människor kan dra nytta av allt effektivare automatiserad kunskap.

Denna forskning kommer att visas i förhandlingarna vid ACM:s konferens 2019 om intelligenta användargränssnitt (iui.acm.org/2019/).