Våra ögon sviker ofta våra avsikter. Tänk på pokerspelare som gömmer sina "berättelser" bakom solglasögon eller målvakter som övervakar anfallarens blick för att förutsäga var de kommer att skjuta.

I Sport, brädspel, och kortspel, spelare kan se varandra, som skapar ett extra lager av socialt spelande baserat på blick, kroppsspråk och andra ickeverbala signaler.

Digitala spel saknar helt dessa signaler. Även när vi spelar mot andra, det finns få sätt att förmedla implicit information utan ord.

Dock, den senaste tidens ökning av tillgången på kommersiella eyetrackers kan förändra detta. Eye trackers använder en infraröd kamera och infraröda lysdioder för att uppskatta var användaren tittar på skärmen. Nu för tiden, det är möjligt att köpa exakta och robusta eyetrackers för så lite som 125 A$.

Eye tracking för spel

Eye trackers säljs också inbyggda i bärbara datorer och VR-headset, öppnar upp många möjligheter för att införliva eyetracking i videospel. I en nyligen publicerad recensionsartikel, vi erbjöd en katalog över det breda utbudet av spelmekanik som möjliggjorts av eyetracking.

Detta banade väg för oss att undersöka hur sociala signaler som sänds ut av våra ögon kan införlivas i spel mot andra spelare och artificiell intelligens.

För att utforska detta, vi använde den digitala versionen av brädspelet Ticket to Ride. I spelet, spelare måste bygga banor mellan specifika städer på brädet. Dock, eftersom motståndare kan blockera din väg, du måste göra ditt bästa för att hålla dina avsikter dolda.

I en bordsmiljö, om du inte är försiktig, din motståndare kan komma på din plan baserat på hur du ser på tavlan. Till exempel, föreställ dig att ditt mål är att bygga en rutt mellan Santa Fe och Seattle. Vår naturliga tendens är att se fram och tillbaka mellan dessa städer, överväger alternativa vägar och de resurser som du har i korten i dina händer.

I vår senaste tidning, vi upptäckte att när människor kan se var deras motståndare tittar, de kan sluta sig till några av sina mål – men bara om den motståndaren inte vet att deras ögon övervakas. Annat, de börjar använda olika strategier för att försöka lura sin motståndare, inklusive att titta på en lockbetsrutt eller titta över hela brädet.

Kan AI använda denna information?

Vi ville se om ett spel AI kunde använda denna information för att bättre förutsäga andra spelares framtida rörelser, bygger på tidigare modeller för avsiktsigenkänning inom AI.

De flesta spel-AI:er använder spelarens handlingar för att förutsäga vad de kan göra härnäst. Till exempel, i bilden nedan till vänster, Föreställ dig att en spelare gör anspråk på vägar att gå från Sante Fe till någon okänd destination på kartan. AI:s uppgift är att bestämma vilken stad som är destinationen.

När du är i Santa Fe, alla möjliga destinationer är lika troliga. Efter att ha kommit till Denver, det blir mindre troligt att de vill åka till Oklahoma City, eftersom de kunde ha tagit en mycket mer direkt väg. Om de sedan reser från Denver till Helena, då blir Salt Lake City mycket mindre troligt, och Oklahoma City ännu mindre.

I vår modell, vi utökade den här grundmodellen för att också överväga var spelaren letar.

Tanken är enkel:om spelaren tittar på en viss rutt, desto mer sannolikt kommer spelaren att försöka göra anspråk på den vägen. Som ett exempel, överväga den högra sidan av figuren. Efter att ha åkt till Denver, vårt eye-tracking-system vet att spelaren har tittat på rutten mellan Seattle och Helena, samtidigt som du ignorerar andra delar av kartan. Detta säger oss att det är mer troligt att de tar den här vägen och hamnar i Seattle.

Vår AI ökar den relativa sannolikheten för denna åtgärd, samtidigt som de minskar andra. Som sådan, dess förutsägelse är att nästa flytt blir till Helena, snarare än till Salt Lake City. Du kan läsa mer om detaljerna i vår tidning.

Experimenterande

Vi utvärderade hur väl vår AI kunde förutsäga nästa drag i 20 Ticket To Ride-spel för två spelare. Vi mätte träffsäkerheten i våra förutsägelser och hur tidigt i spelet de kunde göras.

Resultaten visar att den grundläggande modellen för avsiktsigenkänning korrekt förutspådde nästa drag 23 % av gångerna. Dock, när vi lade blicken till mixen, noggrannheten mer än fördubblades, ökar till 55 %.

Ytterligare, blickmodellen kunde förutsäga den korrekta destinationsstaden tidigare än grundmodellen, med AI:n som använde blick som kände igen avsikter en och en halv minut tidigare än den utan blick. Dessa resultat visar att användning av blick kan användas för att förutsäga handlingar mycket bättre och snabbare än att bara använda tidigare handlingar.

Nyligen opublicerade resultat visar att blickmodellen fungerar även om personen som observeras vet att den observeras. Vi har upptäckt att de bedrägeristrategier som spelare använder för att göra det svårare för andra spelare att avgöra sina avsikter inte lurar AI:er lika bra som de lurar människor.

Vart ska du härnäst?

Denna idé kan appliceras i andra sammanhang än spel. Till exempel, samverkan mellan robotar och människor i en fabrik.

I dessa scenarier, en persons blick kommer naturligtvis att leda till tidigare och mer exakt förutsägelse av roboten, potentiellt öka säkerheten och leda till bättre samordning.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.