Hur ska intelligenta maskiner utformas så att de "förtjänar" människors förtroende? Nya modeller informerar dessa konstruktioner. Kredit:Purdue University foto/Marshall Farthing
Nya "klassificeringsmodeller" känner av hur väl människor litar på intelligenta maskiner de samarbetar med, ett steg mot att förbättra kvaliteten på interaktioner och lagarbete.
Det långsiktiga målet för det övergripande forskningsfältet är att designa intelligenta maskiner som kan ändra sitt beteende för att öka mänsklig tillit till dem. De nya modellerna har utvecklats i forskning ledd av biträdande professor Neera Jain och docent Tahira Reid, vid Purdue Universitys School of Mechanical Engineering.
"Intelligenta maskiner, och mer allmänt, intelligenta system blir allt vanligare i människors vardag, ", sa Jain. "I takt med att människor i allt högre grad måste interagera med intelligenta system, förtroende blir en viktig faktor för synergistiska interaktioner."
Till exempel, flygplanspiloter och industriarbetare interagerar rutinmässigt med automatiserade system. Människor kommer ibland att åsidosätta dessa intelligenta maskiner i onödan om de tror att systemet vacklar.
"Det är väl etablerat att mänskligt förtroende är centralt för framgångsrika interaktioner mellan människor och maskiner, sa Reid.
Forskarna har utvecklat två typer av "klassificerarebaserade empiriska förtroendesensormodeller, "ett steg mot att förbättra förtroendet mellan människor och intelligenta maskiner.
Verket är i linje med Purdues Giant Leaps-firande, erkänner universitetets globala framsteg inom AI, algoritmer och automatisering som en del av Purdues 150-årsjubileum. Detta är ett av de fyra teman för det årlånga firandets Idéfestival, designad för att visa upp Purdue som ett intellektuellt centrum som löser verkliga problem.
Modellerna använder två tekniker som tillhandahåller data för att mäta förtroende:elektroencefalografi och galvanisk hudrespons. Den första registrerar hjärnvågsmönster, och den andra övervakar förändringar i hudens elektriska egenskaper, tillhandahålla psykofysiologiska "funktionsuppsättningar" korrelerade med tillit.
Fyrtiofem mänskliga försökspersoner tog på sig trådlösa EEG-headset och bar en enhet på ena handen för att mäta galvanisk hudrespons.
En av de nya modellerna, en "generell förtroendesensormodell, " använder samma uppsättning psykofysiologiska egenskaper för alla 45 deltagare. Den andra modellen är anpassad för varje människa, vilket resulterar i förbättrad medelnoggrannhet men på bekostnad av en ökning av träningstiden. De två modellerna hade en genomsnittlig noggrannhet på 71,22 procent, och 78,55 procent, respektive.
Det är första gången EEG-mätningar har använts för att mäta förtroende i realtid, eller utan dröjsmål.
"Vi använder dessa data på ett mycket nytt sätt, "Sade Jain. "Vi tittar på det som en slags kontinuerlig ström i motsats till att titta på hjärnvågor efter en specifik trigger eller händelse."
Resultaten beskrivs i ett forskningsdokument som visas i ett specialnummer av Association for Computing Machinery's Transactions on Interactive Intelligent Systems. Tidskriftens specialnummer har titeln "Trust and Influence in Intelligent Human-Machine Interaction." Uppsatsen skrevs av den mekaniska ingenjörsstudenten Kumar Akash; tidigare doktorand Wan-Lin Hu, som nu är postdoktor vid Stanford University; Jain och Reid.
"Vi är intresserade av att använda feedback-kontrollprinciper för att designa maskiner som är kapabla att reagera på förändringar i mänskligt förtroende i realtid för att bygga upp och hantera förtroende i relationen människa-maskin, " sa Jain. "För att göra detta, vi behöver en sensor för att uppskatta nivån på mänskligt förtroende, igen i realtid. Resultaten som presenteras i detta dokument visar att psykofysiologiska mätningar kan användas för att göra detta."
Frågan om mänskligt förtroende för maskiner är viktig för en effektiv drift av "mänsklig-agent-kollektiv".
"Framtiden kommer att byggas kring mänskliga agent-kollektiv som kommer att kräva effektiv och framgångsrik samordning och samarbete mellan människor och maskiner, " Sa Jain. "Säg att det finns en svärm av robotar som hjälper ett räddningsteam under en naturkatastrof. I vårt arbete har vi bara att göra med en människa och en maskin, men i slutändan hoppas vi kunna skala upp till team av människor och maskiner."
Algoritmer har införts för att automatisera olika processer.
"Men vi har fortfarande människor där som övervakar vad som händer, " sa Jain. "Det finns vanligtvis en åsidosättande funktion, där om de tror att något inte står rätt till kan de ta tillbaka kontrollen."
Ibland är denna åtgärd inte motiverad.
"Du har situationer där människor kanske inte förstår vad som händer så de litar inte på att systemet gör rätt sak, " sa Reid. "Så de tar tillbaka kontrollen även när de egentligen inte borde."
I vissa fall, till exempel i fallet med piloter som åsidosätter autopiloten, att ta tillbaka kontrollen kan faktiskt hindra säker drift av flygplanet, orsakar olyckor.
"Ett första steg mot att designa intelligenta maskiner som kan bygga och upprätthålla förtroende med människor är designen av en sensor som gör det möjligt för maskiner att uppskatta nivån av mänskligt förtroende i realtid, " sa Jain.
För att validera deras metod, 581 onlinedeltagare ombads att köra en körsimulering där en dator identifierade väghinder. I vissa scenarier, datorn identifierade hinder 100 procent av tiden, medan datorn i andra scenarier felaktigt identifierade hindren 50 procent av gångerna.
"Så, i vissa fall skulle det säga att det finns ett hinder, så du bromsar och undviker en olycka, men i andra fall skulle det felaktigt berätta för dig att ett hinder finns när det inte fanns något, så du slår pauserna utan anledning, sa Reid.
Testet gjorde det möjligt för forskarna att identifiera psykofysiologiska egenskaper som är kopplade till mänsklig tillit till intelligenta system, och att bygga en modell för förtroendesensorer i enlighet därmed. "Vi antog att förtroendenivån skulle vara hög i tillförlitliga försök och låg i felaktiga försök, och vi validerade denna hypotes med hjälp av svar som samlats in från 581 onlinedeltagare, " Hon sa.
Resultaten validerade att metoden effektivt inducerade tillit och misstro mot den intelligenta maskinen.
"För att uppskatta förtroende i realtid, vi kräver förmågan att kontinuerligt extrahera och utvärdera viktiga psykofysiologiska mätningar, " Sa Jain. "Detta arbete representerar den första användningen av psykofysiologiska mätningar i realtid för utvecklingen av en mänsklig tillitssensor."
EEG-headsetet spelar in signaler över nio kanaler, varje kanal tar upp olika delar av hjärnan.
"Allas hjärnvågor är olika, så du måste se till att du bygger en klassificerare som fungerar för alla människor."
För autonoma system, mänskligt förtroende kan delas in i tre kategorier:dispositionell, situationsanpassad, och lärde sig.
Dispositionell tillit avser den del av tillit som är beroende av demografi som kön och kultur, som bär potentiella fördomar.
"Vi vet att det förmodligen finns nyanserade skillnader som bör beaktas, " sa Reid. "Kvinnor litar annorlunda än män, till exempel, och förtroende kan också påverkas av skillnader i ålder och nationalitet."
Situationsförtroende kan påverkas av en uppgifts risknivå eller svårighetsgrad, medan lärd är baserad på människans tidigare erfarenheter av autonoma system.
Modellerna de utvecklat kallas klassificeringsalgoritmer.
"Tanken är att kunna använda dessa modeller för att klassificera när någon sannolikt känner förtroende kontra sannolikt känner sig misstroende, " Hon sa.
Jain och Reid har också undersökt dispositionellt förtroende för att ta hänsyn till kön och kulturella skillnader, samt dynamiska modeller som kan förutsäga hur förtroende kommer att förändras i framtiden baserat på data.