Säg att 100 personer bor nära en sjö. Om minst 10 av dem överfiskar i år, hela fiskpopulationen kommer att dö ut. Var och en antar att minst 10 andra kommer att överfiska, och det kommer inte finnas något kvar att fiska under de kommande åren.

Eftersom fisken ändå är borta, de bestämmer sig alla för att de lika gärna kan överfiska. Alla fiskar dör. Förtjänar alla människor skulden?

Det beror på om de kunde ha samordnat med varandra för att ändra resultatet och kostnaden för att göra det, enligt ny forskning av Joseph Halpern, Joseph C. Ford professor i teknik, och Meir Friedenberg, doktorand i datavetenskap. Bygger på Halperns grundläggande arbete om kausalitet, de utvecklade en matematisk modell för att beräkna klandervärdigheten på en skala från noll till ett.

Forskningen – som ligger i skärningspunkten mellan datavetenskap, filosofi och kognitiv psykologi – potentiellt skulle kunna användas för att styra beteendet hos artificiellt intelligenta agenter, som förarlösa fordon, att hjälpa dem att bete sig på ett "moraliskt" sätt.

"En av de saker vi verkligen ville göra är att ge ett ramverk som tillåter oss att tillämpa den här typen av juridiska och filosofiska föreställningar på autonoma system, sa Friedenberg, första författare till "Klandervärdighet i multiagentinställningar, " som presenterades vid 2019 AAAI-konferensen om artificiell intelligens i februari. "Vi tror att det kommer att vara viktigt om vi effektivt ska integrera autonoma system i samhället."

I tidigare arbeten, Halpern och kollegor definierade individers klandervärdighet ungefär som i vilken utsträckning de tror att deras handlingar kan förändra en händelses utfall. Till exempel, om du röstade mot en kandidat som du trodde skulle förlora med en enda röst, din klandervärdighet skulle vara en, maximalt; men om du trodde att kandidaten skulle förlora med tusentals röster, din klandervärdighet skulle vara mycket lägre.

I den senaste tidningen, Friedenberg och Halpern gav först en definition av en grupps klandervärdighet – i huvudsak, ett mått på i vilken grad gruppen hade kunnat samordna sig för att få till ett annat resultat. De skapade sedan en modell för att fördela gruppens klandervärdighet till enskilda medlemmar.

"Om du tittar på gruppen av fiskare, som grupp är de ansvariga – uppenbarligen, om de inte fiskade alla skulle det finnas gott om nästa år, Halpern sa. "I vilken utsträckning fiskarna är ansvariga är i vilken utsträckning de skulle kunna samordna sig för att få till ett annat resultat."

Forskarna fångade detta genom att mäta gruppmedlemmarnas förmåga att arbeta tillsammans för att förändra resultatet, med hänsyn till kostnaderna för att göra det. Kostnaden är en kritisk faktor för klandervärdighet:Någon som välter en dyr vas när han springer från ett lejon är mindre klandervärd än någon som helt enkelt inte är uppmärksam. Om din röst svänger ett val, du är mindre klandervärd om någon hotar att döda dig om du inte röstar på ett visst sätt.

I framtida arbete, Halpern sa att han hoppas kunna testa modellen genom att fråga folk, via crowdsourcing, att tillskriva klandervärdighet i olika scenarier, och jämföra deras åsikter med de numeriska resultaten.

När det kommer till autonoma bilar, utvecklare eller beslutsfattare kan överväga sina egna definitioner av kostnad när de skapar sina algoritmer, sa Halpern. Till exempel, om en regering beslutar att ingen risknivå är acceptabel, en bil skulle vara designad för att aldrig passera en annan bil, eftersom det kan öka risken för en olycka.

Även om det kan vara svårt att avgöra hur maskininlärningsalgoritmer fattar beslut, det kan vara möjligt att utveckla mer transparenta algoritmer som skulle möjliggöra en enklare bedömning av klandervärdigheten.

"Fördelen med vårt ramverk är att det ger dig ett formellt sätt att tänka på dessa saker och modellera dem, och det tvingar dig att vara tydlig om dina antaganden och hur du definierar kostnaderna, ", sa Halpern. "Vår definition försöker vara kvantitativ, för att gilla det eller klumpa ihop det måste du göra avvägningar, och den här definitionen tvingar dig att tänka på det. Det är ett verktyg för att hjälpa människor att tänka på avvägningarna utan att tala om för dem vad avvägningarna ska vara."