Vad vill vi att förarlösa bilar ska göra vid oundvikliga dödsolyckor?

Idag publicerade forskare ett papper The Moral Machine experiment för att ta itu med denna fråga.

För att skapa data för studien, nästan 40 miljoner människor från 233 länder använde en webbplats för att spela in beslut om vem man ska spara och vem man ska dö i hypotetiska förarlösa bilscenarier. Det är en version av det klassiska så kallade "vagnens dilemma"-där du måste föredra att människor prioriterar i en nödsituation.

Några av de viktigaste resultaten är intuitiva:deltagarna föredrar att rädda människor framför djur, de unga över de gamla, och mer än färre. Andra preferenser är mer oroande:kvinnor framför män, chefer över de hemlösa, passformen över den feta.

Experimentet är utan motstycke i både omfattning och sofistikering:vi har nu en mycket bättre uppfattning om hur människors preferenser i sådana dilemman varierar över hela världen. Författarna, förnuftigt, varna för att ta resultaten som en enkel guide till vad självkörande bilar ska göra.

Men det här är bara det första steget i en debatt som måste vara en kraftig debatt. Och i den debatten, undersökningar som dessa (intressanta som de är) kan bara spela en begränsad roll.

Hur bra är vår första dom?

Maskiner är mycket snabbare än oss; de får inte panik. När de är som bäst, de kan förkroppsligar vår övervägda visdom och tillämpa den effektivt även under ansträngande omständigheter. Att göra det, dock, vi måste börja med bra data.

Klick på frågesporter online är ett bra sätt att ta reda på vad folk tycker innan de bedömer. Men uppenbarligen går vi inte igenom alla fördomar. Författarna utelämnade ras och nationalitet som grund för val, och med rätta.

Bra undersökningsdesign kan inte göras i ett vakuum. Och moraliska preferenser ska inte bara vara smaker. Att räkna ut det moraliskt rätta att göra (tänk på alla moraliskt viktiga val som du har ställts inför), du måste tänka seriöst.

Vi vill basera etisk artificiell intelligens på våra bästa bedömningar, inte nödvändigtvis våra första.

Världen är "chancy"

Studien använde dilemman som involverade två vissa resultat:antingen slår du definitivt barnvagnen eller dödar definitivt hunden.

Men faktiska beslut innebär en betydande osäkerhet:du kan vara osäker på om personen framåt är ett barn eller en liten vuxen, om de skulle döda eller skada dem att slå dem om en höghastighets sväng kan fungera.

Datorer kan göra bättre förutsägelser, men världen är i sig "chancy". Detta är ett stort problem. Endera-eller preferenser i vissa fall går bara så långt i att berätta vad vi ska göra i riskabla.

Antag att ett självkörande fordon måste välja mellan att låta sig krascha och så döda sin äldre passagerare, eller i stället svänga åt sidan och döda ett spädbarn.

Experimentet med moralmaskiner förutspår att människor är på spädbarnets sida. Men det säger inte hur mycket vi föredrar att spara det ena framför det andra. Kanske är det nästan en kastning, och vi lutar oss bara åt att spara barnet. Eller kanske är det mycket viktigare att rädda barnet än att rädda pensionären.

Synpunkter på detta kommer att vara extremt olika, och denna undersökning ger oss ingen vägledning. Men vi vet inte hur vi ska väga, säga, en 10% sannolikhet att döda barnet mot 50% sannolikhet för att döda pensionären, såvida vi inte vet hur mycket viktigare att spara det ena än att spara det andra.

Eftersom bokstavligen alla val som görs av förarlösa bilar kommer att göras under osäkerhet, detta är ett betydande gap.

Vilka undersökningar kan inte berätta för oss

Motivationen för det moraliska maskinexperimentet är förståelig. Ansvaret för att koda nästa generation av etisk artificiell intelligens är skrämmande.

Moralisk oenighet verkar vara utbredd. En undersökning ser ut som ett bra sätt att triangulera åsikter i en hetsig värld.

Men hur vi hanterar moralisk oenighet är inte bara ett vetenskapligt problem. Det är också moraliskt. Och, sedan de gamla grekernas tid, lösningen på det moraliska problemet är inte aggregerande preferenser, men demokratiskt deltagande.

Utan tvekan är demokratin i kris, åtminstone i delar av den rika världen. Men det är fortfarande vårt viktigaste verktyg för att fatta beslut i närvaro av oundviklig oenighet.

Demokratiskt beslutsfattande kan inte reduceras till att kryssa. Det handlar om att ta din röst på allvar, inte bara klicka på en ruta på en webbplats. Det innebär deltagande, debatt, och ömsesidig motivering.

Undersökningar som denna kan inte berätta varför människor föredrar de alternativ de gör. Det faktum att en självkörande bils beslut korrelerar med andras åsikter gör inte, på egen hand, motivera det valet (tänk dig en mänsklig förare som motiverar sina handlingar i en olycka på samma sätt).

Ömsesidig motivering är hjärtat i det demokratiska medborgarskapet. Och det förutsätter att vi inte bara engagerar oss i vad våra val är, men varför vi gör dem.

Bestämmer tillsammans

Studier som detta är i sig intressanta, och författarna till den här är beundransvärt tydliga om vad det är, och vad det inte är avsett att visa.

För att bygga på dessa grunder måste vi reflektera mycket mer över hur vi väger våra moraliska åtaganden under osäkerhet.

Och vi måste göra det som en del av en inkluderande demokratisk process där vi inte bara sammanställer människors preferenser, men ta på allvar uppgiften att bestämma, tillsammans, vår artificiella intelligens framtid.

Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.