Föreställ dig att en toppmodern förarlös bil glider längs en väg med en handikappad 90-årig passagerare. En ung mamma med ett litet barn kliver in på vägen. Bilen måste fatta ett beslut:kör in i mamman och barnet och döda dem, eller karriär in i en vägg och döda passageraren.

Detta är en variant av vagnproblemet, som dominerar det akademiska och folkliga tänkandet om etiken kring förarlösa bilar. Problemet är att sådana debatter inte bara avfärdar komplexiteten i systemet där förarlösa bilar kommer att existera, men är verkligen moraliska röda sillar. De verkliga etiska frågorna ligger i politiken och maktproblemen med förarlösa bilar.

Regeringar över hela världen är djupt intresserade av förarlösa bilar. Den tyska regeringen har tagit fram etiska riktlinjer för förarlösa bilar. Den brittiska regeringen har lovat förarlösa bilar på vägen till 2021, och den ryska regeringen i slutet av 2018. Kina har ambitiösa planer på att koppla förarlösa bilar till internet och installera sensorer i vägar och trafikljus till 2025.

Mest avslöjande är hur förarlösa bilar finns med i EU:s vitbok om Europas framtid 2025, publicerade i mars 2017. De utgör en talande del av en ögonblicksbild av hur Europa kan se ut i en framtid där EU-länder i praktiken har gått med och blivit en federal superstat. I detta scenario, vitboken säger, förarlösa bilar kommer att blomstra, fladdra obehindrat över gränserna från stad till stad.

Det finns en anledning till varför regeringar är så angelägna om förarlösa bilar – och det är inte bara på grund av de potentiella ekonomiska fördelarna. De ger möjlighet till ännu bättre spårning och till och med kontroll över medborgarnas varje rörelse. Långt ifrån att befria oss, förarlösa bilar hotar att bidra till att möjliggöra nya former av övervakning och förtryck.

En förarlös bil är en dator på hjul, den ultimata internetanslutna mobila enheten. fylld av sensorer, det ger ett konstant tvåvägsflöde av information. Bilen skickar information om dess prestanda till tillverkaren. Den tar emot programuppdateringar, styrsignaler om justeringar av dess beteende. Tillverkaren vet var bilen är, vilka väglag och temperatur är och hur fordonet presterar i en viss hastighet.

Bilens försäkringsgivare kan få minut för minut information om bilens tillstånd, plats, hastighet och tillståndet på vägen den är på, och kan variera försäkringen därefter. Den kunde till och med ge tio minuters varning om förlust av skydd och stoppa bilen.

Under tiden, statliga databaser kommer sannolikt också att veta var bilen är, om det är tänkt att vara där och vart det är på väg. Och även, med hjälp av prediktiv analys, vart den ska gå för sin nästa resa. Smarta motorvägar kommer att hantera trafikflöden, bromsa förarlösa bilar som en del av en kommunikationsström mellan bilen och vägen. I smarta städer, trafikljus kommer att leda om bilar till omvägar enligt beräkningar och förutsägelser om trafikstockningar, vägarbeten, eller statliga krav.

Marknader för snabba rutter genom städer och till centrala destinationer kan skapas. Företag kan betala för anställda att använda prioriterade virtuella rutter. Reseloggar kan göra det ganska tydligt vart du har åkt och när. Skälen till din resa kan härledas förutsägbart från landskapet, från destinationer och från timing.

Slut på autonomi

I mer än 130 år, bilar har representerat det ultimata inom autonomi, individualitet och demokratisk frihet. Våra bilresor är privata och anonyma. Vi kan gå vart vi vill och när vi vill. Vi behöver inte berätta för någon. Och vi behåller ansvaret för om vi följer lagen. Förarlösa bilar kommer att få ett slut på det.

Nu tillverkare, regeringar och stadsmyndigheter kommer att veta vart vi är på väg, vad vi gör och när. Om någon inte gillar det vi gör, de kommer att kunna stoppa oss, dra tillbaka tekniskt skydd och olycksskydd, stoppa oss att använda särskilda vägar eller gator, eller bara stänga av oss. Det kommer inte att vara bilen som är autonom utan myndigheterna och systemen som kör och underhåller den bilen, som ritar och skickar information till och från bilen.

Förarlösa bilar kommer att förebåda en ny tid av medborgarkontroll. I retoriken om att göra oss säkrare och minska riskerna, makt kommer att tas bort och levereras till centrala myndigheter – oavsett om de är städer, regeringar eller kommissioner. För att göra oss säkra, regeringar kommer att lämna oss maktlösa.

Nu kan kontrollerna helt enkelt ändra vår rutt för sina egna syften, om man ska förhindra trafikstockningar eller att rensa en väg för en dignitär. Nu kan de skicka oss till särskilda butiker, eller direkt till en polisstation. Nu kan kontrollanterna hantera populationer av bilar för att uppfylla rådets eller regeringens syften.

I en demokratisk stat, det växande flödet av personlig information mot centraliserade myndigheter kommer att utgöra grunden för regleringen och tillämpningen. Dess nya förvaltade medborgare kommer att vara målet för beteendemässiga knuffar och reklam som flödar in i den förarlösa bilen. I den diktatoriska staten, myndigheterna kan stoppa dig att gå till en demonstration, eller sluta gå till kyrkan.

Och sådana centralt hanterade system, som kommer att vara avgörande för säkerheten för förarlösa bilar, är inte bara öppna för de oundvikliga tekniska felen i komplexa system, men också till hackning och attacker från andra stater och individer. Varför hacka sig in i en bil, när du kan hacka dig in i ett helt stadssystem och få trafiken att stanna, eller krasch 30, 000 bilar i varandra?

När vi reflekterar över etiken i förarlösa bilar måste vi gå bortom begränsningarna för vagnar och spakar till en bredare agenda som tar upp koncepten om autonomi, gemenskap, genomskinlighet, identitet, värde och empati. Vår etiska debatt måste ta itu med maktskiften, det politiska ansvaret och de mänskliga rättigheter som vår vision om förarlösa bilar kan kräva för att offras.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.