Avancerad teknik ger fördelar varje dag. Men, ibland kan interaktioner med teknik gå snett och leda till katastrof.

Den 10 mars, piloterna ombord på Ethiopian Airlines Flight 302 kunde inte korrigera ett fel i ett av Boeing 737 Max 8:s automatiserade system, resulterade i en krasch och döda alla passagerare och besättning. Ett år tidigare, nästan till dagen, ett annat automatiserat fordon – inte ett flygplan utan en Uber självkörande bil – slog till och dödade Elaine Herzberg i Tempe, Arizona.

Som experter på hur människor och teknik interagerar, vi vet att det är omöjligt att helt eliminera risker i komplexa tekniska system. Dessa tragedier är resultatet av att tillsynsmyndigheter och branschexperter förbiser komplexiteten och riskerna med interaktioner mellan teknik och människor och i allt högre grad förlitar sig på företags frivilliga självbedömning, snarare än objektiv, oberoende tester. Tragiskt nog, det verkar ha hänt med Boeings flygplan och Uber-bilen.

Riskabla affärer

Ethiopian Airlines flyg 302 kraschade, såväl som Lion Air Flight 610 2018, hände trots tillsyn från en av de mest tekniskt kapabla tillsynsmyndigheterna i världen. Flygresor är anmärkningsvärt säkra i ljuset av de potentiella riskerna.

Innan 737 Max 8 togs i luften, den var tvungen att klara en serie inspektioner av Federal Aviation Administration. Under processens gång, Boeing övertygade FAA om att det automatiserade systemet var säkrare än det faktiskt var, och att piloter skulle behöva väldigt lite träning på det nya planet.

FAA godkände 737 Max 8 och dess flygkontrollsystem för att flyga – och behöll detta tillstånd inte bara efter Lion Air-kraschen, men också i tre dagar efter Ethiopian Airlines-tragedin.

Från flygplan till bilar

I takt med att flygplansautomatiseringen ökar, detsamma gäller för bilar. Olika företag testar autonoma fordon på vägar runt om i landet – och med mycket mindre tillsyn än flygindustrin. Lokala och federala regler är begränsade, ofta i namn av att främja innovation. Federala säkerhetsriktlinjer för autonoma fordon kräver att de endast klarar samma prestandatester som alla andra bilar, som lägsta bränsleekonomistandarder, säkerhetsbälteskonfigurationer och hur väl de kommer att skydda passagerare vid en vältningskrock.

Det finns ingen tillförlitlighetstestning av deras sensorer, mycket mindre deras algoritmer. Vissa stater kräver att företag rapporterar "avbrott" - när den så kallade "säkerhetsföraren" återtar kontrollen över det automatiserade systemet. Men mestadels får de självkörande bilföretagen göra vad de vill, så länge det finns en person bakom ratten.

Under månaderna före kollisionen i mars 2018, Uber var under press att komma ikapp GM Cruise och Waymo. Ubers bilar hade ett känsligt objektigenkänningssystem, som ibland skulle luras av en skugga på vägen och bromsa för att undvika ett hinder som faktiskt inte fanns. Det resulterade i en tuff, stopp-och-start-tur. För att jämna ut saker, Ubers ingenjörer inaktiverade bilens nödbromssystem. Företaget tycks ha antagit att den enskilde säkerhetsföraren alltid skulle kunna stoppa bilen i tid om det verkligen fanns en risk att träffa något.

Det var inte vad som hände när Elaine Herzberg korsade vägen. Ubers självkörande bil som träffade och dödade henne såg henne med sina sensorer och kameror, men kunde inte sluta på egen hand. Säkerhetsföraren verkar ha blivit distraherad av sin telefon – i strid med Ubers policyer, även om det är oklart hur företaget informerade sina säkerhetsförare om förändringen av det automatiserade systemet.

Polisar sig själva

Tillsynsmyndigheter förlitar sig på rutiner för självutvärdering av säkerheten, varigenom privata företag garanterar att deras egna produkter överensstämmer med federala standarder. De bästa garantierna de – och allmänheten – har för dessa fordons säkerhet och tillförlitlighet är garantierna från företagen som avser att sälja dem.

Vilka rapporter företag tillhandahåller kan vara snåla på hårda bevis, nämner antalet riktiga och simulerade körda mil, utan detaljer om hur bilarna presterar under olika förhållanden. Och bilföretag släpper ständigt nya modeller och uppgraderar sin mjukvara, tvingar mänskliga förare att lära sig om de nya funktionerna.

Detta är desto mer irriterande eftersom det finns mycket fler bilar på vägarna än det finns flygplan i luften – 270 miljoner bilar registrerade bara i USA, jämfört med 25, 000 kommersiella flygplan över hela världen. Dessutom, självkörande bilar måste hantera inte bara väderförhållanden utan även interaktioner på nära håll med andra bilar, fotgängare, cyklister och e-skotrar. Säkerhetsförare får inte i närheten av den mängd utbildning som piloter gör, antingen.

Arizona, där vi är baserade, är en populär plats för offentliga tester av autonoma fordon, delvis på grund av lösare tillsyn än i andra stater. I Phoenix-området, dock, det finns en växande allmänhetens oro för säkerheten. Vissa medborgare trakasserar autonoma fordon i försök att avskräcka dem från att köra genom sina grannskap. Som en invånare i Arizona sa till The New York Times, den autonoma fordonsindustrin "sa att de behöver exempel från verkliga världen, men jag vill inte vara deras verkliga misstag."

Att få kontakt med allmänheten, innovativa ansvarsfullt

I avsaknad av federala säkerhetsstandarder för autonoma fordon, stater och lokala myndigheter lämnas för att skydda allmänheten – ofta utan expertis och resurser för att göra det effektivt. Enligt vår uppfattning, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.