Den dödliga kraschen med en autonom bil som drivs av Uber i USA var en tragisk men läglig påminnelse om farorna med företag som skyndade sig för att implementera artificiell intelligens för att vara först på marknaden.

Vid kraschen, föraren som borde ha varit redo att reagera i just en sådan händelse som den här tittade ner. Bilen själv hade tydligen misslyckats helt med att se fotgängaren och bromsade inte eller försökte undvika att träffa henne.

Verkliga tester, och risker

På nytt, vi ser en teknik som huvudsakligen testas för att fungera under normala förhållanden så att den kan lanseras på marknaden och inte nödvändigtvis byggas med säkerhet som huvudfokus. Som den tidigare utvecklaren av Ubers maskininlärning och AI -plattform har sagt, bilföretag bör träna sina bilar i simulerade miljöer som kan programmeras för att utbilda dem i hur man upptäcker och undviker alla möjliga möjligheter till slumpmässiga händelser som bilen kan stöta på på vägen.

Maskininlärning lider av ett grundläggande problem genom att dess förmåga att utföra en uppgift beror på data som används för att träna den. Vilken exakt algoritm den slutar använda för att uppfylla sitt slutliga syfte och vilka funktioner som är de viktigaste är i stort sett okänd. Med djup inlärning, de flera lager som utgör det övergripande neurala nätverket för maskininlärningsprogramvara gör denna process ännu mer mystisk och okänd.

Vi vet att maskininlärningsprogramvara tar upp fördomar i data som används för att testa den. Programvara som används för att beräkna risken för att en gärningsman begår ett framtida brott och som används ofta av domstolar i USA har visat sig systematiskt beräkna en betydligt lägre risk för vita gärningsmän än färgade. Andra forskare har visat att maskininlärningsalgoritmer lär sig könsfördomar som är inneboende i de texter som används för att träna dem.

Farorna med att nu veta hur saker fungerar har tydligt visats av Facebooks senaste erkännande att det verkligen inte visste vad folk gjorde med data från miljontals användare som Facebook hade uppmuntrat dem att ta. Med hjälp av sin plattform för spridning av riktade falska nyheter under det amerikanska presidentvalet, Facebook erkände återigen att det inte hade insett att utländska regeringar skulle utnyttja denna naivitet för att undergräva demokratin.

Mer än bara Facebook

Det vore fel att peka ut Facebook för att vara det enda företaget som inte visste att deras programvara skulle kunna utnyttjas för att skada individer och samhälle. "Rätten att bli glömd" ändringar av dataskyddslagstiftningen och som antagits av Europeiska unionen formulerades specifikt för att hantera Googles ovilja att åtgärda biverkningar av sin sökning på enskilda personers integritet. Lagstiftning i många länder för att göra rapportering av dataintrång obligatorisk har varit nödvändig eftersom företag inte var villiga att ta cybersäkerhet, och skyddet av deras användares uppgifter, allvarligt.

Med tanke på det förflutna, det finns ingen anledning att tro att företag som implementerar system baserade på AI tänker på säkerhet och integritet genom design. Tvärtom, maskininlärning behöver data, massor av det, och så förvärvar företag enorma datalager med detaljerad information för att utnyttja den genom algoritmer. Även om man kan hävda att hanteras ansvarsfullt, stora mängder data kommer att vara ovärderliga för forskning, särskilt i hälsofrågor, riskerna med att samla in, lagra och använda den informationen, särskilt i kommersiella miljöer är mycket höga.

Franska regeringens rapport

I Frankrike, Cédric Villani - fältprisvinnande matematiker och medlem i nationalförsamlingen - har levererat sin slutrapport med en nationell strategi för studier och utnyttjande av artificiell intelligens. Rekommendationerna täcker många av de potentiella frågorna som kan uppstå genom att försöka balansera kraven på forskning, innovation och kommersialisering av AI. De inser också behovet av att värna om samhället och individers integritet och säkerhet och föreslår en aktiv roll för regeringen för att se till att AI används på ett sätt som gynnar samhället och respekterar mänskliga rättigheter och värderingar.

Dock, inget av detta blir lätt. Det har redan påståtts att Europas allmänna dataskyddsförordning (GDPR) träder i kraft den 25 maj, kommer att sätta EU:s "företag i konkurrensnackdel jämfört med sina konkurrenter i Nordamerika och Asien."

Man måste hoppas att tragedier som den 49-åriga Elaine Herzbergs död, körs av en självkörande Uber-bil, och den utbredda upprörelsen över Facebooks bortse från sina användares personuppgifter kommer att påminna människor om att det finns en fördel med uppmätta tekniska framsteg och inte dagens mantra om teknisk utveckling till varje pris.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln. Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.