Den amerikanska armén meddelade nyligen att den utvecklar de första drönarna som kan upptäcka och rikta in sig på fordon och människor som använder artificiell intelligens (AI). Det här är ett stort steg framåt. Medan nuvarande militära drönare fortfarande kontrolleras av människor, denna nya teknik kommer att avgöra vem som ska dödas, nästan utan mänsklig inblandning.

När det är klart, dessa drönare kommer att representera den ultimata militariseringen av AI och utlösa enorma juridiska och etiska konsekvenser för samhället i stort. Det finns en chans att krigföring kommer att gå från strid till utrotning, förlorar varje sken av mänsklighet i processen. På samma gång, det skulle kunna vidga krigföringens sfär så att företagen, ingenjörer och forskare som bygger AI blir giltiga militära mål.

Befintliga dödliga militära drönare som MQ-9 Reaper kontrolleras noggrant och styrs via satellit. Om en pilot tappar en bomb eller skjuter en missil, en mänsklig sensoroperatör guidar den aktivt till det valda målet med hjälp av en laser.

I sista hand, besättningen har den sista etiska, juridiskt och operativt ansvar för att döda utpekade mänskliga mål. Som en Reaper -operatör säger:"Jag är mycket övertygad om att jag skulle tillåta en uppror, hur viktigt som helst mål, att komma undan istället för att ta ett riskfyllt skott som kan döda civila."

Även med dessa drönarmord, mänskliga känslor, bedömningar och etik har alltid stått i centrum för kriget. Förekomsten av psykiska trauman och posttraumatisk stressyndrom (PTSD) bland drönaroperatörer visar den psykologiska effekten av fjärrdödande.

Och detta pekar faktiskt på ett möjligt militärt och etiskt argument av Ronald Arkin, till stöd för autonoma dödande drönare. Kanske om dessa drönare släpper bomberna, psykologiska problem bland besättningsmedlemmar kan undvikas. Svagheten i detta argument är att du inte behöver vara ansvarig för att döda för att bli traumatiserad av det. Underrättelsespecialister och annan militär personal analyserar regelbundet grafiska bilder från drönarangrepp. Forskning visar att det är möjligt att drabbas av psykisk skada genom att ofta titta på bilder av extremt våld.

När jag intervjuade över 100 Reaper-besättningsmedlemmar för en kommande bok, varje person jag pratade med som utförde dödliga drönareanfall trodde att i sista hand, det borde vara en människa som trycker på den sista avtryckaren. Ta ut människan och du tar också ut mänskligheten i beslutet att döda.

Allvarliga konsekvenser

Utsikten till helt autonoma drönare skulle radikalt förändra de komplexa processerna och besluten bakom militära mord. Men det juridiska och etiska ansvaret försvinner inte på något sätt bara om du tar bort mänsklig tillsyn. Istället, Ansvaret kommer alltmer att falla på andra människor, inklusive forskare inom artificiell intelligens.

De rättsliga konsekvenserna av denna utveckling har redan blivit uppenbara. Enligt gällande internationell humanitär rätt, "dubbelanvändnings" -anläggningar-de som utvecklar produkter för både civila och militära tillämpningar-kan attackeras under rätt omständigheter. Till exempel, i Kosovokriget 1999, oljeraffinaderiet Pancevo attackerades eftersom det kunde driva såväl jugoslaviska tankar som civila bilar.

Med ett autonomt drönarvapensystem, vissa rader med datorkod skulle nästan säkert klassas som dubbel användning. Företag som Google, dess anställda eller dess system, kan bli utsatt för attack från en fiendestat. Till exempel, om Googles Project Maven -bildigenkänning AI -programvara ingår i en amerikansk militär autonom drönare, Google kan befinna sig inblandad i drönaren "döda" affärer, som alla andra civila bidragsgivare till sådana dödliga autonoma system.

Etiskt sett, det finns ännu mörkare problem. Hela poängen med de självlärande algoritmerna – program som självständigt lär sig av vilken data de kan samla in – som tekniken använder är att de blir bättre på vilken uppgift de än får. Om en dödlig autonom drönare ska bli bättre på sitt jobb genom självlärande, någon måste besluta om ett acceptabelt utvecklingsstadium - hur mycket det fortfarande har att lära sig - på vilket det kan distribueras. I militariserad maskininlärning, det betyder politisk, Militär- och industriledare måste specificera hur många civila dödsfall som kommer att räknas som acceptabelt när tekniken förfinas.

De senaste erfarenheterna av autonom AI i samhället bör fungera som en varning. Ubers ödesdigra experiment med en självkörande Tesla garanterar ganska mycket att det kommer att bli oavsiktliga autonoma drönadöd när datorbuggar stryks.

Om maskiner lämnas att avgöra vem som dör, speciellt i stor skala, då är det vi bevittnar utrotning. Varje regering eller militär som släppte lös sådana styrkor skulle bryta mot de värderingar som den påstod sig försvara. I jämförelse, en drönarpilot som brottas med ett "döda eller inte döda"-beslut blir det sista spåret av mänskligheten i krigets ofta omänskliga verksamhet.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.