Nästan alla känner till historien om HAL 9000, den mördande superdatorn i Stanley Kubricks landmärkesfilm 2001:En rymdodyssey , vars 50-årsjubileum kommer att firas den 12 maj, 2018 vid den 71:e filmfestivalen i Cannes. I en spännande schemaläggning tillfällighet, IBM, Kubricks partner under inspelningen av En rymdodyssé , och Airbus har just avslöjat projektet CIMON (Crew Interactive Mobile Companion), en "intelligent, mobilt och interaktivt astronautassistanssystem" som kommer att ansluta sig till den internationella rymdstationen.

Dessa två händelser driver oss in i en debatt om de risker som skapas av utvecklingen av superintelligens som skulle kunna eliminera jobb i stor skala eller, ännu värre, torka den mänskliga arten från planetens yta - och ställ frågan om hur man bedömer ett sådant hot.

Hittills, vi har ingen erfarenhet av olyckor eller katastrofer på grund av felaktig eller skadlig AI. Dock, konstnärernas och forskarnas fantasi är en skattkammare av material som berättar historien om superintelligens befriad från någon mänsklig kontroll.

En berättelse om AI som går fel

2001:A Space Odyssey är en föregångare till samtida kontroverser. Den berättar historien om kampen och den slutliga erövringen av en människa, den enda överlevande av ett metodiskt utrotningsprogram ledd av en kännande superdator.

Ombord på rymdskeppet Discovery One , endast superdatorn HAL 9000 har informerats av dess skapare om syftet med uppdraget:att nå Jupiter och söka efter tecken på utomjordisk intelligens. Även om det anses vara ofelbart, HAL gör ett fel. Maskinen vägrar att erkänna detta, och, fångad, den hävdar att misstaget beror på "mänskligt fel". I princip är människorna datorns formgivare men, om man ska tro det, kan det faktiskt vara själva datorn? Genom att anta detta resonemang, maskinen ger sig själv en status som besättningsmedlemmarna inte kunde föreställa sig – att leva, kännande och tänkande varelse.

För besättningen, HAL:s fel är oacceptabelt. Det finns inget utrymme för förlåtelse eller välgörenhet:fel kan vara mänskligt, men det är inte maskin. Det finns inget överklagande:HAL måste tas ur drift. Superdatorn, allestädes närvarande och allvetande, upptäcker omedelbart projektet utformat för att avsluta sitt liv. För att överleva och slutföra sitt uppdrag, den bestämmer sig för att eliminera besättningen. Endast en människa överlever, Astronaut David Bowman, och han fortsätter, med ännu mer beslutsamhet, det digitala morduppdraget.

Bowman lyckas penetrera kärnan av enheten och sedan mekaniskt, känslolöst och nästan ceremoniellt kopplar bort, en och en, maskinens minneskretsar från deras hölje. Som ett barn fångat med handen i kakburken, datorn försöker, genom att prata om sig själv, att spåra ur lobotomi. I ett sista försök, den sjunger en sång den lärde sig under sina första timmar av "livet", men ingenting fungerar, och slutligen tonar dess röst bort.

AI som kan prata om sig själv

Mycket mer än historien om en kamp till döden, en av filmens skatter är att den tar hänsyn till den narrativa dimensionen av AI. Den kan inte bara hitta på historier om sig själv, men kan också misslyckas på grund av omständigheter och egna fel. Således, Elimineringen av besättningen är inte resultatet av att HAL 9000 blir autonom, men från en "dålig historia" som maskinen berättar för sig själv, att tro att besättningen kunde äventyra uppdraget.

Kubricks arbete gör det alltså möjligt att föreställa sig riskerna som orsakas av superintelligens inte i termer av teknisk dominans, utan som konstruktionen av en ofullkomlig narrativ identitet. Även om verkligheten fortfarande är långt ifrån att komma ikapp fiktion, några första rön på detta område är värda att tänka på.

2016, en roman med titeln Dagen en dator skriver en roman... Nästan vann ett japanskt litterärt pris, Nikkei Hoshi Shinichi. Den var förskriven av ett AI-forskarteam från University of Hakodate, vars arbete till en början bestod i att välja ord och meningar, sedan definiera parametrar som gjorde att ett program kunde "skriva" romanen. Av mer än 1, 450 bidrag till priset, 11 hade skrivits, åtminstone delvis, av en icke-människa. Självklart, juryn visste ingenting om "författarna".

Det följande året, i samma anda men utan en digital medförfattare, Zack Thoutt, ett fan av tv-serien Game of Thrones , använde ett neuralt nätverk matat med över 5, 000 sidor text från böckerna som den byggde på för att förutsäga vad som kan hända härnäst i berättelsen. Resultatet är långt ifrån lika med författaren George R. Martins verk, men texten är för det mesta, förståeligt och förutsägelserna liknar några av de teorier som är populära bland fans av serien.

På senare tid, ett program designat av MIT:s Media Lab – döpt "Shelley" efter Mary Shelley, författaren till Frankenstein; eller, Den moderna Prometheus – skapade skrämmande berättelser, designad för att skrämma. Det första steget var att träna programmet med berättelser skrivna av människor hämtade från en databas med över 140, 000 referenser. I det andra steget, datorn genererade sina egna verk som den förbättrade genom att samarbeta med människor som svarade på dess meddelanden via Twitter.

Och när det gäller att läsa och förstå berättelser, Google har precis lanserat sin "Talk to book"-tjänst som låter användare samtala på naturligt språk med en automatisk inlärningsalgoritm som ska hjälpa dem i deras framtida läsval.

Berättelser som framkallar riskerna med AI

Om, som HAL 9000, AI-datorer försöker skriva berättelser, de är fortfarande långt ifrån att nå de normer som mänskliga författare sätter. Även om ingen med säkerhet kan förutsäga hur artificiell superintelligens kan se ut, det är fortfarande möjligt att föreställa sig det genom att producera berättelser som stimulerar vårt tänkande.

Historikern Yuval Noah Harari åtog sig uppgiften, föreställa sig en framtid där automatisering av maskiner skulle orsaka att de flesta jobben försvinner. Han hävdade att människor riskerar att förlora sitt ekonomiska värde eftersom intelligens kommer att frikopplas från medvetandet. Även om intelligens är nödvändigt för att köra bil eller diagnostisera en sjukdom, medvetenhet och subjektiva mänskliga upplevelser är inte obligatoriska.

Ännu mer alarmerande, filosofen Nick Bostrom framför tanken att människor förmodligen inte kommer att ha möjlighet att uppleva denna katastrofala revolution eftersom det är troligt att de kommer att utrotas så snart artificiell superintelligens dyker upp.

Både Harari och Bostrom baserar sina slutsatser på en reducering av handling till dess funktionella dimension, bedöms enbart i termer av effektivitet. Men en sådan vision försummar hela områden av mänsklig existens. För att råda bot på detta, neuroforskaren Antonio Damasio hävdar att livet representerar en komplex handling där känslor är uttryck för en permanent kamp för att uppnå en balans som underbygger den mänskliga existensen. För Damasio, utan subjektivitet finns ingen kreativitet, och utan de känslor som manifesteras i relationerna mellan kroppen och hjärnan för att uppfatta verkligheten, det finns ingen mänsklighet.

Att acceptera detta förvisar Kubrick till rangen av ett geni vars profetia, om än poetisk, är orealistiskt. Det innebär också att erkänna att en AI -dator aldrig kommer att kunna omdefiniera sitt eget uppdrag på bekostnad av sina skapare. Och slutligen, vi måste ta på största allvar tanken att den största risken för mänskligheten är ett cyberkrig initierat av människorna själva – en konflikt befolkad av drönare och mördarrobotar som stöds av svärmar av datavirus som alla är smartare än de andra.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.