Maskininlärningssystem maskar sig alltmer igenom vår vardag, utmanar våra moraliska och sociala värderingar och de regler som styr dem. Dessa dagar hotar virtuella assistenter hemmets integritet; nyhetsrekommendatorer formar hur vi förstår världen; riskförutsägelsesystem tipsar socialarbetare om vilka barn de ska skydda mot övergrepp; medan datadrivna anställningsverktyg också rangordnar dina chanser att få ett jobb. Etiken kring maskininlärning är dock fortfarande suddig för många.

När jag letade efter artiklar om ämnet för de unga ingenjörerna som gick kursen i etik och informations- och kommunikationsteknik vid UCLouvain, Belgien, slogs jag särskilt av fallet med Joshua Barbeau, en 33-årig man som använde en webbplats som heter Project December för att skapa en samtalsrobot – en chatbot – som skulle simulera konversation med hans avlidna fästmö, Jessica.

Konversationsrobotar som härmar döda människor

Den här typen av chatbot, känd som en deadbot, tillät Barbeau att utbyta textmeddelanden med en konstgjord "Jessica". Trots fallets etiskt kontroversiella karaktär hittade jag sällan material som gick utöver den blotta sakliga aspekten och analyserade fallet genom en explicit normativ lins:varför skulle det vara rätt eller fel, etiskt önskvärt eller förkastligt, att utveckla en deadbot?

Innan vi brottas med dessa frågor, låt oss sätta saker i sitt sammanhang:Project December skapades av spelutvecklaren Jason Rohrer för att göra det möjligt för människor att anpassa chatbots med den personlighet de ville interagera med, förutsatt att de betalade för det. Projektet byggdes utifrån ett API av GPT-3, en textgenererande språkmodell av forskningsföretaget OpenAI för artificiell intelligens. Barbeaus fall skapade en klyfta mellan Rohrer och OpenAI eftersom företagets riktlinjer uttryckligen förbjuder att GPT-3 används för sexuella, amorösa, självskade- eller mobbningsändamål.

Rohrer kallade OpenAI:s position som hypermoralistisk och hävdade att människor som Barbeau var "samtyckande vuxna" och stängde ner GPT-3-versionen av Project December.

Även om vi alla kanske har intuitioner om huruvida det är rätt eller fel att utveckla en maskinlärande deadbot, är det knappast en lätt uppgift att förklara dess implikationer. Det är därför det är viktigt att ta upp de etiska frågor som väcker fallet, steg för steg.

Är Barbeaus samtycke tillräckligt för att utveckla Jessicas deadbot?

Eftersom Jessica var en riktig (om än död) person, verkar Barbeaus samtycke till skapandet av en dödbot som härmar henne otillräckligt. Även när de dör är människor inte bara saker som andra kan göra som de vill med. Det är därför våra samhällen anser att det är fel att vanhelga eller att vara respektlös mot minnet av de döda. Med andra ord har vi vissa moraliska skyldigheter när det gäller de döda, i den mån döden inte nödvändigtvis innebär att människor upphör att existera på ett moraliskt relevant sätt.

Likaså är debatten öppen om huruvida vi ska skydda de dödas grundläggande rättigheter (t.ex. integritet och personuppgifter). Att utveckla en deadbot som replikerar någons personlighet kräver stora mängder personlig information som sociala nätverksdata (se vad Microsoft eller Eternime föreslår) som har visat sig avslöja mycket känsliga egenskaper.

Om vi ​​är överens om att det är oetiskt att använda människors data utan deras samtycke medan de lever, varför skulle det vara etiskt att göra det efter deras död? I den meningen, när man utvecklar en deadbot, verkar det rimligt att begära samtycke från den vars personlighet speglas – i det här fallet Jessica.

När den imiterade personen ger grönt ljus

Den andra frågan är alltså:skulle Jessicas samtycke vara tillräckligt för att betrakta hennes deadbots skapelse etiskt? Tänk om det var förnedrande för hennes minne?

Gränserna för samtycke är verkligen en kontroversiell fråga. Ta som ett paradigmatiskt exempel "Rotenburgkannibalen", som dömdes till livstids fängelse trots att hans offer hade gått med på att bli uppäten. I detta avseende har det hävdats att det är oetiskt att samtycka till sådant som kan vara till skada för oss själva, vare sig det är fysiskt (att sälja sina egna vitala organ) eller abstrakt (att alienera sina egna rättigheter), så länge som ett gott samhälle bör uppmuntra alla dess medlemmar att leva bättre och friare (inte nödvändigtvis i en paternalistisk mening, på de villkor som någon annan påtvingat, utan på ett demokratiskt sätt, på folkets villkor).

I vilka specifika termer något kan vara skadligt för de döda är en särskilt komplex fråga som jag inte kommer att analysera fullt ut. Värt att notera är dock att även om de döda inte kan skadas eller kränkas på samma sätt som de levande, betyder det inte att de är osårbara för dåliga handlingar, inte heller att dessa är etiska. De döda kan drabbas av skada på sin heder, anseende eller värdighet (till exempel postuma smutskastningskampanjer), och respektlöshet mot de döda skadar också de som står dem nära. Att bete sig illa mot de döda leder oss dessutom till ett samhälle som är mer orättvist och mindre respektfullt med människors värdighet överlag.

Slutligen, med tanke på formbarheten och oförutsägbarheten hos maskininlärningssystem, finns det en risk att samtycket från den person som efterliknas (i livet) inte betyder mycket mer än en blankcheck på dess potentiella vägar.

Med hänsyn till allt detta verkar det rimligt att dra slutsatsen att om deadbotens utveckling eller användning inte överensstämmer med vad den imiterade personen har gått med på, bör deras samtycke anses vara ogiltigt. Dessutom, om det tydligt och avsiktligt skadar deras värdighet, borde inte ens deras samtycke vara tillräckligt för att betrakta det som etiskt.

Vem tar ansvar?

En tredje fråga är om system för artificiell intelligens bör sträva efter att efterlikna någon sorts mänskligt beteende (oavsett här om detta är möjligt).

Detta har varit ett långvarigt problem inom AI-området och det är nära kopplat till tvisten mellan Rohrer och OpenAI. Ska vi utveckla konstgjorda system som kan till exempel ta hand om andra eller fatta politiska beslut? Det verkar som att det finns något i dessa färdigheter som gör att människor skiljer sig från andra djur och från maskiner. Därför är det viktigt att notera att instrumentalisering av AI mot tekniklösningsorienterade syften, som att ersätta nära och kära, kan leda till en devalvering av vad som kännetecknar oss som människor.

Den fjärde etiska frågan är vem som bär ansvaret för resultatet av en deadbot – särskilt i fallet med skadliga effekter.

Föreställ dig att Jessicas döda bot självständigt lärde sig att prestera på ett sätt som förnedrade hennes minne eller oåterkalleligt skadade Barbeaus mentala hälsa. Vem skulle ta ansvar? AI-experter svarar på denna släta fråga genom två huvudsakliga tillvägagångssätt:för det första faller ansvaret på dem som är involverade i designen och utvecklingen av systemet, så länge de gör det i enlighet med sina speciella intressen och världsbilder; för det andra är maskininlärningssystem kontextberoende, så det moraliska ansvaret för deras utdata bör fördelas mellan alla agenter som interagerar med dem.

Jag placerar mig närmare den första positionen. I det här fallet, eftersom det finns ett uttryckligt samskapande av deadbot som involverar OpenAI, Jason Rohrer och Joshua Barbeau, anser jag det logiskt att analysera ansvarsnivån hos varje part.

För det första skulle det vara svårt att göra OpenAI ansvariga efter att de uttryckligen förbjudit att använda sitt system för sexuella, amorösa, självskade- eller mobbningsändamål.

Det förefaller rimligt att tillskriva Rohrer en betydande nivå av moraliskt ansvar eftersom han:(a) uttryckligen utformade systemet som gjorde det möjligt att skapa deadbot; (b) gjorde det utan att förutse åtgärder för att undvika potentiella negativa resultat; (c) var medveten om att den inte följde OpenAI:s riktlinjer; och (d) tjänat på det.

Och eftersom Barbeau anpassade den döda boten utifrån Jessicas speciella egenskaper, verkar det legitimt att hålla honom medansvarig i händelse av att det försämrade hennes minne.

Etisk, under vissa förutsättningar

Så, när vi kommer tillbaka till vår första allmänna fråga om huruvida det är etiskt att utveckla en maskininlärande deadbot, skulle vi kunna ge ett jakande svar på villkoret att:

• både den person som efterliknas och den som anpassar och interagerar med den har gett sitt fria samtycke till en så detaljerad beskrivning som möjligt av systemets design, utveckling och användning;
• utveckling och användning som inte håller sig till vad den imiterade personen samtyckte till eller som strider mot deras värdighet är förbjudna;
• de personer som är involverade i dess utveckling och de som tjänar på det tar ansvar för dess potentiella negativa resultat. Både retroaktivt, för att redogöra för händelser som har inträffat, och prospektivt, för att aktivt förhindra att de inträffar i framtiden.

Det här fallet exemplifierar varför etiken kring maskininlärning är viktig. Det illustrerar också varför det är viktigt att öppna en offentlig debatt som bättre kan informera medborgarna och hjälpa oss att utveckla politiska åtgärder för att göra AI-system mer öppna, socialt rättvisa och förenliga med grundläggande rättigheter.