Artificiell intelligens (AI)-system blir mer som oss. Du kan be Google Home att släcka belysningen i sovrummet, ungefär som du kan fråga din mänskliga partner.

När du sms:ar förfrågningar till Amazon online, det är ibland oklart om du blir besvarad av en människa eller företagets chatbotteknik.

Det finns helt klart en marknad för maskiner med mänskliga psykologiska förmågor. Men vi bör spara en tanke på vad vi oavsiktligt kan skapa.

Tänk om vi gör AI så bra på att vara människa att vår behandling av den kan få den att lida? Det kan kännas berättigat att hämnas på oss.

Maskiner som "känner"

Med mänskliga psykologiska förmågor kan komma känslor. Filosofer förstår känslor som förmågan att lida och känna njutning.

Och kännande varelser kan skadas. Det är en fråga som togs upp av den australiensiske filosofen Peter Singer i sin bok Animal Liberation från 1975, som frågade hur vi skulle behandla icke-mänskliga djur. Han skrev:"Om en varelse lider, det kan inte finnas någon moralisk motivering för att vägra att ta hänsyn till detta lidande. Oavsett varelsens natur, Jämlikhetsprincipen kräver att dess lidande räknas lika med liknande lidande – i den mån grova jämförelser kan göras – av vilken annan varelse som helst."

Singer har ägnat en karriär åt att tala upp för djur, som är kännande varelser oförmögna att tala för sig själva.

Talar upp för AI

Forskare inom AI försöker göra en AGI eller artificiell allmän intelligens – en maskin som kan utföra alla intellektuella uppgifter som utförs av en människa. AI kan redan lära sig, men AGI kommer att kunna utföra uppgifter utöver det som det är programmerat för.

Experterna är oense om hur långt borta en AGI är. Den amerikanske tekniska uppfinnaren Ray Kurzweil förväntar sig en AGI snart, kanske 2029. Andra tror att vi kanske får vänta i ett sekel.

Men om vi är intresserade av att behandla kännande varelser rätt, vi kanske inte behöver vänta tills en AGI kommer.

En av Singers poänger är att många kännande varelser saknar mänsklig intelligens långt ifrån. Med det argumentet, AI behöver inte vara lika intelligent som en människa för att den ska vara kännande.

Problemet är att det inte finns något enkelt test för känsla.

Att skicka ett uppdrag med mänsklig besättning till Mars är mycket utmanande, men vi får åtminstone veta när vi har gjort det.

Att göra en maskin med känslor är utmanande på ett mer filosofiskt förbryllande sätt. Eftersom vi saknar tydliga kriterier för maskinuppfattning, vi kan inte vara säkra på när vi har gjort det.

Titta på science fiction

Tvetydigheten i maskinkänsla är ett inslag i flera science fiction-presentationer av AI.

Till exempel, Niska är en humanoid robot, en synth, tjänstgör som sexarbetare i tv-serien Humans. Vi får höra att, till skillnad från de flesta syntar, hon är kännande.

När Niska förhörs om varför hon dödade en klient förklarar hon:"Han ville vara grov."

Den mänskliga advokaten Laura Hawkins svarar:"Men, är det fel om han inte trodde att du kunde känna? … Är det inte bättre att han utövar sina fantasier med dig på en bordell istället för att ta ut dem på någon som faktiskt kan känna?”

Ur ett mänskligt perspektiv, man skulle kunna tro att sexuella övergrepp riktade mot en icke-kännande maskin är ett brott utan offer.

Men hur är det med en sexrobot som har skaffat sig känsla? Niska fortsätter med att förklara att hon blev rädd av klientens beteende mot henne. "Och jag är ledsen att jag inte kan gråta eller ... blöda eller vrida mina händer så att du vet det. Men jag säger dig, Jag var."

Människor är inte den enda science fiction-historien som varnar för hämndattacker från maskiner designade för att utnyttjas av människor för nöje och smärta.

I TV-remaken av Westworld, människor går in i en nöjespark och dödar Android-värdar med att överge Xbox-massakrerna, säkra på att deras offer inte har några svåra känslor eftersom de inte kan ha några känslor.

Men här igen, några värdar har i hemlighet skaffat sig förnuft och får återbetalning på sina mänskliga plågare.

Vi är bara människor

Är det bara science fiction? Är kännande maskiner långt borta? Kanske. Kanske inte.

Men dåliga vanor kan ta ett tag att avlära sig. Vi – eller snarare djur – lider fortfarande av den filosofiska baksmällan från den franske 1600-talets tänkare Rene Descartes fruktansvärda idé om att djur är tanklösa automater – utan förnuft.

Om vi ​​ska tillverka maskiner med mänsklig psykologisk kapacitet, vi bör förbereda oss på möjligheten att de kan bli kännande. Hur kommer de då att reagera på vårt beteende mot dem?

Kanske bör vårt beteende mot icke-kännande AI idag styras av hur vi förväntar oss att människor ska bete sig mot alla framtida kännande AI som kan kännas, som kan lida. Hur skulle vi förvänta oss att den framtida kännande maskinen skulle reagera mot oss?

Detta kan vara den stora skillnaden mellan maskiner och djuren som Singer försvarar. Djur kan inte hämnas. Men kännande maskiner kanske.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.