Kraftfull AI måste vara pålitligt anpassad till mänskliga värden. Betyder detta att AI så småningom kommer att behöva polisera dessa värderingar? Cambridge-filosoferna Huw Price och Karina Vold betraktar avvägningen mellan säkerhet och autonomi i superintelligensens tid.

Detta har varit decenniet av AI, med den ena häpnadsväckande bedriften efter den andra. En schackspelande AI som kan besegra inte bara alla mänskliga schackspelare, men också alla tidigare mänskligt programmerade schackmaskiner, efter att ha lärt dig spelet på bara fyra timmar? Det var gårdagens nyheter, vad kommer härnäst?

Sann, dessa fantastiska prestationer är alla i så kallad smal AI, där maskiner utför mycket specialiserade uppgifter. Men många experter tror att denna begränsning är mycket tillfällig. Vid mitten av århundradet, vi kan ha artificiell allmän intelligens (AGI)-maskiner som kan prestera på mänsklig nivå på alla uppgifter som vi själva kan hantera.

Om så är fallet, då finns det ingen anledning att tro att det kommer att stanna där. Maskiner kommer att vara fria från många av de fysiska begränsningarna för mänsklig intelligens. Våra hjärnor går med långsamma biokemiska bearbetningshastigheter på kraften hos en glödlampa, och måste passa genom en mänsklig födelsekanal. Det är anmärkningsvärt vad de åstadkommer, med tanke på dessa handikapp. Men de kan vara så långt från tankens fysiska gränser som våra ögon är från Webb -rymdteleskopet.

När maskiner är bättre än oss på att designa ännu smartare maskiner, framstegen mot dessa gränser kan påskyndas. Vad skulle detta betyda för oss? Kan vi säkerställa en säker och värdefull samexistens med sådana maskiner?

På plussidan, AI är redan användbart och lönsamt för många saker, och super AI kan förväntas vara super användbart, och super lönsamt. Men ju mer kraftfull AI blir, ju mer vi ber den göra för oss, desto viktigare blir det att specificera sina mål med stor omsorg. Folklore är full av berättelser om människor som ber om fel sak, med katastrofala konsekvenser - kung Midas, till exempel, som egentligen inte ville att hans frukost skulle bli till guld som han lät det för hans läppar.

Så vi måste se till att kraftfulla AI-maskiner är ”mänskliga”-att de har mål som är pålitligt anpassade till våra egna värderingar. En sak som gör den här uppgiften svår är att enligt de standarder vi vill att maskinerna ska sträva efter, vi själva gör det ganska dåligt. Människor är långt ifrån tillförlitliga människor. Vi gör många fruktansvärda saker mot varandra och mot många andra varelser som vi delar planeten med. Om superintelligenta maskiner inte gör mycket bättre än oss, vi kommer att ha stora problem. Vi kommer att få kraftfull ny intelligens som förstärker de mörka sidorna av vår egen falska natur.

För säkerhets skull, sedan, vi vill att maskinerna ska vara etiskt såväl som kognitivt övermänskliga. Vi vill att de ska sträva efter den moraliska höjden, inte för de tråg där många av oss tillbringar en del av vår tid. Som tur är har de smarta för jobbet. Om det finns vägar till höglandet, de kommer att bli bättre än vi på att hitta dem, och styr oss i rätt riktning. De kan vara våra guider till en mycket bättre värld.

Dock, Det finns två stora problem med denna utopiska vision. Ett är hur vi får igång maskinerna på resan, den andra är vad det skulle innebära att nå denna destination. "Kom igång" -problemet är att vi måste berätta för maskinerna vad de letar efter med tillräcklig tydlighet och precision så att vi kan vara säkra på att de kommer att hitta det - vad det än "faktiskt" visar sig vara. Detta är en skrämmande utmaning, med tanke på att vi själva är förvirrade och motstridiga om idealen, och olika samhällen kan ha olika åsikter.

"Destinationsproblemet" är att genom att lägga oss i händerna på dessa moraliska guider och grindvakter, vi kanske offrar vår egen autonomi - en viktig del av det som gör oss till människor.

Bara för att fokusera på en aspekt av dessa svårigheter, vi är djupt stamvarelser. Vi har mycket lätt att ignorera främlingars lidande, och även att bidra till det, åtminstone indirekt. För vår egen skull, vi borde hoppas att AI kommer att göra det bättre. Det är inte bara så att vi kan befinna oss i nåd av någon annan stams AI, men att vi inte kunde lita på våra egna, om vi hade lärt det att inte allt lidande spelar någon roll. Detta innebär att som stam- och moraliskt felbara varelser, vi måste rikta maskinerna i riktning mot något bättre. Hur gör vi det? Det är problemet med att komma igång.

När det gäller destinationsproblemet, antar att vi lyckas. Maskiner som är bättre än oss på att hålla fast vid den moraliska höjden kan förväntas avskräcka några av de bortfall som vi för närvarande tar för givet. Vi kan förlora vår frihet att diskriminera till förmån för våra egna stammar, till exempel.

Förlust av frihet att bete sig illa är inte alltid en dålig sak, naturligtvis:förneka oss själva friheten att hålla slavar, eller att få barn att arbeta i fabriker, eller att röka på restauranger är tecken på framsteg. Men är vi redo för etiska herrar - heligt kisel som begränsar våra alternativ? De kan vara så bra på att göra det att vi inte märker staket; men är det den här framtiden vi vill ha, ett liv i en välkurerad moralisk zoo?

Dessa frågor kan verka långsökt, men de är redan på vår tröskel. Tänk dig att vi vill att en AI ska hantera beslut om resursfördelning i vårt hälsosystem, till exempel. Det kan göra så mycket mer rättvist och effektivt än människor kan hantera, med förmåner för patienter och skattebetalare. Men vi måste ange dess mål korrekt (t.ex. för att undvika diskriminerande metoder), och vi skulle beröva vissa människor (t.ex. överläkare) en del av det diskretion de för närvarande åtnjuter. Så vi står redan inför start- och destinationsproblemen. Och de kommer bara att bli svårare.

Det här är inte första gången som en kraftfull ny teknik har moraliska konsekvenser. På tal om farorna med termonukleära vapen 1954, Bertrand Russell hävdade att "för att undvika att utplåna oss själva" måste vi lära oss att tänka på ett nytt sätt ". Han uppmanade sin lyssnare att avsätta stammens lojalitet och "betrakta dig själv endast som en medlem av en biologisk art ... vars försvinnande ingen av oss kan begära."

Vi har överlevt kärnkraftsrisken hittills, men nu har vi en ny kraftfull teknik att hantera - själv, bokstavligen, ett nytt sätt att tänka. För vår egen säkerhet, vi måste peka dessa nya tänkare i rätt riktning, och få dem att agera bra för oss. Det är ännu inte klart om detta är möjligt, men i så fall kommer det att kräva samma samarbetsvilja, samma vilja att avsätta tribalism, som Russell hade i åtanke.

Men det är där parallellen stannar. Att undvika kärnkrig betyder affärer som vanligt. Att få livets långsiktiga framtid med AI betyder en helt annan värld. Både allmän intelligens och moraliskt resonemang anses ofta vara unikt mänskliga förmågor. Men säkerheten verkar kräva att vi tänker på dem som ett paket:om vi ska ge allmän intelligens till maskiner, vi måste ge dem moralisk auktoritet, för. Det innebär ett radikalt slut på mänsklig exceptionism. Desto större anledning att tänka på destinationen nu, och att vara försiktig med vad vi önskar.