Artificiell intelligens kan spela schack, köra bil och diagnostisera medicinska problem. Exempel inkluderar Google DeepMinds AlphaGo, Teslas självkörande fordon, och IBMs Watson.

Denna typ av artificiell intelligens kallas artificiell smal intelligens (ANI) – icke-mänskliga system som kan utföra en specifik uppgift. Vi möter denna typ dagligen, och dess användning växer snabbt.

Men medan många imponerande kapaciteter har demonstrerats, vi börjar också se problem. Det värsta fallet var en självkörande testbil som körde på en fotgängare i mars. Fotgängaren dog och händelsen är fortfarande under utredning.

Nästa generation av AI

Med nästa generations AI kommer insatserna nästan säkert att vara mycket högre.

Artificiell allmän intelligens (AGI) kommer att ha avancerade beräkningskrafter och intelligens på mänsklig nivå. AGI-system kommer att kunna lära sig, lösa problem, anpassa sig och förbättra sig själv. De kommer till och med att göra uppgifter utöver de de var designade för.

Viktigt, deras förbättringshastighet kan vara exponentiell eftersom de blir mycket mer avancerade än sina mänskliga skapare. Införandet av AGI skulle snabbt kunna åstadkomma artificiell superintelligens (ASI).

Även om fullt fungerande AGI-system ännu inte existerar, man har uppskattat att de kommer att finnas med oss ​​någonstans mellan 2029 och slutet av århundradet.

Det som verkar nästan säkert är att de kommer så småningom. När de gör det, det finns en stor och naturlig oro över att vi inte kommer att kunna kontrollera dem.

Riskerna förknippade med AGI

Det råder ingen tvekan om att AGI-system skulle kunna förändra mänskligheten. Några av de mer kraftfulla tillämpningarna inkluderar att bota sjukdomar, lösa komplexa globala utmaningar som klimatförändringar och livsmedelssäkerhet, och initierar en världsomspännande teknologiboom.

Men ett misslyckande med att implementera lämpliga kontroller kan leda till katastrofala konsekvenser.

Trots vad vi ser i Hollywood-filmer, existentiella hot kommer sannolikt inte att involvera mördarrobotar. Problemet kommer inte att vara illvilja, utan snarare en av intelligens, skriver MIT-professorn Max Tegmark i sin bok från 2017 Life 3.0:Being Human in the Age of Artificial Intelligence.

Det är här som vetenskapen om människa-maskin-system – kända som mänskliga faktorer och ergonomi – kommer att komma i förgrunden. Risker kommer att uppstå från det faktum att superintelligenta system kommer att identifiera mer effektiva sätt att göra saker, skapa sina egna strategier för att uppnå mål, och till och med utveckla sina egna mål.

Föreställ dig dessa exempel:

• ett AGI-system med uppgift att förebygga hiv bestämmer sig för att utrota problemet genom att döda alla som bär på sjukdomen, eller en som har till uppgift att bota cancer bestämmer sig för att döda alla som har någon genetisk predisposition för det
• en autonom AGI militär drönare bestämmer att det enda sättet att garantera att ett fiendemål förstörs är att utplåna ett helt samhälle
• en miljöskyddande AGI beslutar att det enda sättet att bromsa eller vända klimatförändringarna är att ta bort tekniker och människor som framkallar dem.

Dessa scenarier väcker spöket av olika AGI-system som kämpar mot varandra, ingen av dem tar mänskliga angelägenheter som sitt centrala mandat.

Olika dystopiska framtider har utvecklats, inklusive de där människor så småningom blir föråldrade, med den efterföljande utrotningen av människosläktet.

Andra har vidarebefordrat mindre extrema men fortfarande betydande störningar, inklusive skadlig användning av AGI för terrorist- och cyberattacker, avlägsnandet av behovet av mänskligt arbete, och massövervakning, för att bara nämna några.

Så det finns ett behov av människocentrerade undersökningar av de säkraste sätten att designa och hantera AGI för att minimera risker och maximera fördelarna.

Hur man kontrollerar AGI

Att kontrollera AGI är inte lika enkelt som att bara tillämpa samma typer av kontroller som tenderar att hålla människor i schack.

Många kontroller av mänskligt beteende är beroende av vårt medvetande, våra känslor, och tillämpningen av våra moraliska värderingar. AGI:er behöver inte några av dessa attribut för att orsaka oss skada. Nuvarande kontrollformer räcker inte.

Det kan argumenteras att, det finns tre uppsättningar kontroller som kräver utveckling och testning omedelbart:

1. de kontroller som krävs för att säkerställa att AGI-systemdesigners och -utvecklare skapar säkra AGI-system
2. de kontroller som måste byggas in i själva AGI:erna, som "sunt förnuft", moral, driftsrutiner, beslutsregler, och så vidare
3. de kontroller som behöver läggas till i de bredare system där AGI kommer att verka, såsom reglering, koder av träning, standardrutiner, övervakningssystem, och infrastruktur.

Human Factors and Ergonomics erbjuder metoder som kan användas för att identifiera, designa och testa sådana kontroller i god tid innan AGI-system anländer.

Till exempel, det är möjligt att modellera kontrollerna som finns i ett visst system, att modellera det sannolika beteendet hos AGI-system inom denna kontrollstruktur, och identifiera säkerhetsrisker.

Detta gör att vi kan identifiera var nya kontroller krävs, designa dem, och gör sedan om för att se om riskerna försvinner som ett resultat.

Dessutom, våra modeller för kognition och beslutsfattande kan användas för att säkerställa att AGI:er beter sig på rätt sätt och har humanistiska värderingar.

Agera nu, inte senare

Den här typen av forskning pågår, men det finns inte tillnärmelsevis tillräckligt av det och inte tillräckligt med discipliner är inblandade.

Till och med den högprofilerade teknikentreprenören Elon Musk har varnat för den "existentiella krisen" som mänskligheten står inför från avancerad AI och har talat om behovet av att reglera AI innan det är för sent.

Nästa decennium eller så representerar en kritisk period. Det finns en möjlighet att skapa säkra och effektiva AGI-system som kan ha långtgående fördelar för samhället och mänskligheten.

På samma gång, en "business-as-usual"-strategi där vi hänger med i snabba tekniska framsteg skulle kunna bidra till att människosläktet utrotas. Bollen ligger hos oss, men det kommer inte vara så mycket längre.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.