En ny sort av algoritmer har bemästrat Atari-videospel 10 gånger snabbare än toppmodern AI, med ett banbrytande förhållningssätt till problemlösning.

Designa AI som kan hantera planeringsproblem, särskilt de där belöningar inte är omedelbart uppenbara, är en av de viktigaste forskningsutmaningarna för att utveckla området.

En berömd studie från 2015 visade att Google DeepMind AI lärde sig att spela Atari-videospel som Video Pinball till mänsklig nivå, men notoriskt misslyckades med att lära sig en väg till den första nyckeln i 1980-talets videospel Montezuma's Revenge på grund av spelets komplexitet.

I den nya metoden som utvecklats vid RMIT University i Melbourne, Australien, datorer inställda för att autonomt spela Montezuma's Revenge lärde sig av misstag och identifierade delmål 10 gånger snabbare än Google DeepMind för att avsluta spelet.

Docent Fabio Zambetta från RMIT University avslöjar det nya tillvägagångssättet denna fredag ​​vid den 33:e AAAI-konferensen om artificiell intelligens i USA.

Metoden, utvecklat i samarbete med RMIT:s professor John Thangarajah och Michael Dann, kombinerar "morot-och-stick"-förstärkningsinlärning med en inneboende motivationsmetod som belönar AI för att vara nyfiken och utforska sin miljö.

"Verkligen intelligent AI måste kunna lära sig att utföra uppgifter autonomt i tvetydiga miljöer, " säger Zambetta.

"Vi har visat att rätt sorts algoritmer kan förbättra resultaten med ett smartare tillvägagångssätt snarare än rent brutalt tvinga fram ett problem från början till slut på mycket kraftfulla datorer.

"Våra resultat visar hur mycket närmare vi kommer autonom AI och kan vara en nyckellinje för undersökning om vi vill fortsätta göra betydande framsteg på detta område."

Zambettas metod belönar systemet för att självständigt utforska användbara delmål som "klättra på den stegen" eller "hoppa över gropen", som kanske inte är uppenbart för en dator, inom ramen för ett större uppdrag.

Andra toppmoderna system har krävt mänsklig insats för att identifiera dessa delmål eller så slumpmässigt beslutat vad som ska göras härnäst.

"Inte bara identifierade våra algoritmer autonomt relevanta uppgifter ungefär 10 gånger snabbare än Google DeepMind när de spelade Montezuma's Revenge, de uppvisade också relativt mänskligt beteende när de gjorde det, " säger Zambetta.

"Till exempel, innan du kan komma till den andra skärmen i spelet måste du identifiera deluppgifter som att klättra på stegar, hoppa över en fiende och till slut plocka upp en nyckel, ungefär i den ordningen.

"Detta skulle så småningom hända slumpmässigt efter en enorm tid, men att ske så naturligt i våra tester visar någon sorts avsikt.

"Detta gör vår till den första helt autonoma sub-mål-orienterade agenten att vara verkligt konkurrenskraftig med state-of-the-art agenter på dessa spel."

Zambetta sa att systemet skulle fungera utanför videospel i ett brett spektrum av uppgifter, när de levereras med råa visuella ingångar.

"Att skapa en algoritm som kan slutföra videospel kan låta trivialt, men det faktum att vi har designat en som kan hantera oklarheter samtidigt som vi väljer från ett godtyckligt antal möjliga åtgärder är ett avgörande framsteg.

"Det betyder att, med tid, denna teknik kommer att vara värdefull för att uppnå mål i den verkliga världen, oavsett om det är i självkörande bilar eller som användbara robotassistenter med naturlig språkigenkänning, " han säger.

Att härleda delmål autonomt för att påskynda inlärning i glesa belöningsdomäner (bifogat) kommer att presenteras vid den 33:e AAAI-konferensen om artificiell intelligens i Honolulu, Hawaii den 1 februari 2019.