Tidigare psykologistudier tyder på att den mänskliga blicken kan koda människors avsikter när de utför vardagliga uppgifter, som att göra en smörgås eller en varm dryck. Liknande, mänsklig blick har visat sig förbättra prestandan för imitationsinlärningsmetoder, som tillåter robotar att lära sig att utföra uppgifter genom att imitera mänskliga demonstranter.

Inspirerad av dessa tidigare fynd, forskare vid University of Texas i Austin och Tufts University har nyligen utarbetat en ny strategi för att förbättra algoritmer för imitation av inlärning med hjälp av mänsklig blick-relaterad data. Metoden de utvecklade, beskrivs i en tidning som förpublicerats på arXiv, använder en mänsklig demonstrators blick för att rikta uppmärksamheten från imiterade inlärningsalgoritmer mot områden som de anser är viktiga, baserat på det faktum att mänskliga användare tog hand om dem.

"Djuplärande algoritmer måste lära sig att identifiera viktiga funktioner i visuella scener, till exempel, en tv-spelkaraktär eller en fiende, samtidigt som man lär sig hur man använder dessa funktioner för beslutsfattande, " Prof. Scott Niekum från University of Texas i Austin berättade för TechXplore. "Vårt tillvägagångssätt gör det här enklare, att använda människans blick som en ledtråd som indikerar vilka visuella element i scenen som är viktigast för beslutsfattande."

Det tillvägagångssätt som forskarna har utarbetat innebär att man använder information som rör mänsklig blick som vägledning, rikta uppmärksamheten hos en modell för djupinlärning till särskilt viktiga egenskaper i den data som den analyserar. Denna blickrelaterade vägledning är kodad i förlustfunktionen som tillämpas på modeller för djupinlärning under träning.

"Tidigare forskning som utforskar användningen av blickdata för att förbättra imitationsinlärningsmetoder, vanligtvis integrerade blickdata genom att träna algoritmer med mer inlärbara parametrar, gör inlärningen beräkningsmässigt dyr och kräver blickinformation vid både tåg- och testtid, "Akanksha Saran, en Ph.D. student vid University of Texas i Austin som var involverad i studien, berättade för TechXplore. "Vi ville utforska alternativa vägar för att enkelt utöka befintliga metoder för imitationsinlärning med data från mänskliga blickar, utan att öka inlärbara parametrar."

Strategin utvecklad av Niekum, Saran och deras kollegor kan appliceras på de flesta befintliga CNN-baserade arkitekturer. Genom att använda en extra komponent för blickförlust som styr arkitekturerna mot effektivare policyer, deras tillvägagångssätt kan i slutändan förbättra prestandan hos en mängd olika algoritmer för djupinlärning.

Det nya tillvägagångssättet har flera fördelar jämfört med andra strategier som använder blickrelaterad data för att vägleda modeller för djupinlärning. De två mest anmärkningsvärda är att det inte kräver tillgång till blickdata vid testtillfället och tillägg av kompletterande inlärbara parametrar.

Forskarna utvärderade deras tillvägagångssätt i en serie experiment, använda det för att förbättra olika arkitekturer för djupinlärning och sedan testa deras prestanda på Atari-spelen. De fann att det avsevärt förbättrade prestandan hos tre olika imitationsinlärningsalgoritmer, överträffar en baslinjemetod som använder data från mänskliga blickar. Dessutom, forskarnas tillvägagångssätt matchade prestandan för en annan strategi som använder blickrelaterad data både under träning och vid testtillfället, men det innebär att antalet inlärbara parametrar ökar.

"Våra resultat tyder på att fördelarna med några tidigare föreslagna metoder kommer från en ökning av antalet inlärbara parametrar i sig, inte enbart från användningen av blickdata, "Saran sa. "Vår metod visar jämförbara förbättringar utan att lägga till parametrar till befintliga imitationsinlärningstekniker."

När de utförde sina experiment, forskarna observerade också att rörelsen av objekt i en given scen ensam inte helt förklarar informationen som kodas av blicken. I framtiden, strategin de utvecklade skulle kunna användas för att förbättra prestandan för imitationsinlärningsalgoritmer på en mängd olika uppgifter. Forskarna hoppas att deras arbete också kommer att informera om ytterligare studier som syftar till att använda mänsklig blick-relaterad data för att främja beräkningstekniker.

"Medan vår metod minskar beräkningsbehov under testtid, det kräver justering av hyperparametrar under träning för att få bra prestanda, "Saran sa. "Att lindra denna börda under träning genom att koda andra intuitioner av mänsklig blick beteende kommer att vara en aspekt av framtida arbete."

Tillvägagångssättet som utvecklats av Saran och hennes kollegor har hittills visat sig vara mycket lovande, men det finns flera sätt på vilka det skulle kunna förbättras ytterligare. Till exempel, den modellerar för närvarande inte alla aspekter av mänsklig blick-relaterade data som kan vara fördelaktiga för imitationsinlärningstillämpningar. Forskarna hoppas kunna fokusera på några av dessa andra aspekter i sina framtida studier.

"Till sist, tidsmässiga kopplingar av blick och handling har ännu inte utforskats och kan vara avgörande för att uppnå fler fördelar i prestanda, ", sa Saran. "Vi arbetar också med att använda andra ledtrådar från mänskliga lärare för att förbättra imitationsinlärning, såsom mänskligt ljud som åtföljer demonstrationer."

© 2020 Science X Network