För många personer, hushållssysslor är en fruktad, ofrånkomlig del av livet som vi ofta skjuter upp eller gör med liten omsorg — men tänk om en robotbiträde kunde hjälpa till att lätta på bördan?

Nyligen, datavetare har arbetat med att lära maskiner att utföra ett bredare utbud av uppgifter runt huset. I en ny artikel ledd av MIT:s datavetenskap och artificiell intelligens Laboratory (CSAIL) och University of Toronto, forskare visar "VirtualHome, "ett system som kan simulera detaljerade hushållsuppgifter och sedan låta artificiella "agenter" utföra dem, öppnar upp för möjligheten att en dag lära robotar att utföra sådana uppgifter.

Teamet tränade systemet med nästan 3, 000 program med olika aktiviteter, som är ytterligare uppdelade i deluppgifter för datorn att förstå. En enkel uppgift som "koka kaffe, " till exempel, skulle också inkludera steget "ta tag i en kopp." Forskarna demonstrerade VirtualHome i en 3D-värld inspirerad av Sims videospel.

Teamets AI-agent kan utföra 1, 000 av dessa interaktioner i Sims-världen, med åtta olika scener inklusive ett vardagsrum, kök, matsal, sovrum, och hemmakontor.

"Att beskriva åtgärder som datorprogram har fördelen av att ge tydliga och entydiga beskrivningar av alla steg som behövs för att slutföra en uppgift, säger doktoranden Xavier Puig, som var huvudförfattare på tidningen. "Dessa program kan instruera en robot eller en virtuell karaktär, och kan också användas som representation för komplexa uppgifter med enklare åtgärder."

Projektet utvecklades tillsammans av CSAIL och University of Toronto tillsammans med forskare från McGill University och University of Ljubljana. Det kommer att presenteras på konferensen Computer Vision and Pattern Recognition (CVPR), som äger rum denna månad i Salt Lake City.

Hur det fungerar

Till skillnad från människor, Robotar behöver mer tydliga instruktioner för att utföra enkla uppgifter – de kan inte bara dra slutsatser och resonera med lätthet.

Till exempel, man kan säga till en människa att "slå på TV:n och titta på den från soffan." Här, åtgärder som "ta tag i fjärrkontrollen" och "sitta/ligga på soffan" har utelämnats, eftersom de är en del av det sunt förnuft som människor har.

För att bättre demonstrera den här typen av uppgifter för robotar, beskrivningarna av åtgärder behövde vara mycket mer detaljerade. Att göra så, teamet samlade först in verbala beskrivningar av hushållsaktiviteter, och sedan översatt dem till enkel kod. Ett program som detta kan innehålla steg som:gå till tv:n, slå på TV:n, gå till soffan, sitta i soffan, och titta på tv.

När programmen väl skapats, teamet matade dem till VirtualHome 3-D-simulatorn för att förvandlas till videor. Sedan, en virtuell agent skulle utföra de uppgifter som definierats av programmen, om det var att titta på tv, ställa en kastrull på spisen, eller sätta på och stänga av en brödrost.

Slutresultatet är inte bara ett system för att träna robotar att utföra sysslor, men också en stor databas med hushållsuppgifter som beskrivs med naturligt språk. Företag som Amazon som arbetar med att utveckla Alexa-liknande robotsystem hemma kan så småningom använda data som denna för att träna sina modeller för att utföra mer komplexa uppgifter.

Teamets modell visade framgångsrikt att, deras agenter kan lära sig att rekonstruera ett program, och därför utföra en uppgift, ges antingen en beskrivning:"häll mjölk i glas", eller en videodemonstration av aktiviteten.

"Denna arbetslinje skulle kunna underlätta verkliga personliga robotassistenter i framtiden, säger Qiao Wang, en forskningsassistent i konst, media, och ingenjör vid Arizona State University. "Istället för varje uppgift som programmerats av tillverkaren, roboten kan lära sig uppgifter bara genom att lyssna på eller titta på den specifika personen den följer med. Detta gör att roboten kan utföra uppgifter på ett personligt sätt, eller till och med någon dag åberopa en känslomässig anknytning som ett resultat av denna personliga inlärningsprocess."

I framtiden, teamet hoppas kunna träna robotarna med faktiska videor istället för simuleringsvideor i Sims-stil, vilket skulle göra det möjligt för en robot att lära sig helt enkelt genom att titta på en YouTube-video. Teamet arbetar också med att implementera ett belöningsinlärningssystem där agenten får positiv feedback när den utför uppgifterna korrekt.

"Du kan föreställa dig en miljö där robotar hjälper till med sysslor hemma och så småningom kan förutse personliga önskemål och behov, eller förestående åtgärd, " säger Puig. "Detta kan vara särskilt användbart som hjälpmedel för äldre, eller de som kan ha begränsad rörlighet."