Ett urval av resultat med hjälp av forskarnas metod för att generera sceneinteraktionsbeteenden. Kredit:SIGGRAPH Asia
En viktig del i att väcka 3D-animerade karaktärer till liv är förmågan att skildra sina fysiska rörelser naturligt i alla scener eller miljöer.
Att animera karaktärer för att naturligt interagera med objekt och miljön kräver syntetisering av olika typer av rörelser på ett komplext sätt, och sådana rörelser kan skilja sig åt inte bara i deras hållningar, men också i deras varaktighet, kontaktmönster, och eventuella övergångar. Hittills, de flesta maskininlärningsbaserade metoder för användarvänlig karaktärsrörelsekontroll har begränsats till enklare åtgärder eller enstaka rörelser, som att beordra en animerad karaktär att flytta från en punkt till en annan.
Datavetare från University of Edinburgh och Adobe Research, företagets team av forskare och ingenjörer som formar idéer i tidigt skede till innovativ teknik, har utvecklat en roman, datadriven teknik som använder djupa neurala nätverk för att exakt vägleda animerade karaktärer genom att sluta sig till en mängd olika rörelser – sittande i stolar, plocka upp föremål, löpning, sidosteg, klättra genom hinder och genom dörröppningar – och uppnår detta på ett användarvänligt sätt med enkla kontrollkommandon.
Forskarna kommer att visa sitt arbete, Neuronal tillståndsmaskin för karaktär-sceninteraktioner, på ACM SIGGRAPH Asia, hölls 17 till 20 november i Brisbane, Australien. SIGGRAPH Asien, nu på sitt 12:e år, lockar de mest respekterade tekniska och kreativa människorna från hela världen inom datorgrafik, animering, interaktivitet, spel, och ny teknik.
Att animera karaktär-scen-interaktioner med objekt och miljön, det finns två huvudaspekter – planering och anpassning – att beakta, säger forskarna. Först, för att slutföra en given uppgift, som att sitta i stolar eller plocka upp föremål, karaktären behöver planera och övergå genom en uppsättning olika rörelser. Till exempel, detta kan inkludera att börja gå, saktar ner, vända om medan du placerar fötterna exakt och interagerar med föremålet, innan du slutligen fortsätter till en annan åtgärd. Andra, karaktären behöver naturligt anpassa rörelsen till variationer i form och storlek på föremål, och undvik hinder längs vägen.
"Att uppnå detta i produktionsfärdig kvalitet är inte enkelt och mycket tidskrävande. Vår Neural State Machine lär sig istället rörelsen och nödvändiga tillståndsövergångar direkt från scenens geometri och en given målhandling, säger Sebastian Starke, senior författare till forskningen och en Ph.D. student vid University of Edinburgh i Taku Komuras labb. "Tillsammans med det, vår metod kan producera flera olika typer av rörelser och åtgärder i hög kvalitet från ett enda nätverk."
Med hjälp av rörelsefångstdata, forskarnas ramverk lär sig hur man mest naturligt förvandlar karaktären från en rörelse till nästa - till exempel att kunna kliva över ett hinder som blockerar en dörröppning, och sedan kliva in genom dörröppningen, eller plocka upp en låda och sedan bära den lådan för att ställa på ett närliggande bord eller skrivbord.
Tekniken härleder karaktärens nästa ställning i scenen baserat på dess tidigare pose och scengeometri. En annan viktig komponent i forskarnas ramverk är att det gör det möjligt för användare att interaktivt styra och navigera karaktären från enkla kontrollkommandon. Dessutom, det är inte nödvändigt att behålla all originaldata, som istället blir kraftigt komprimerad av nätverket samtidigt som det viktiga innehållet i animeringarna bibehålls.
"Tekniken efterliknar i huvudsak hur en människa intuitivt rör sig genom en scen eller miljö och hur den interagerar med objekt, realistiskt och exakt, "säger Komura, medförfattare och ordförande för datorgrafik vid University of Edinburgh.
Nerför gatan, forskarna tänker arbeta med andra relaterade problem i datadriven karaktärsanimering, inklusive rörelser där flera handlingar kan ske samtidigt, eller animera nära karaktärsinteraktioner mellan två människor eller till och med folkmassor.