Forskare vid Carnegie Mellon University har utvecklat en datormodell som kan översätta text som beskriver fysiska rörelser direkt till enkla datorgenererade animationer, ett första steg mot att en dag generera filmer direkt från manus.

Forskare har gjort enorma steg för att få datorer att förstå naturligt språk, liksom att generera en serie fysiska poser för att skapa realistiska animationer. Dessa funktioner kan lika gärna existera i separata världar, dock, eftersom kopplingen mellan naturligt språk och fysiska ställningar har saknats.

Louis-Philippe Morency, docent i Language Technologies Institute (LTI), och Chaitanya Ahuja, en LTI -doktorand studerande, arbetar för att föra samman dessa världar med hjälp av en neural arkitektur som de kallar Joint Language-to-Pose, eller JL2P. Med JL2P -modellen kan meningar och fysiska rörelser integreras gemensamt, så det kan lära sig hur språk är relaterat till handling, gester och rörelse.

"Jag tror att vi är i ett tidigt skede av denna forskning, men från en modell, artificiell intelligens och teoriperspektiv, det är ett mycket spännande ögonblick, "Sa Morency." Just nu, vi pratar om att animera virtuella karaktärer. Så småningom, denna länk mellan språk och gester kan tillämpas på robotar; vi kanske helt enkelt kan berätta för en personlig assistentrobot vad vi vill att den ska göra.

"Vi kan också så småningom gå åt andra hållet - använda denna länk mellan språk och animering så att en dator kan beskriva vad som händer i en video, " han lade till.

Ahuja kommer att presentera JL2P den 19 september vid den internationella konferensen om 3D-vision i Quebec City, Kanada.

För att skapa JL2P, Ahuja använde ett tillvägagångssätt för inlärning av kurser som fokuserar på modellen först lärande kort, enkla sekvenser - "En person går framåt" - och sedan längre, hårdare sekvenser - "En person kliver fram, vänder sig sedan om och kliver framåt igen, "eller" En person hoppar över ett hinder när han springer. "

Verben och adverb beskriver handlingens hastighet/hastighet/acceleration, medan substantiv och adjektiv beskriver platser och riktningar. Det slutliga målet är att animera komplexa sekvenser med flera handlingar som sker antingen samtidigt eller i sekvens, Sa Ahuja.

Tills vidare, animationerna är för stickfigurer.

Att göra det mer komplicerat är det faktum att många saker händer samtidigt, även i enkla sekvenser, Morency förklarade.

"Synkronisering mellan kroppsdelar är mycket viktigt, "Sa Morency." Varje gång du rör dina ben, du rör också armarna, din bål och eventuellt ditt huvud. Kroppsanimationerna måste samordna dessa olika komponenter, samtidigt som komplexa åtgärder uppnås. Att ta med språkberättelse i denna komplexa animationsmiljö är både utmanande och spännande. Detta är en väg mot bättre förståelse av tal och gester. "