Patriots quarterback Tom Brady har ofta krediterat hans framgång för att ha lagt otaliga timmar på att studera sin motståndares rörelser på film. Denna förståelse av rörelse är nödvändig för alla levande arter, om det är att räkna ut i vilken vinkel man ska kasta en boll, eller att uppfatta rovdjurs och bytes rörelse. Men enkla videor kan faktiskt inte ge oss hela bilden.

Det beror på att traditionella videor och foton för att studera rörelse är tvådimensionella, och visa oss inte den underliggande 3D-strukturen för personen eller ämnet av intresse. Utan full geometri, vi kan inte inspektera de små och subtila rörelserna som hjälper oss att röra oss snabbare, eller förstå den precision som behövs för att perfekta vår atletiska form.

Nyligen, fastän, forskare från MIT:s datavetenskap och artificiell intelligenslaboratorium (CSAIL) har kommit på ett sätt att få ett bättre grepp om denna förståelse av komplex rörelse.

Det nya systemet använder en algoritm som kan ta 2-D-videor och göra dem till 3D-tryckta "rörelseskulpturer" som visar hur en människokropp rör sig genom rymden. Förutom att vara en spännande estetisk visualisering av form och tid, laget föreställer sig att deras "MoSculp" -system kan möjliggöra en mycket mer detaljerad studie av rörelse för professionella idrottare, dansare, eller någon som vill förbättra sina fysiska färdigheter.

"Tänk dig att du har en video av Roger Federer som serverar en boll i en tennismatch, och en video av dig själv som lär sig tennis, "säger doktoranden Xiuming Zhang, huvudförfattare till en ny uppsats om systemet. "Du kan sedan bygga rörelseskulpturer av båda scenarierna för att jämföra dem och mer omfattande studera var du behöver förbättra."

Eftersom rörelseskulpturer är 3-D, användare kan använda ett datorgränssnitt för att navigera runt i strukturerna och se dem från olika synvinklar, avslöjar rörelserelaterad information som inte är tillgänglig från den ursprungliga synvinkeln.

Zhang skrev tidningen tillsammans med MIT -professorerna William Freeman och Stefanie Mueller, Ph.D. student Jiajun Wu, Googles forskare Qiurui He och Tali Dekel, liksom U.C. Berkeley postdoc och tidigare CSAIL Ph.D. Andrew Owens.

Hur det fungerar

Konstnärer och forskare har länge kämpat för att få bättre inblick i rörelse, begränsad av sitt eget kameralins och vad det kan ge.

Tidigare arbete har mest använt så kallade "stroboskopiska" fototekniker, som ser mycket ut som bilderna i en blädderbok sammanfogade. Men eftersom dessa foton bara visar ögonblicksbilder av rörelse, du skulle inte kunna se så mycket av banan för en persons arm när de slår en golfboll, till exempel.

Vad mer, dessa fotografier kräver också mödosam förinställning, som att använda en ren bakgrund och specialiserade djupkameror och belysningsutrustning. Allt MoSculp behöver är en videosekvens.

Med en inmatningsvideo, systemet detekterar först automatiskt 2-D nyckelpunkter på motivets kropp, som höften, knä, och fotled på en ballerina medan hon gör en komplex danssekvens. Sedan, det tar de bästa möjliga poserna från dessa punkter för att förvandlas till 3-D "skelett".

Efter att ha sytt ihop dessa skelett, systemet genererar en rörelseskulptur som kan skrivas ut i 3D, visar det släta, kontinuerlig rörelseväg som spåras av motivet. Användare kan anpassa sina figurer för att fokusera på olika kroppsdelar, tilldela olika material för att skilja mellan delar, och till och med anpassa belysningen.

I användarstudier, forskarna fann att över 75 procent av försökspersonerna ansåg att MoSculp gav en mer detaljerad visualisering för att studera rörelse än vanliga fotograferingstekniker.

"Dans och högkvalificerade atletiska rörelser verkar ofta som" rörliga skulpturer "men de skapar bara flyktiga och flyktiga former, säger Courtney Brigham, kommunikationsledare på Adobe. "Detta arbete visar hur man tar rörelser och förvandlar dem till riktiga skulpturer med objektiva visualiseringar av rörelse, tillhandahåller ett sätt för idrottare att analysera sina rörelser för träning, kräver inte mer utrustning än en mobil kamera och lite datortid. "

Systemet fungerar bäst för större rörelser, som att kasta en boll eller ta ett svepande språng under en danssekvens. Det fungerar också för situationer som kan hindra eller försvåra rörelser, till exempel personer som bär lösa kläder eller bär föremål.

För närvarande, systemet använder bara enpersonsscenarier, men teamet hoppas snart kunna expandera till flera personer. Detta kan öppna möjligheterna att studera saker som sociala störningar, interpersonella interaktioner, och lagdynamik.