Människor som rörde sig in och ut från fotografier brukade vara reserverade för Harry Potters värld. Men nu har datavetare vid University of Washington fört den magin till verklighet.

Deras algoritm, Foto väckning, kan ta en person från ett 2D-foto eller ett konstverk och få dem att springa, gå eller hoppa ut ur ramen. Systemet tillåter också användare att se animationen i tre dimensioner med hjälp av verktyg för förstärkt verklighet. Forskarna kommer att presentera sina resultat den 19 juni vid konferensen om datorseende och mönsterigenkänning i Long Beach, Kalifornien. Denna forskning väckte först uppmärksamhet i media när den publicerades i preprint-form i december på ArXiv.

"Detta är ett mycket svårt grundläggande problem i datorseende, " sa medförfattaren Ira Kemelmacher-Shlizerman, en docent vid UW:s Paul G. Allen School of Computer Science &Engineering. "Den stora utmaningen här är att ingången bara kommer från en enda kameraposition, så en del av personen är osynlig. Vårt arbete kombinerar tekniska framsteg på ett öppet problem i fält med konstnärlig kreativ visualisering."

Tidigare, forskare trodde att det skulle vara omöjligt att animera en person som hade slut på ett enda foto.

"Det finns något tidigare arbete som försöker skapa en 3D-karaktär med hjälp av flera synpunkter, " sa medförfattaren Brian Curless, en professor i Allen School. "Men du kunde fortfarande inte väcka någon till liv och få dem att ta slut från en scen, och du kunde inte ta in AR i det. Det var verkligen förvånande att vi kunde få några övertygande resultat med bara ett foto."

Applikationerna för Photo Wake-Up är många, säger laget. Forskarna föreställer sig att detta kan leda till ett nytt sätt för spelare att skapa avatarer som faktiskt ser ut som dem, en metod för besökare att interagera med målningar på ett konstmuseum – säg att sitta ner och dricka te med Mona Lisa – eller något som låter barn få liv i sina teckningar. Exempel i forskningsrapporten inkluderar att animera Golden State Warriors Stephen Curry för att springa av banan, Paul McCartney hoppar av omslaget till "Hjälp!" album och Matisses "Icarus" för att lämna sin ram.

För att göra magin till verklighet, Photo Wake-Up börjar med att identifiera en person på en bild och göra en mask av kroppens kontur. Därifrån, den matchar en 3D-mall till motivets kroppsposition. Sedan gör algoritmen något överraskande:För att förvränga mallen så att den faktiskt ser ut som personen på bilden, den projicerar 3D-personen tillbaka till 2D.

"Det är väldigt svårt att manipulera i 3D exakt, " sa medförfattaren Chung-Yi Weng, en doktorand i Allen School. "Du kanske kan göra det ungefär, men alla fel kommer att vara uppenbara när du animerar karaktären. Så vi måste hitta ett sätt att hantera saker perfekt, och det är lättare att göra detta i 2D."

Photo Wake-Up lagrar 3D-information för varje pixel:dess avstånd från kameran eller artisten och hur en persons leder är sammankopplade. När mallen har vridits för att matcha personens form, Algoritmen klistrar på texturen – färgerna från bilden. Den genererar också ryggen på personen genom att använda information från bilden och 3D-mallen. Sedan syr verktyget ihop de två sidorna för att skapa en 3D-person som kommer att kunna vända sig om.

När 3D-karaktären är redo att köras, Algoritmen måste ställa in bakgrunden så att karaktären inte lämnar ett tomt utrymme efter sig. Photo Wake-Up fyller i hålet bakom personen genom att låna information från andra delar av bilden.

Just nu fungerar Photo Wake-Up bäst med bilder av människor som är vända framåt, och kan animera både konstnärliga skapelser och fotografier av riktiga människor. Algoritmen kan också hantera vissa bilder där människors armar blockerar delar av deras kroppar, men det är ännu inte kapabelt att animera människor som har benen i kors eller som blockerar stora delar av sig själva.

"Photo Wake-Up är ett nytt sätt att interagera med foton, " sa Weng. "Det kan inte göra allt ännu, men det här är bara början."