I vanliga fall, det krävs dyr utrustning och expertis för att skapa en exakt 3D-rekonstruktion av någons ansikte som är realistiskt och inte ser läskigt ut. Nu, Forskare från Carnegie Mellon University har avbrutit prestationen med hjälp av video inspelad på en vanlig smartphone.

Att använda en smartphone för att filma en kontinuerlig video av framsidan och sidorna av ansiktet genererar ett tätt moln av data. En tvåstegsprocess utvecklad av CMU:s Robotics Institute använder dessa data, med lite hjälp från djupinlärningsalgoritmer, att bygga en digital rekonstruktion av ansiktet. Teamets experiment visar att deras metod kan uppnå sub-millimeter noggrannhet, överträffar andra kamerabaserade processer.

Ett digitalt ansikte kan användas för att bygga en avatar för spel eller för virtuell eller förstorad verklighet, och kan också användas i animering, biometrisk identifiering och till och med medicinska procedurer. En exakt 3D-återgivning av ansiktet kan också vara användbart för att bygga skräddarsydda kirurgiska masker eller andningsskydd.

"Att bygga en 3D-rekonstruktion av ansiktet har varit ett öppet problem i datorsyn och grafik eftersom människor är mycket känsliga för utseendet på ansiktsdrag, "sa Simon Lucey, docent vid Robotics Institute. "Även små avvikelser i rekonstruktionerna kan få slutresultatet att se orealistiskt ut."

Laserskannrar, strukturerade ljus- och multikamerastudiouppsättningar kan producera mycket exakta skanningar av ansiktet, men dessa specialiserade sensorer är oöverkomligt dyra för de flesta applikationer. CMU:s nyutvecklade metod, dock, kräver bara en smartphone.

Metoden, som Lucey utvecklade med masterstudenterna Shubham Agrawal och Anuj Pahuja, presenterades i början av mars vid IEEE Winter Conference on Applications of Computer Vision (WACV) i Snowmass, Colorado. Det börjar med att spela in 15-20 sekunder med video. I detta fall, forskarna använde en iPhone X i slowmotion.

"Den höga bildhastigheten för slowmotion är en av de viktigaste sakerna för vår metod eftersom den genererar ett tätt punktmoln, "Sa Lucey.

Forskarna använder sedan en vanligt förekommande teknik som kallas visuell simultan lokalisering och kartläggning (SLAM). Visual SLAM triangulerar punkter på en yta för att beräkna dess form, samtidigt som du använder den informationen för att bestämma kamerans position. Detta skapar en första geometri i ansiktet, men saknade data lämnar luckor i modellen.

I det andra steget i denna process, forskarna arbetar för att fylla i dessa luckor, först genom att använda djupinlärningsalgoritmer. Deep learning används på ett begränsat sätt, dock:den identifierar personens profil och landmärken som öron, ögon och näsa. Klassiska datorsynstekniker används sedan för att fylla i luckorna.

"Deep learning är ett kraftfullt verktyg som vi använder varje dag, "Sa Lucey." Men djupinlärning har en tendens att memorera lösningar, "som motverkar ansträngningar för att inkludera utmärkta detaljer i ansiktet." Om du använder dessa algoritmer bara för att hitta landmärken, du kan använda klassiska metoder för att fylla i luckorna mycket lättare. "

Metoden är inte nödvändigtvis snabb; det tog 30-40 minuters bearbetningstid. Men hela processen kan utföras på en smartphone.

Förutom ansiktsrekonstruktioner, CMU -teamets metoder kan också användas för att fånga geometri för nästan vilket objekt som helst, Sa Lucey. Digitala rekonstruktioner av dessa objekt kan sedan införlivas i animationer eller kanske överföras över internet till webbplatser där objekten kan kopieras med 3D-skrivare.