Datavetare är fokuserade på att lägga till förbättrad funktionalitet för att göra "verkligheten" i miljöer med virtuell verklighet (VR) mycket trovärdig. En nyckelaspekt av VR är att möjliggöra sociala interaktioner på distans och möjligheten att göra det mer uppslukande än något tidigare telekommunikationsmedium. Forskare från Facebook Reality Labs (FRL) har utvecklat ett revolutionerande system som kallas Codec Avatars som ger VR-användare möjligheten att interagera med andra samtidigt som de representerar sig själva med verklighetstrogna avatarer exakt animerade i realtid. Forskarna strävar efter att bygga framtiden för anslutning inom virtuell verklighet, och slutligen, förstärkt verklighet genom att leverera den mest socialt engagerade upplevelsen som möjligt för användare i VR-världen.

Hittills, mycket fotorealistiska avatarer renderade i realtid har uppnåtts och används ofta i datoranimering, varvid skådespelare är utrustade med sensorer som är optimalt placerade för att beräkningsmässigt fånga geometriska detaljer i deras ansikten och ansiktsuttryck. Denna sensorteknik, dock, inte är kompatibel med befintliga VR-headsetdesigner eller plattformar, och typiska VR-headset blockerar olika delar av ansiktet så att fullständig ansiktsfångningsteknik är svår. Därför, dessa system är mer lämpade för envägsprestationer snarare än tvåvägsinteraktioner där två eller flera personer alla bär VR-headset.

"Vårt arbete visar att det är möjligt att exakt animera fotorealistiska avatarer från kameror nära monterade på ett VR-headset, " säger huvudförfattaren Shih-En Wei, forskare på Facebook. Wei och medarbetare har konfigurerat ett headset med minimala sensorer för ansiktsfångning, och deras system möjliggör tvåvägs, autentisk social interaktion i VR.

Wei och hans kollegor från Facebook kommer att demonstrera sitt VR-ansiktsanimationssystem i realtid på SIGGRAPH 2019, hölls 28 juli-1 augusti i Los Angeles. Denna årliga sammankomst visar upp världens ledande proffs, akademiker, och kreativa hjärnor i framkant av datorgrafik och interaktiva tekniker.

I det här arbetet, forskarna presenterar ett system som kan animera avatarhuvuden med mycket detaljerade personliga likheter genom att exakt spåra användarnas ansiktsuttryck i realtid med ett minimum av headsetmonterade kameror (HMC). De tar sig an två viktiga utmaningar:svåra kameravyer på HMC och de stora utseendeskillnaderna mellan bilder som tagits från headsetets kameror och renderingar av personens verklighetstrogna avatar.

Teamet utvecklade en "tränings"-headsetprototyp, som inte bara har kameror på det vanliga spårningsheadsetet för realtidsanimering, men är dessutom utrustad med kameror i mer tillmötesgående positioner för perfekt ansiktsspårning. Forskarna presenterar en artificiell intelligens-teknik baserad på Generative Adversarial Networks (GAN) som utför konsekvent multi-view bildstilsöversättning för att automatiskt konvertera HMC infraröda bilder till bilder som ser ut som en renderad avatar men med samma ansiktsuttryck som personen.

"Genom att jämföra dessa konverterade bilder med varje pixel – inte bara glesa ansiktsdrag – och renderingarna av 3D-avatar, " noterar Wei, "vi kan exakt kartlägga mellan bilderna från spårningsheadsetet och statusen för 3D-avataren genom differentierbar rendering. Efter att kartläggningen har upprättats, vi tränar ett neuralt nätverk för att förutsäga ansiktsparameter från en minimal uppsättning kamerabilder i realtid."

De visade en mängd olika exempel i detta arbete, och kunde visa att deras metod kan hitta högkvalitativa mappningar även för subtila ansiktsuttryck på övre ansiktet - ett område som är mycket svårt att fånga - där kameravinkeln från headsetet är snett och för nära motivet. Forskarna visar också extremt detaljerad ansiktsfångst, inklusive subtila skillnader i tungomål, tänder, och ögon, där avataren inte har detaljerad geometri.

Förutom att animera avatarerna i VR, FRL-teamet bygger också system som en dag kan göra det möjligt för människor att snabbt och enkelt skapa sina avatarer från bara några bilder eller videor. Medan dagens Codec-avatarer skapas automatiskt, processen kräver ett stort system av kameror och mikrofoner för att fånga individen. FRL syftar också till att skapa och animera hela kroppar för att uttrycka mer kompletta sociala signaler. Även om den här tekniken är år borta från att nå konsumentheadset, forskargruppen arbetar redan med möjliga lösningar för att hålla avatardata säker och säkerställa att avatarer endast kan nås av de personer de representerar.