Forskare har utvecklat ett system som använder artificiell intelligens som kan redigera skådespelares ansiktsuttryck för att exakt matcha dubbade röster, sparar tid och minskar kostnaderna för filmindustrin. Den kan också användas för att korrigera blick och huvudställning i videokonferenser, och möjliggör nya möjligheter för videopostproduktion och visuella effekter.

Tekniken har utvecklats av ett internationellt team ledd av en grupp från Max Planck Institute for Informatics och inklusive forskare från University of Bath, Technicolor, TU München och Stanford University. Arbetet, kallade Deep Video Portraits, presenterades för första gången vid SIGGRAPH 2018-konferensen i Vancouver den 16 augusti.

Till skillnad från tidigare metoder som enbart fokuserar på rörelser i ansiktets inre, Deep Video Portraits kan också animera hela ansiktet inklusive ögon, ögonbryn, och huvudposition i videor, använder kontroller kända från ansiktsanimering med datorgrafik. Den kan till och med syntetisera en trovärdig statisk videobakgrund om huvudet flyttas runt.

Hyeongwoo Kim från Max Planck Institute for Informatics förklarar:"Det fungerar genom att använda modellbaserad 3D-ansiktsfångst för att registrera ögonbrynens detaljerade rörelser, mun, näsa, och huvudposition för dubbningsskådespelaren i en video. Den transponerar sedan dessa rörelser till "målskådespelaren" i filmen för att exakt synkronisera läpparna och ansiktsrörelserna med det nya ljudet."

Forskningen är för närvarande på proof-of-concept-stadiet och har ännu inte fungerat i realtid, men forskarna antar att tillvägagångssättet kan göra en verklig skillnad för den visuella underhållningsindustrin.

Professor Christian Theobalt, från Max Planck Institute for Informatics, sa:"Trots omfattande efterproduktionsmanipulation, Dubbning av filmer till främmande språk visar alltid en obalans mellan skådespelaren på skärmen och den dubbade rösten.

"Vår nya Deep Video Portrait-metod gör det möjligt för oss att ändra utseendet på en målskådespelare genom att överföra huvudställning, ansiktsuttryck, och ögonrörelser med en hög nivå av realism."

Medförfattare till tidningen, Dr Christian Richardt, från University of Baths forskningscenter för motion capture CAMERA, tillägger:"Denna teknik skulle också kunna användas för efterproduktion i filmindustrin där datorgrafikredigering av ansikten redan används i stor utsträckning i dagens långfilmer."

Ett bra exempel är "The Curious Case of Benjamin Button" där Brad Pitts ansikte ersattes med en modifierad datorgrafikversion i nästan varje bildruta i filmen. Detta arbete är fortfarande en mycket tidskrävande process, ofta kräver många veckors arbete av utbildade konstnärer.

"Deep Video Portraits visar hur en sådan visuell effekt skulle kunna skapas med mindre ansträngning i framtiden. Med vårt tillvägagångssätt kunde även placeringen av en skådespelares huvud och deras ansiktsuttryck enkelt redigeras för att ändra kameravinklar eller subtilt ändra inramningen av en scen att berätta historien bättre."

Dessutom, detta nya tillvägagångssätt kan också användas i andra applikationer, som författarna visar på sin projektwebbplats, till exempel i video- och VR-telekonferenser, där den kan användas för att korrigera blick och huvudställning så att en mer naturlig konversationsmiljö uppnås. Mjukvaran möjliggör många nya kreativa applikationer inom visuell medieproduktion, men författarna är också medvetna om potentialen för missbruk av modern videoredigeringsteknik.

Dr Michael Zollhöfer, från Stanford University, förklarar:"Mediebranschen har bättrat på foton med fotoredigeringsprogram i många år, vilket innebär att de flesta av oss har lärt sig att ta det vi ser på bilder med en nypa salt. Med ständigt förbättrad videoredigeringsteknik, vi måste också börja vara mer kritiska till videoinnehållet vi konsumerar varje dag, speciellt om det inte finns något ursprungsbevis. Vi tror att området digital forensics borde och kommer att få mycket mer uppmärksamhet i framtiden för att utveckla metoder som automatiskt kan bevisa äktheten av ett videoklipp. Detta kommer att leda till allt bättre tillvägagångssätt som kan upptäcka sådana modifieringar även om vi människor kanske inte kan upptäcka dem med våra egna ögon."

För att ta itu med detta, forskargruppen använder samma teknik för att utveckla i tandem neurala nätverk som är tränade för att upptäcka syntetiskt genererad eller redigerad video med hög precision för att göra det lättare att upptäcka förfalskningar. Författarna har inga planer på att göra programvaran allmänt tillgänglig men säger att all programvara som implementerar de många kreativa användningsfallen bör inkludera vattenmärkningsscheman för att tydligt markera ändringar.