Även nybörjarfotografer och videografer som förlitar sig på sina handhållna enheter för att ta bilder eller göra videor överväger ofta motivets belysning. Belysning är avgörande för filmskapande, spel, och virtual/augmented reality -miljöer och kan göra eller bryta kvaliteten på en scen och skådespelarna och artisterna i den. Att kopiera realistisk karaktärsbelysning har förblivit en svår utmaning inom datorgrafik och datorsyn.

Även om betydande framsteg har gjorts med volymetriska fångstsystem, med fokus på 3D-geometrisk rekonstruktion med högupplösta texturer, till exempel metoder för att uppnå realistiska former och strukturer i det mänskliga ansiktet, mycket mindre arbete har gjorts för att återställa fotometriska egenskaper som behövs för tändning av tecken. Resultat från sådana system saknar fina detaljer och ämnets skuggning förbehandlas i texturen.

Datavetare på Google revolutionerar detta område av volymetrisk fångstteknologi med en ny, omfattande system som kan, för första gången, för att fånga hela kroppens reflektion av 3-D mänskliga föreställningar, och smidigt smälta in dem i den verkliga världen genom AR eller i digitala scener i filmer, spel, och mer. Google kommer att presentera sitt nya system, kallade The Relightables, på ACM SIGGRAPH Asia, hölls 17 till 20 november i Brisbane, Australien. SIGGRAPH Asien, nu på 12:e året, lockar de mest respekterade tekniska och kreativa människorna från hela världen inom datorgrafik, animering, interaktivitet, spel, och framväxande teknik.

Det har varit stora framsteg inom detta arbetsområde som industrin kallar 3D-fångstsystem. Genom dessa sofistikerade system, tittarna har kunnat uppleva digitala karaktärer som kommer till liv på storskärmen, till exempel, i storfilmer som Avatar och Avengers -serien och mycket mer.

Verkligen, den volymetriska fångsttekniken har nått en hög kvalitetsnivå, men många av dessa rekonstruktioner saknar fortfarande sann fotorealism. Särskilt, trots att dessa system använder avancerade studioinställningar med gröna skärmar, de kämpar fortfarande med att fånga högfrekventa detaljer om människor och de återställer bara ett fast belysningstillstånd. Detta gör dessa volymetriska inspelningssystem olämpliga för fotorealistisk återgivning av skådespelare eller artister i godtyckliga scener under olika ljusförhållanden.

Googles Relightables-system gör det möjligt att anpassa belysning på karaktärer i realtid eller tända dem igen i en given scen eller miljö.

De visar detta på motiv som spelas in i en anpassad geodesisk sfär utrustad med 331 anpassade färg -LED -lampor (även kallat ett Light Stage capture -system), en rad högupplösta kameror, och en uppsättning anpassade högupplösta djupgivare. Relightables -systemet fångar cirka 65 GB per sekund rå data från nästan 100 kameror och dess beräkningsramverk möjliggör behandling av data effektivt i denna skala.

Deras system fångar reflektionsinformationen om en person - hur ljuset interagerar med huden är en viktig faktor för hur realistiska digitala människor ser ut. Tidigare försök använde antingen platt belysning eller nödvändiga datorgenererade tecken. De kan inte bara fånga reflektionsinformation om en person, men de kan spela in medan personen rör sig fritt inom volymen. Som ett resultat, de kan återuppta sin animering i godtyckliga miljöer.

Historiskt sett kameror spelar in människor från en enda synvinkel och ljusförhållanden. Detta nya system, notera forskarna, tillåter användare att spela in någon och sedan se dem från alla synvinklar och ljusförhållanden, ta bort behovet av en grön skärm för att skapa specialeffekter och möjliggöra mer flexibla ljusförhållanden.

Rymdets interaktioner, ljus, och skugga mellan en artist och deras miljö spelar en avgörande roll för att skapa en känsla av närvaro. Utöver att bara klippa och klistra in en 3D-videoinspelning, systemet ger möjlighet att spela in någon och sedan sömlöst placera dem i nya miljöer - oavsett om de är i sitt eget utrymme för AR -upplevelser - eller i en VR -värld, filma, eller spelupplevelse.

På SIGGRAPH Asia, Teamet Relightables kommer att presentera komponenterna i deras system, från inspelning till bearbetning till visning, med videodemos från varje steg. De kommer att gå deltagare genom ins och outs av att bygga The Relightables, beskriva de stora utmaningarna de tog itu med i arbetet och visa upp några häftiga applikationer och renderingar.