Google har presenterat en ny uppslukande upplevelse av virtuell verklighet (VR) baserad på ett nytt system som fångar och ger högkvalitativa, realistiska bilder från den verkliga världen med ljusfält. Skapat av ett team av ledande forskare på Google, Välkommen till Light Fields är teknikjättens skvätt in i den framväxande arenan för ljusfält VR -upplevelser, ett spännande hörn av VR-videoteknologi som får fäste för sitt löfte att leverera extremt högkvalitativa bilder och upplevelser i den virtuella världen.

Google släppte Welcome to Light Fields tidigare i år som en gratis app på Steam VR för HTC Vive, Oculus Rift, och Windows Mixed Reality -headset. Skaparna kommer att demonstrera VR -upplevelsen på SIGGRAPH 2018, i den nedsänkande paviljongen, ett nytt utrymme för årets konferens. Paviljongen ägnas uteslutande åt virtuella, förändrad, och blandad verklighet och kommer att innehålla:Vrcade, ett utrymme för VR, AR, och MR -spel eller upplevelser; VR -teatern, en berättande extravaganza som är en del av Computer Animation Festival; och den välkända byn, för att visa upp stora projekt. SIGGRAPH 2018, hölls 12-16 augusti i Vancouver, British Columbia, är en årlig samling som visar världens ledande proffs, akademiker, och kreativa sinnen i framkant av datorgrafik och interaktiva tekniker.

Destinationer i Welcome to Light Fields inkluderar NASA:s rymdfärjefynd, att ge tittarna en astronauts utsikt inuti flygdäcket, som aldrig har varit öppen för allmänheten; den orörda teak- och mahognyinredningen i Gamble House, en arkitektonisk skatt i Pasadena, CA; och den härliga Stefanskyrkan i Granada Hills, CA, hem till en fantastisk vägg med mer än 14, 000 bitar av glittrande glasmålningar.

"Jag älskar att ljusa fält i VR kan teleportera dig till exotiska platser i den verkliga världen, och verkligen få dig att tro att du är där, "säger Ryan Overbeck, programvaruutvecklare på Google som ledde projektet. "Till mig, det här är magi. "

För att väcka denna upplevelse till liv, Overbeck arbetade med ett team som inkluderade Paul Debevec, senior personalingenjör på Google, som ledde projektet och ledde hårdvarustycket med ingenjörerna Xueming Yu, Jay Busch, och Graham Fyffe. Med Overbeck, Daniel Erickson och Daniel Evangelakos fokuserade på programvaruänden. Forskarna utformade ett omfattande system för att fånga och återge högkvalitativa, sfäriska ljusfält stillbilder från filmer som tagits i den verkliga världen. De utvecklade två lättanvända ljusfältkameroriggar, baserad på GoPro Hero4action sportkamera, som effektivt tar tusentals bilder på ytan av en sfär. Dessa bilder skickades sedan genom en molnbaserad ljusfältbehandlingsrörledning.

Bland annat, förklarar Overbeck, "Behandlingsrörledningen använder datorsyn för att placera bilderna i 3D och generera djupkartor, och vi använder en modifierad version av vår vp9 -videokodek [videoformatering] för att komprimera ljusfältdata till en hanterbar storlek. "För att göra en ljusfältdataset, han noterar, laget använde en återgivningsalgoritm som blandar mellan tusentals ljusfältbilder i realtid.

Teamet förlitade sig på Googles begåvade pool av ingenjörer inom datorsyn, grafik, videokomprimering, och maskininlärning för att övervinna de unika utmaningarna inom ljusfältstekniken. De samarbetade också nära med WebM-teamet (som gör videokodec vp9) för att utveckla det högkvalitativa ljusfältkomprimeringsformatet som ingår i deras system, och lutade starkt på expertisen hos Jump VR -teamet för att hjälpa till att posera bilderna och generera djupkartor. (Jump är Googles professionella VR-system för att uppnå 3-D-360-videoproduktion i stor skala.)

Verkligen, med Välkommen till Light Fields, Google -teamet demonstrerar potentialen och löftet med ljusfält -VR -teknik, visar teknikens förmåga att ge en verkligt uppslukande upplevelse med en nivå av oöverträffad realism. Även om ljusfältsteknologi har forskats och utforskats i datorgrafik i mer än 30 år, praktiska system för att faktiskt leverera högkvalitativa ljusfältupplevelser har ännu inte varit möjligt.

En del av teamets motivation bakom att skapa denna VR -ljusfältupplevelse är att stärka det framväxande fältet.

"Välkommen till Light Fields bevisar att det nu är möjligt att skapa en övertygande VR-viewer för ljusfält som körs på hårdvara av konsumentkvalitet, och vi hoppas att denna kunskap kommer att uppmuntra andra att engagera sig för att bygga ljusfältsteknik och media, "säger Overbeck." Vi förstår att för att så småningom göra övertygande konsumentprodukter baserade på ljusa fält, vi behöver ett blomstrande ljusfältekosystem. Vi behöver codecs för öppna ljusfält, vi behöver konstnärer som skapar vackra ljusfältbilder, och vi behöver människor som använder VR för att interagera med ljusfält. "