Fånga och återge realistiska, Verkliga objekt för alla virtuella miljöer är komplexa och tidskrävande. Föreställ dig att du använder en vanlig kamera med inbyggd blixt – från vilken mobil enhet som helst eller standardkamera – för att förenkla denna uppgift. Ett globalt team av datavetare har utvecklat en ny metod som replikerar fysiska objekt för det virtuella och förstorade verklighetsutrymmet bara med en pek-och-skjut kamera med blixt, utan behov av ytterligare, och ofta dyrt, stödjande hårdvara.

"För att troget återge ett verkligt objekt i VR/AR-miljön, vi måste replikera objektets 3D-geometri och utseende, "säger Min H. Kim, docent i datavetenskap vid KAIST i Sydkorea och huvudförfattare till forskningen. "Traditionellt, detta har antingen gjorts manuellt av 3-D-artister, vilket är en arbetsintensiv uppgift, eller genom att använda specialiserade, dyr hårdvara. Vår metod är enkel, billigare och effektivare, och återger realistiska 3D-objekt genom att bara ta bilder från en enda kamera med en inbyggd blixt."

Kim och hans medarbetare, Diego Gutierrez, professor i datavetenskap vid Universidad de Zaragoza i Spanien, och KAIST Ph.D. eleverna Giljoo Nam och Joo Ho Lee, kommer att presentera detta nya arbete på SIGGRAPH Asia 2018 i Tokyo 4 december till 7 december. Den årliga konferensen har de mest respekterade tekniska och kreativa medlemmarna inom området datorgrafik och interaktiva tekniker, och visar upp ledande forskning inom vetenskap, konst, spel och animation, bland andra sektorer.

Befintliga tillvägagångssätt för förvärv av fysiska objekt kräver specialiserade hårdvaruinställningar för att uppnå geometri- och utseendemodellering av de önskade objekten. Dessa inställningar kan inkludera en 3D-laserskanner eller flera kameror, eller en ljuskupol med mer än hundra ljuskällor. I kontrast, denna nya teknik behöver bara en enda kamera, att producera högkvalitativa resultat.

"Många traditionella metoder som använder en enda kamera kan bara fånga 3D-geometrin hos objekt, men inte den komplexa reflektionen av verkliga objekt, ges av SVBRDF, "konstaterar Kim. SVBRDF, som står för rumsligt varierande dubbelriktade reflektansfördelningsfunktioner, är nyckeln till att få ett objekts verkliga form och utseende. "Att endast använda 3-D-geometri kan inte återge objektets realistiska utseende i AR/VR-miljön. Vår teknik kan fånga högkvalitativ 3-D-geometri såväl som dess materialutseende så att objekten kan realistiskt återges i alla virtuella miljö."

Gruppen demonstrerade sitt ramverk med hjälp av en digitalkamera, Nikon D7000 och den inbyggda kameran i en Android-mobiltelefon, i en serie exempel i deras tidning, "Praktisk SVBRDF-insamling av 3D-objekt med ostrukturerad blixtfotografering." Den nya algoritmen, som inte kräver någon ingångsgeometri för målobjektet, framgångsrikt fångat geometrin och utseendet hos 3D-objekt med grundläggande, blixtfotografering och återger konsekventa resultat. Exempel som visades upp i arbetet inkluderade en mängd olika föremål som sträckte sig över ett brett spektrum av geometrier och material, inklusive metall, trä, plast, keramisk, harts och papper, och består av komplexa former som en fin detaljerad ministatut för Nefertiti.

I framtida arbete, forskarna hoppas kunna förenkla infångningsprocessen ytterligare eller utöka metoden till att inkludera dynamisk geometri eller större scener, till exempel.