Monte Carlos beräkningsmetoder ligger bakom många av de realistiska bilderna i spel och filmer. De automatiserar komplexiteten i att simulera ljusets och kamerornas fysik för att generera högkvalitativa renderingar från prover av olika bildfunktioner och scener. Men processen med Monte Carlo-rendering är långsam och kan ta timmar – eller till och med dagar – att producera en enda bild, och ofta är resultaten fortfarande pixlade, eller "bullrigt".

Ett globalt team av datavetare från MIT, Adobe, och Aalto-universitetet har utvecklat en innovativ metod för att producera bilder och scendesigner av högre kvalitet på mycket kortare tid genom att använda en djupinlärningsbaserad metod som avsevärt minskar bruset i bilder. Deras metod resulterar i skarpare bilder som effektivt fångar intrikata detaljer från exempelfunktioner, inklusive komplexa belysningskomponenter som skuggning, indirekt belysning, Rörelseoskärpa, och skärpedjup.

Forskarna kommer att presentera sitt arbete på SIGGRAPH 2019, hölls 28 juli-1 augusti i Los Angeles. Denna årliga sammankomst visar upp världens ledande proffs, akademiker, och kreativa hjärnor i framkant av datorgrafik och interaktiva tekniker.

"Vår algoritm kan producera rena bilder från brusiga ingångsbilder med väldigt få prover, och kan vara användbar för att producera snabba renderade förhandsvisningar samtidigt som man itererar på scendesign, " säger studiens huvudförfattare Michaël Gharbi, forskare på Adobe. Gharbi började forskningen som doktorand. student vid MIT i Frédo Durands labb, som också är medförfattare.

Teamets arbete fokuserar på så kallad "denoising, " en efterbehandlingsteknik för att minska bildbrus i Monte Carlo-rendering. Den behåller i huvudsak detaljerna i en bild och tar bort allt som försämrar dess skärpa. I tidigare arbeten, datavetare har utvecklat metoder som jämnar ut bruset genom att ta medelvärdet från pixlarna i en provbild och närliggande pixlar.

"Det här fungerar ganska bra, och flera filmer har faktiskt använt detta i produktionen, " konstaterar medförfattare Tzu-Mao Li, en färsk doktorsexamen. examen från MIT som också studerade under Durand. "Dock, om bilderna är för brusiga, ofta kan efterbehandlingsmetoderna inte återställa rena och skarpa bilder. Vanligtvis behöver användare fortfarande hundratals prover per pixel i genomsnitt för en bild med rimlig kvalitet – en tråkig, tidskrävande process."

Något jämförbar är processen att redigera ett foto i ett grafikprogram. Om en användare inte arbetar från originalet, rå fil, ändrade versioner av fotot kommer sannolikt inte att resultera i en tydlig, skarp, slutlig högupplöst bild. Ett liknande men mer komplext problem är bildnedsättning.

För detta ändamål, forskarnas nya beräkningsmetod innebär att man arbetar med Monte Carlo-proverna direkt, istället för genomsnittet, brusiga bilder där den mesta informationen redan har gått förlorad. Till skillnad från typiska metoder för djupinlärning som handlar om bilder eller videor, forskarna demonstrerar en ny typ av faltningsnätverk som kan lära sig att försvaga renderingar direkt från den råa uppsättningen av Monte Carlo-prover snarare än från de reducerade, pixelbaserade representationer.

En viktig del av deras arbete är ett nytt kärnförutsägande beräkningsramverk som "markerar" enskilda prover – färger och texturer – på närliggande pixlar för att skärpa bildens övergripande komposition. I traditionell bildbehandling, en kärna används för att göra suddiga eller skärpa. Stänkning är en teknik som tar itu med rörelseoskärpa eller skärpedjupsproblem och gör det lättare att jämna ut ett pixlat område av ett prov.

I det här arbetet, teamets stänkalgoritm genererar en 2D-kärna för varje prov, och "markera" provet på bilden. "Vi hävdar att detta är ett mer naturligt sätt att göra efterbearbetningen, " säger Li. Teamet tränade sitt nätverk med hjälp av en slumpmässig scengenerator och testade utförligt sin metod på en mängd realistiska scener, inklusive olika ljusscenarier som indirekt och direkt belysning.

"Vår metod ger renare utdata vid mycket låga provantal, där tidigare metoder vanligtvis kämpar, " tillägger Gharbi.

I framtida arbete, forskarna har för avsikt att ta itu med skalbarheten med sin metod för att utöka till fler exempelfunktioner och utforska tekniker för att framtvinga jämnheten bildruta till bildruta för de osynliga bilderna.

Pappret, "Sample-based Monte Carlo Denoising Using a Kernel-Splatting Network, " är också medförfattare av Miika Aittala vid MIT och Jaakko Lehtinen vid Aalto University och Nvidia. För mer information och en video, besök teamets projektsida.