En ny beräkningsmetod, bygger på datadrivna tekniker, gör det möjligt att förvandla enkel 2D-skiss till en realistisk 3D-form, med liten eller ingen användarinput nödvändig.

Ett globalt team av datavetare från University of Hong Kong, Microsoft och University of British Columbia, har utvecklat ett nytt ramverk, kombinera CNN, eller konvolutionerande neurala nätverkstekniker, med geometriska slutledningsmetoder för att beräkna skisser och deras motsvarande 3D-former, snabbare och mer intuitivt än befintliga metoder.

"Vårt verktyg kan användas av konstnärer för att snabbt och enkelt rita friformsformer som kan fungera som basformer och förfinas ytterligare med avancerad modelleringsprogramvara, säger Hao Pan, forskare på Microsoft Research Asia som ledde arbetet. Nybörjare kan också använda det som ett tillgängligt verktyg för att skapa snyggt innehåll för sina 3D-skapelser och virtuella världar.

Den nya metoden bygger på teamets tidigare skissbaserade 3D-modelleringsarbete—BendSketch:Modeling Freeform Surfaces through 2-D Sketching—en rent geometriskt baserad metod som kräver kommenterade skissingångar. Lägger till Pan, "Vi vill utveckla en metod som är både intelligent - i betydelsen att kräva så få användarinmatningar som möjligt och göra alla nödvändiga slutsatser automatiskt, och generisk – så att vi inte behöver träna en ny maskininlärningsmodell för varje specifik objektkategori."

Pans medarbetare Changjian Li och Wenping Wang vid University of Hong Kong; Yang Liu och Xin Tong på Microsoft Research Asia; och Alla Sheffer vid University of British Columbia, kommer att presentera på SIGGRAPH Asia 2018 i Tokyo 4 december till 7 december. Den årliga konferensen har de mest respekterade tekniska och kreativa medlemmarna inom området datorgrafik och interaktiva tekniker, och visar upp ledande forskning inom vetenskap, konst, spel och animation, bland andra sektorer.

Det är en utmaning att enkelt, automatiskt omvandla en gles, ofullständig 2D-skiss till en robust 3D-form. Den viktigaste utmaningen som forskarna tog upp i detta arbete är den betydande informationsskillnad som presenteras mellan stadierna av "skiss" och "3-D"-modell. Det är här artisten skulle fylla i funktioner som stötar, böjer sig, veck, dalar, åsar på ytritningarna för att skapa en 3D-design. För varje skiss, visade i sin tidning, metoden använder en CNN för att förutsäga 3D-ytfläcken.

Forskarnas CNN tränas på en stor datamängd som genereras genom att rendera skisser av olika 3D-former med hjälp av icke-fotorealistisk linjerendering, eller NPR, metod som automatiskt efterliknar mänskliga skissar av friformsformer – former, inklusive en nallebjörn, en fågel eller en fisk, till exempel. Forskarna validerade sin nya metod, jämförde det med befintliga metoder och utvärderade dess prestanda. Resultaten visade att deras metod ger ett nytt sätt att producera 3-D-modellering från 2-D-skisser på ett användarvänligt och mer robust sätt.

Ett exempel, ingår i deras tidning, involverade nybörjare som testades på den nya metoden. Användarna har liten kunskap eller utbildning om skissning eller 3D-modellering. De fick en 20 minuters träningsdemo om den nya metoden. De ombads sedan att skapa tre målformer – fågel, nallebjörn och delfin — av varierande komplexitet. Användarna lyckades slutföra uppgifterna, allt från bara 5 minuter till totalt 20 minuter. Som nämnts i tidningen, nybörjardeltagarna tyckte att skisserna var lätta att producera med hjälp av forskarnas verktyg, och några ville också utforska mer med den.

I framtida arbete, forskarna avser att utforska flera möjligheter och förlängningar av deras algoritm. Till exempel, för närvarande modellerar deras metod en ytlapp varje gång genom att skissera i sikte, men det skulle vara fördelaktigt att kunna modellera en komplett form genom att skissa både fram- och baklappar i en enda vy. De hoppas också kunna förbättra verktyget så att han kan hantera flera skalamodeller, så att storskaliga former och fina detaljer kan skissas med lätthet.