Många designers för den virtuella världen tycker att det är utmanande att designa effektivt trovärdiga komplexa texturer eller mönster i stor skala. Verkligen, så kallad "textursyntes, "designen av exakta texturer som vattenkrusningar i en flod, betongväggar, eller mönster av löv, är fortfarande en svår uppgift för konstnärer. En uppsjö av icke-stationära texturer i den "verkliga världen" skulle kunna återskapas i spel eller virtuella världar, men de befintliga teknikerna är tråkiga och tidskrävande.

För att möta denna utmaning, ett globalt team av datavetare har utvecklat en unik artificiell intelligens-baserad teknik som tränar ett nätverk att lära sig att expandera små texturer till större. Forskarnas datadrivna metod utnyttjar en AI-teknik som kallas generativa motstridiga nätverk (GAN) för att träna datorer att expandera texturer från en provlapp till större instanser som bäst liknar det ursprungliga provet.

"Vår metod hanterar framgångsrikt icke-stationära texturer utan någon hög nivå eller semantisk beskrivning av den storskaliga strukturen, säger Yang Zhou, huvudförfattare till verket och biträdande professor vid Shenzhen University och Huazhong University of Science &Technology. "Den kan hantera mycket utmanande texturer, som, så vitt vi vet, ingen annan befintlig metod kan hantera. Resultaten är realistiska konstruktioner producerade i hög upplösning, effektivt, och i mycket större skala."

Det grundläggande målet med exempelbaserad textursyntes är att generera en textur, vanligtvis större i storlek än inmatningen, som nära fångar de visuella egenskaperna hos provinmatningen – men inte helt identisk med den – och bibehåller ett realistiskt utseende. Exempel på icke-stationära texturer inkluderar texturer med storskaliga oregelbundna strukturer, eller de som uppvisar rumslig variation i vissa attribut som färg, lokal orientering, och lokal skala. I tidningen, forskarna testade sin metod på så komplexa exempel som påfågelfjädrar och trädstamkrusningar, som till synes är oändliga i sina repetitiva mönster.

Zhou och hans medarbetare, inklusive Zhen Zhu och Xiang Bai (Huazhong University), Dani Lischinski (The Hebrew University of Jerusalem), Daniel Cohen-Or (Shenzhen University och Tel Aviv University), och Hui Huang (Shenzhen University), kommer att presentera sitt arbete på SIGGRAPH 2018, hölls 12-16 augusti i Vancouver, British Columbia. Denna årliga sammankomst visar upp världens ledande proffs, akademiker, och kreativa hjärnor i framkant av datorgrafik och interaktiva tekniker.

Deras metod går ut på att träna ett generativt nätverk, kallas generator, att lära sig att expandera (dvs. dubbla den rumsliga utsträckningen av) ett godtyckligt texturblock beskuret från ett exemplar, så att det utökade resultatet visuellt liknar ett innehållande exemplarblock av lämplig storlek (två gånger större). Den visuella likheten mellan det automatiskt expanderade blocket och det faktiska innehållsblocket bedöms med hjälp av ett diskriminerande nätverk (diskriminator). Som typiskt för GAN, diskriminatorn tränas parallellt med generatorn för att skilja mellan verkliga stora block från exemplet och de som produceras av generatorn.

Säger Zhou, "Otroligt, vi fann att genom att använda en så begreppsmässigt enkel, självövervakad kontradiktorisk utbildningsstrategi, det tränade nätverket fungerar nästan perfekt på ett brett spektrum av texturer, inklusive både stationära och mycket icke-stationära texturer."

Verktyget är tänkt att hjälpa texturartister i videospelsdesign, virtuell verklighet, och animation. När den självövervakade motståndsutbildningen äger rum för varje givet texturprov, ramverket kan användas för att automatiskt generera utökade texturer, upp till dubbla den ursprungliga provstorleken. Nerför gatan, forskarna hoppas att deras system faktiskt kommer att kunna extrahera högnivåinformation om texturer på ett oövervakat sätt.

Dessutom, i framtida arbete, teamet har för avsikt att träna en "universell" modell på en storskalig texturdatauppsättning, samt öka användarkontrollen. För texturartister, kontrollerad syntes med användarinteraktion kommer sannolikt att vara ännu mer användbar eftersom konstnärer tenderar att manipulera texturerna för sin egen design.

För hela papper och video, besök teamets projektsida.