Här är en ordsträng du kan tänka på:AI interaktiv grafik. Nvidia är huvudakten. GPU-brainiacs ligger helt bakom nästa kapitel, "AI, " för den grafiska industrin. Fantastiska saker händer när du tar med ett neuralt nätverkssystem till bordet för virtuella världar baserade på videomaterial.

Att skapa en verklighetstrogen digital scen kräver normalt mycket (och mycket) tålamod. "Nu kan vi bara överföra arbetet till en AI-algoritm, sade Will Knight, i sin titt på vad Nvidia arbetar med, i MIT Technology Review .

Nvidia tillkännager vad den sa var den första interaktiva AI-renderade virtuella världen, och kallade det ett "AI-genombrott." Teamet av forskare leddes av Bryan Catanzaro, vice President, tillämpad djupinlärning. "Vi lär faktiskt modellen hur man ritar baserat på riktig video, " sa han in MIT Technology Review .

Ramarna renderas med AI-teknik, sa forskare, Ting-Chun Wang. Med andra ord, teamet har tränat ett neuralt nätverk för att rendera 3D-miljöer efter att ha tränats på befintliga videor.

Genombrott börjar med någons fråga. På Nvidia, vad-om-frågan var, tänk om vi kunde träna en AI-modell att rita nya världar bara baserat på video från den verkliga världen? Så, det är nu en klar uppgörelse inom teknik som visar en sådan bildgenerering.

Riktade användare är utvecklare och artister. Tanken är att de ska skapa interaktiva 3D virtuella världar för bilindustrin, spel eller virtuell verklighet.

Videor av städer för att återge stadsmiljö valdes ut på vilka de tränade det neurala nätverket.

"Vi fick körsekvenser av olika städer, " sa Ting-Chun Wang. Sedan använde de ett annat segmenteringsnätverk, för att extrahera semantiken på hög nivå, han sa, från dessa sekvenser.

UE4-motorn hjälpte till att skapa de färgade layouterna – olika objekt fick olika färger. Nätverket konverterar i sin tur representationen till bilder.

[UE4 hänvisar till Unreal Engine 4. Gränsen beskrev det som "en populär motor som används för titlar som Fortnite, PUBG, Gears of War 4, och många andra." Sajten Unreal Engine 4 sa att det är "en komplett svit av spelutvecklingsverktyg gjorda av spelutvecklare, för spelutvecklare."]

Nvidia har visat sina framsteg på NeurIPS-konferensen i Montreal, Kanada, en show fokuserad på AI-forskning.

Ja, men, annat än ge-whiz-faktorn, vad är poängen? Att skapa innehåll är dyrt och denna AI-rutt sparar pengar och det sparar tid. Ny Atlas gjorde observationen att "För att få virtuella världar att kännas mer uppslukande, konstnärer måste fylla dem med byggnader, stenar, träd, och andra föremål. Att skapa och placera alla dessa virtuella objekt lägger snabbt ihop till ganska hög utvecklingstid och kostnad."

För spelutveckling eller andra applikationer, Nvidia utforskade en metod som skulle göra det möjligt för utvecklare att skapa till en lägre kostnad, genom att använda AI som lär sig av den verkliga världen. Nyhetsmeddelandet påpekade att eftersom utdata genereras syntetiskt, "en scen kan enkelt redigeras för att ta bort, ändra, eller lägg till objekt."

James Vincent in Gränsen gick läsarna genom Nvidias forskningsansträngning:

"Problemet är, om algoritmerna för djupinlärning genererar grafiken för världen med en hastighet av 25 bilder per sekund, hur gör de att föremål ser likadana ut? Catanzaro säger att detta problem innebar att de första resultaten av systemet var "smärtsamma att titta på" eftersom färger och texturer "förändrade varje bildruta." Teamet gav systemet korttidsminne, och så kan den jämföra en ny ram med vad som har gått innan. Som sådan, det skapar nya ramar som överensstämmer med vad som visas på skärmen.

Nvidias pressmeddelande sa att "denna forskning är i ett tidigt skede."

© 2018 Science X Network