Kredit:Pixabay/CC0 Public Domain
Dagens körsimulatorer har ett stort problem:de ser inte tillräckligt realistiska ut, särskilt bakgrundsobjekt, som träd och vägmarkeringar. Men forskare har utvecklat ett nytt sätt att skapa fotorealistiska bilder för simulatorer, vilket banar väg för bättre testning av förarlösa bilar.
Konventionell datorgrafik använder detaljerade modeller, maskor och texturer för att återge 2D-bilder från 3D-scener, en arbetsintensiv process som producerar bilder som ofta inte är realistiska, särskilt i bakgrunden. Men genom att använda ett ramverk för maskininlärning som kallas Generative Adversarial Network (GAN), kunde forskarna träna sitt program för att slumpmässigt generera verklighetstrogna miljöer genom att förbättra programmets visuella trohet – nivån på representation som datorgrafik delar med verkligheten.
Detta är särskilt viktigt när man testar hur människor reagerar när de är i förarlösa fordon eller alternativt på väg med dem.
"När körsimuleringar ser ut som datorspel, tar de flesta inte dem på allvar", säger Ekim Yurtsever, huvudförfattare till studien och forskarassistent inom el- och datorteknik vid Ohio State University. "Det är därför vi vill få våra simuleringar att se så lika ut som den verkliga världen som möjligt."
Studien publicerades i tidskriften IEEE Transactions on Intelligent Transportation Systems .
Forskarna började med CARLA, en körsimulator med öppen källkod, som bas. De använde sedan en GAN-baserad bildsyntes för att rendera bakgrundselementen som byggnader, växtlighet och till och med himlen och kombinera dem med mer traditionellt renderade objekt.
Yurtsever sa att körsimuleringar kommer att fortsätta att behöva konventionella, arbetsintensiva grafikåtergivningstekniker för att visa de primära objekten av intresse, som närliggande bilar. Men med hjälp av artificiell intelligens kan GAN tränas för att generera realistiska bakgrunder och förgrunder med hjälp av verklig data.
En av dessa utmaningar som forskarna stod inför var att lära sitt program att känna igen mönster i deras miljöer, en färdighet som krävs för att upptäcka och skapa föremål som fordon, träd och skuggor, och att skilja dessa föremål från varandra.
"Det fina med det är att dessa mönster och texturer i vår modell inte är designade av ingenjörer," sa Yurtsever. "Vi har en mall för funktionsigenkänning, men det neurala nätverket lär sig det av sig självt."
Deras resultat visade att en blandning av förgrundsobjekt annorlunda än bakgrundslandskap förbättrade hela bildens fotorealism.
Men istället för att modifiera en hel simulering på en gång, måste processen göras ruta för ruta. Men eftersom vi inte lever i en bildruta-för-bildruta-värld kommer projektets nästa steg vara att förbättra programmets tidsmässiga konsistens, där varje bildruta överensstämmer med de före och efter så att användarna upplever en sömlös och visuellt fängslande upplevelse , sa Yurtsever.
Utvecklingen av fotorealistisk teknik kan också hjälpa forskare att studera krångligheterna med förares distraktion och hjälpa till att förbättra experiment med riktiga förare, sa Yurtsever. Och med tillgång till större datauppsättningar av vägkanter, kan mer uppslukande körsimuleringar förändra hur människor och AI börjar dela vägen.
"Our research is an extremely important step in conceptualizing and testing new ideas," Yurtsever said. "We can never actually replace real world testing, but if we can make simulations a little bit better, we can get better insight on how we can improve autonomous driving systems and how we interact with them." + Utforska vidare
