Dataforskaren Dinesh Manocha vid University of Maryland, i samarbete med ett team av kollegor från Baidu Research och University of Hong Kong, har utvecklat ett fotorealistiskt simuleringssystem för träning och validering av självkörande fordon. Det nya systemet ger en rikare, mer autentisk simulering än nuvarande system som använder spelmotorer eller högfientlig datorgrafik och matematiskt återgivna trafikmönster.

Deras system, kallad Augmented Autonomous Driving Simulation (AADS), skulle kunna göra självkörande teknik lättare att utvärdera i labbet samtidigt som den säkerställer mer pålitlig säkerhet innan dyra vägtester påbörjas.

Forskarna beskrev sin metodik i en forskningsartikel publicerad 27 mars, 2019 i tidningen Vetenskapsrobotik .

"Detta arbete representerar ett nytt simuleringsparadigm där vi kan testa tillförlitligheten och säkerheten hos automatisk körteknik innan vi använder den på riktiga bilar och testar den på motorvägar eller stadsvägar, sade Manocha, en av tidningens motsvarande författare, och en professor med gemensamma utnämningar i datavetenskap, el- och datateknik, och University of Maryland Institute for Advanced Computer Studies.

En potentiell fördel med självkörande bilar är att de kan vara säkrare än mänskliga förare som är benägna att distraktera, trötthet och känslomässiga beslut som leder till misstag. Men för att garantera säkerheten, autonoma fordon måste utvärdera och reagera på förarmiljön utan att misslyckas. Med tanke på de otaliga situationer som en bil kan stöta på på vägen, ett autonomt körsystem kräver hundratals miljoner miles värda provkörningar under utmanande förhållanden för att visa tillförlitlighet.

Även om det kan ta decennier att åstadkomma på vägen, preliminära utvärderingar skulle kunna genomföras snabbt, effektivt och säkrare genom datorsimuleringar som exakt representerar den verkliga världen och modellerar beteendet hos omgivande objekt. Aktuella toppmoderna simuleringssystem som beskrivs i vetenskaplig litteratur misslyckas med att skildra fotorealistiska miljöer och presentera verkliga trafikflödesmönster eller förarbeteenden.

AADS är ett datadrivet system som mer exakt representerar de indata som en självkörande bil skulle få på vägen. Självkörande bilar är beroende av en perceptionsmodul, som tar emot och tolkar information om den verkliga världen, och en navigeringsmodul som fattar beslut, till exempel vart man ska styra eller om man ska bryta eller accelerera, baserat på perceptionsmodulen.

I den verkliga världen, perceptionsmodulen i en självkörande bil tar vanligtvis emot input från kameror och lidarsensorer, som använder ljuspulser för att mäta omgivningens avstånd. I nuvarande simulatorteknik, perceptionsmodulen tar emot input från datorgenererade bilder och matematiskt modellerade rörelsemönster för fotgängare, cyklar, och andra bilar. Det är en relativt grov representation av den verkliga världen. Det är också dyrt och tidskrävande att skapa eftersom datorgenererade bildmodeller måste vara handgenererade.

AADS-systemet kombinerar foton, videoklipp, och lidar punktmoln – som är som 3D-formrenderingar – med verkliga bandata för fotgängare, cyklar, och andra bilar. Dessa banor kan användas för att förutsäga körbeteendet och framtida positioner för andra fordon eller fotgängare på vägen för säkrare navigering.

"Vi renderar och simulerar den verkliga världen visuellt, använda videor och foton, sade Manocha, "men vi fångar också verkligt beteende och rörelsemönster. Det sätt som människor kör på är inte lätt att fånga med matematiska modeller och fysikens lagar. Så, vi extraherade data om verkliga banor från all video vi hade tillgänglig, och vi modellerade körbeteenden med hjälp av samhällsvetenskapliga metoder. Detta datadrivna tillvägagångssätt har gett oss en mycket mer realistisk och fördelaktig trafiksimulator."

Forskarna hade en långvarig utmaning att övervinna med att använda verkliga videobilder och lidardata för sin simulering:Varje scen måste svara på en självkörande bils rörelser, även om dessa rörelser kanske inte har fångats av originalkameran eller lidarsensorn. Oavsett vilken vinkel eller synvinkel som inte fångas av ett foto eller video måste renderas eller simuleras med hjälp av prediktionsmetoder. Det är därför simuleringstekniken alltid har förlitat sig så mycket på datorgenererad grafik och fysikbaserade förutsägelsetekniker.

För att övervinna denna utmaning, forskarna utvecklade teknologi som isolerar de olika komponenterna i en verklig gatubild och återger dem som individuella element som kan syntetiseras om för att skapa en mängd fotorealistiska körscenarier.

Med AADS, fordon och fotgängare kan lyftas från en miljö och placeras i en annan med rätt belysning och rörelsemönster. Vägar kan återskapas med olika trafiknivåer. Flera betraktningsvinklar för varje scen ger mer realistiska perspektiv vid filbyten och svängar. Dessutom, avancerad bildbehandlingsteknik möjliggör mjuka övergångar och minskar distorsion jämfört med andra videosimuleringstekniker. Bildbehandlingsteknikerna används också för att extrahera banor, och därigenom modellera förarens beteenden.

"Eftersom vi använder verklig video och verkliga rörelser, vår perceptionsmodul har mer exakt information än tidigare metoder, sade Manocha. Och sedan, på grund av simulatorns realism, vi kan bättre utvärdera navigeringsstrategier för ett autonomt körsystem."

Manocha sa att genom att publicera detta verk, forskarna hoppas att några av de företag som utvecklar självkörande fordon kan införliva samma datadrivna tillvägagångssätt för att förbättra sina egna simulatorer för att testa och utvärdera autonoma körsystem.