För att förbättra säkerheten för autonoma system, MIT -ingenjörer har utvecklat ett system som kan känna av små förändringar i skuggor på marken för att avgöra om det är ett rörligt föremål som kommer runt hörnet.

Autonoma bilar skulle en dag kunna använda systemet för att snabbt undvika en potentiell kollision med en annan bil eller fotgängare som dyker upp runt en byggnads hörn eller mellan parkerade bilar. I framtiden, Robotar som kan navigera i sjukhuskorridorer för att göra mediciner eller leveranser kan använda systemet för att undvika att träffa människor.

I ett dokument som presenteras vid nästa veckas internationella konferens om intelligenta robotar och system (IROS), forskarna beskriver framgångsrika experiment med en autonom bil som kör runt i ett parkeringsgarage och en autonom rullstol som navigerar i korridorer. När du känner av och stannar efter ett annalkande fordon, det bilbaserade systemet slår traditionella LiDAR – som bara kan upptäcka synliga föremål – med mer än en halv sekund.

Det kanske inte verkar så mycket, men bråkdelar av en andra fråga när det kommer till snabbrörliga autonoma fordon, säger forskarna.

"För applikationer där robotar rör sig i miljöer med andra rörliga föremål eller människor, vår metod kan ge roboten en tidig varning om att någon kommer runt hörnet, så att fordonet kan sakta ner, anpassa sin väg, och förbered dig i förväg för att undvika en kollision, " tillägger medförfattaren Daniela Rus, chef för datavetenskap och artificiell intelligenslaboratorium (CSAIL) och Andrew och Erna Viterbi professor i elektroteknik och datavetenskap. "Den stora drömmen är att ge "röntgensyn" till fordon som rör sig snabbt på gatorna."

För närvarande, systemet har endast testats i inomhusmiljöer. Robothastigheterna är mycket lägre inomhus, och ljusförhållandena är mer konsekventa, vilket gör det lättare för systemet att känna av och analysera skuggor.

Med Rus på tidningen är:första författare Felix Naser SM '19, en tidigare CSAIL-forskare; Alexander Amini, en CSAIL doktorand; Igor Gilitschenski, en CSAIL postdoc; nyutexaminerad Christina Liao '19; Guy Rosman från Toyota Research Institute; och Sertac Karaman, docent i luftfart och astronautik vid MIT.

Förlänger ShadowCam

För deras arbete, forskarna byggde på sitt system, kallas "ShadowCam, " som använder datorseendetekniker för att upptäcka och klassificera förändringar av skuggor på marken. MIT-professorerna William Freeman och Antonio Torralba, som inte är medförfattare på IROS-tidningen, samarbetade med tidigare versioner av systemet, som presenterades på konferenser 2017 och 2018.

För input, ShadowCam använder sekvenser av videorutor från en kamera som riktar sig mot ett specifikt område, som golvet framför ett hörn. Den upptäcker förändringar i ljusintensitet över tiden, från bild till bild, som kan tyda på att något flyttar bort eller kommer närmare. Vissa av dessa förändringar kan vara svåra att upptäcka eller osynliga för blotta ögat, och kan bestämmas av olika egenskaper hos objektet och miljön. ShadowCam beräknar den informationen och klassificerar varje bild som innehållande ett stationärt objekt eller en dynamisk, flytta en. Om det blir en dynamisk bild, den reagerar därefter.

Att anpassa ShadowCam för autonoma fordon krävde några framsteg. Den tidiga versionen, till exempel, förlitat sig på att fodra ett område med augmented reality-etiketter som kallas "AprilTags, " som liknar förenklade QR-koder. Robotar skannar AprilTags för att upptäcka och beräkna deras exakta 3D-position och orientering i förhållande till taggen. ShadowCam använde taggarna som egenskaper i miljön för att nollställa specifika fläckar av pixlar som kan innehålla skuggor. Men att ändra verkliga miljöer med AprilTags är inte praktiskt.

Forskarna utvecklade en ny process som kombinerar bildregistrering och en ny visuell odometriteknik. Används ofta i datorseende, bildregistrering överlagrar i huvudsak flera bilder för att avslöja variationer i bilderna. Medicinsk bildregistrering, till exempel, överlappar medicinska skanningar för att jämföra och analysera anatomiska skillnader.

Visuell odometri, används för Mars Rovers, uppskattar en kameras rörelse i realtid genom att analysera positur och geometri i bildsekvenser. Forskarna använder specifikt "Direct Sparse Odometry" (DSO), som kan beräkna funktionspunkter i miljöer som liknar de som fångas av AprilTags. Väsentligen, DSO plottar funktioner i en miljö på ett 3D-punktmoln, och sedan väljer en pipeline för datorvision endast de funktioner som finns i en region av intresse, till exempel golvet nära ett hörn. (Intresseregioner antecknades manuellt i förväg.)

När ShadowCam tar ingångsbildsekvenser för en region av intresse, den använder DSO-bildregistreringsmetoden för att lägga över alla bilder från samma synvinkel som roboten. Även när en robot rör sig, den kan nollställa exakt samma pixelfläck där en skugga finns för att hjälpa den att upptäcka subtila avvikelser mellan bilder.

Nästa är signalförstärkning, en teknik som introducerades i den första artikeln. Pixlar som kan innehålla skuggor får en färgboost som minskar signal-brusförhållandet. Detta gör extremt svaga signaler från skuggförändringar mycket mer upptäckbara. Om den förstärkta signalen når en viss tröskel – delvis baserat på hur mycket den avviker från andra närliggande skuggor – klassificerar ShadowCam bilden som "dynamisk". Beroende på styrkan på den signalen, systemet kan säga åt roboten att sakta ner eller stanna.

"Genom att upptäcka den signalen, då kan du vara försiktig. Det kan vara en skugga av någon som springer bakom hörnet eller en parkerad bil, så att den autonoma bilen kan sakta ner eller stanna helt, "Säger Naser.

Taggfri testning

I ett test, forskarna utvärderade systemets prestanda vid klassificering av rörliga eller stationära objekt med hjälp av AprilTags och den nya DSO-baserade metoden. En autonom rullstol styrde mot olika korridors hörn medan människor vände hörnet in i rullstolens väg. Båda metoderna uppnådde samma 70-procentiga klassificeringsnoggrannhet, indikerar att AprilTags inte längre behövs.

I ett separat test, forskarna implementerade ShadowCam i en autonom bil i ett parkeringsgarage, där strålkastarna var släckta, efterliknar körförhållanden under natten. De jämförde bildetekteringstider med LiDAR. I ett exempelscenario, ShadowCam upptäckte att bilen svängde runt pelare cirka 0,72 sekunder snabbare än LiDAR. Dessutom, eftersom forskarna hade anpassat ShadowCam specifikt till garagets ljusförhållanden, systemet uppnådde en klassificeringsnoggrannhet på cirka 86 procent.

Nästa, forskarna utvecklar systemet vidare för att fungera i olika ljusförhållanden inomhus och utomhus. I framtiden, Det kan också finnas sätt att påskynda systemets skuggdetektering och automatisera processen för att kommentera riktade områden för skuggavkänning.

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.