MIT-forskare har utvecklat ett system som kan producera bilder av föremål som är höljda av dimma så tjock att människans syn inte kan penetrera den. Den kan också mäta föremålens avstånd.

En oförmåga att hantera dimmiga körförhållanden har varit ett av de främsta hindren för utvecklingen av autonoma fordonsnavigeringssystem som använder synligt ljus, som är att föredra framför radarbaserade system för sin höga upplösning och förmåga att läsa vägskyltar och körfältsmarkörer. Så, MIT-systemet kan vara ett avgörande steg mot självkörande bilar.

Forskarna testade systemet med en liten tank med vatten med den vibrerande motorn från en luftfuktare nedsänkt i den. I dimma så tät att människans syn bara kunde penetrera 36 centimeter, systemet kunde lösa bilder av objekt och mäta deras djup inom ett område av 57 centimeter.

Femtiosju centimeter är inte ett stort avstånd, men dimman som produceras för studien är mycket tätare än någon annan som en mänsklig förare skulle behöva brottas med; i den verkliga världen, en typisk dimma kan ge en sikt på cirka 30 till 50 meter. Det viktiga är att systemet presterade bättre än människans syn, medan de flesta bildbehandlingssystem fungerar mycket sämre. Ett navigationssystem som till och med var lika bra som en mänsklig förare på att köra i dimma skulle vara ett stort genombrott.

"Jag bestämde mig för att anta utmaningen att utveckla ett system som kan se genom faktisk dimma, säger Guy Satat, en doktorand i MIT Media Lab, som ledde forskningen. "Vi har att göra med realistisk dimma, som är tät, dynamisk, och heterogen. Det rör sig ständigt och förändras, med fläckar av tätare eller mindre tät dimma. Andra metoder är inte utformade för att klara sådana realistiska scenarier."

Satat och hans kollegor beskriver sitt system i en artikel som de kommer att presentera vid den internationella konferensen om datorfotografering i maj. Satat är första författare på tidningen, och han får sällskap av sin avhandlingsrådgivare, docent i mediekonst och vetenskap Ramesh Raskar, och av Matthew Tancik, som var doktorand i elektroteknik och datavetenskap när arbetet var klart.

Spelar oddsen

Liksom många av de projekt som genomförs i Raskars Kamerakulturgrupp, det nya systemet använder en flygtidskamera, som avfyrar ultrakorta skurar av laserljus i en scen och mäter den tid det tar för deras reflektioner att återvända.

På en klar dag, ljusets återgångstid indikerar troget avstånden för de föremål som reflekterade det. Men dimma får ljuset att "sprida, " eller studsa runt på slumpmässiga sätt. I dimmigt väder, det mesta av ljuset som når kamerans sensor kommer att ha reflekterats av luftburna vattendroppar, inte av de typer av föremål som autonoma fordon behöver undvika. Och även ljuset som reflekteras från potentiella hinder kommer att anlända vid olika tidpunkter, har avböjts av vattendroppar både på vägen ut och på vägen tillbaka.

MIT-systemet kommer runt detta problem genom att använda statistik. Mönstren som produceras av dimreflekterat ljus varierar beroende på dimmans täthet:I genomsnitt, ljus tränger mindre djupt in i en tjock dimma än det gör i en lätt dimma. Men MIT-forskarna kunde visa att, hur tjock dimman än är, ankomsttiderna för det reflekterade ljuset följer ett statistiskt mönster som kallas en gammafördelning.

Gammafördelningar är något mer komplexa än Gaussfördelningar, de vanliga fördelningarna som ger den välbekanta klockkurvan:De kan vara asymmetriska, och de kan anta en större mängd olika former. Men som Gaussiska distributioner, de beskrivs fullständigt av två variabler. MIT-systemet uppskattar värdena för dessa variabler i farten och använder den resulterande fördelningen för att filtrera dimreflektion från ljussignalen som når flygtidskamerans sensor.

Avgörande, systemet beräknar en annan gammafördelning för var och en av de 1, 024 pixlar i sensorn. Det är därför den kan hantera variationerna i dimdensitet som hävde tidigare system:Den kan hantera omständigheter där varje pixel ser en annan typ av dimma.

Signaturformer

Kameran räknar antalet ljuspartiklar, eller fotoner, som når det var 56:e pisekund, eller biljondelar av en sekund. MIT-systemet använder dessa råa räkningar för att producera ett histogram - i huvudsak ett stapeldiagram, med höjderna på staplarna som indikerar fotonantal för varje intervall. Sedan hittar den den gammafördelning som bäst passar formen på stapeldiagrammet och subtraherar helt enkelt det associerade fotonantal från de uppmätta totalerna. Det som återstår är små spikar på avstånden som korrelerar med fysiska hinder.

"Det som är trevligt med det här är att det är ganska enkelt, " säger Satat. "Om du tittar på beräkningen och metoden, det är förvånansvärt inte komplicerat. Vi behöver inte heller några förkunskaper om dimman och dess täthet, vilket hjälper den att fungera i ett brett spektrum av dimförhållanden."

Satat testade systemet med en dimkammare på en meter lång. Inne i kammaren, han monterade regelbundet placerade avståndsmarkörer, vilket gav ett grovt mått på synlighet. Han placerade också en serie små föremål - en träfigur, trä block, silhuetter av bokstäver — som systemet kunde avbilda även när de var oskiljbara för blotta ögat.

Det finns olika sätt att mäta synlighet, dock:Föremål med olika färger och texturer är synliga genom dimma på olika avstånd. Så, för att bedöma systemets prestanda, han använde ett mer rigoröst mått som kallas optiskt djup, som beskriver mängden ljus som tränger igenom dimman.

Optiskt djup är oberoende av avstånd, så prestandan för systemet på dimma som har ett speciellt optiskt djup inom ett område av 1 meter bör vara en bra prediktor för dess prestanda på dimma som har samma optiska djup vid ett område av 30 meter. Faktiskt, systemet kan till och med klara sig bättre på längre avstånd, eftersom skillnaderna mellan fotonernas ankomsttider blir större, vilket skulle kunna ge mer exakta histogram.

"Dåligt väder är ett av de stora återstående hindren att ta itu med för autonom körteknik, " säger Srinivasa Narasimhan, professor i datavetenskap vid Carnegie Mellon University. "Guy och Rameshs innovativa arbete producerar den bästa synlighetsförbättringen jag har sett vid synliga eller nära infraröda våglängder och har potential att implementeras på bilar mycket snart."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.