Komprimerad avkänning är en spännande ny beräkningsteknik för att extrahera stora mängder information från en signal. I en högprofilerad demonstration, till exempel, forskare vid Rice University byggde en kamera som kunde producera 2-D-bilder med bara en enda ljussensor snarare än de miljontals ljussensorer som finns i en varukamera.

Men att använda komprimerad avkänning för bildinsamling är ineffektivt:Den "enda pixelkamera" behövde tusentals exponeringar för att få en någorlunda klar bild. Rapporterar sina resultat i journalen IEEE -transaktioner om beräknad bildbehandling , forskare från MIT Media Lab beskriver nu en ny teknik som gör bildförvärv med hjälp av komprimerad avkänning 50 gånger så effektiv. När det gäller enpixelkamera, det kan minska antalet exponeringar från tusentals till dussintals.

En spännande aspekt av komprimerad avkännande bildsystem är att, till skillnad från konventionella kameror, de kräver inga linser. Det kan göra dem användbara i tuffa miljöer eller i applikationer som använder våglängder av ljus utanför det synliga spektrumet. Att bli av med linsen öppnar nya möjligheter för design av bildsystem.

"Förr, bildbehandling krävde ett objektiv, och linsen skulle kartlägga pixlar i rymden till sensorer i en array, med allt exakt strukturerat och konstruerat, "säger Guy Satat, en doktorand på Media Lab och första författare till den nya uppsatsen. "Med beräkningsavbildning, började vi fråga:Är en lins nödvändig? Måste sensorn vara en strukturerad array? Hur många pixlar ska sensorn ha? Räcker en enda pixel? Dessa frågor bryter i huvudsak ner den grundläggande idén om vad en kamera är. Det faktum att endast en pixel krävs och ett objektiv inte längre är nödvändigt avslappar stora designbegränsningar, och möjliggör utveckling av nya bildsystem. Att använda ultrasnabb avkänning gör mätningen betydligt mer effektiv. "

Rekursiva applikationer

En av Satats medförfattare till den nya uppsatsen är hans avhandlingsrådgivare, docent i mediekonst och vetenskap Ramesh Raskar. Liksom många projekt från Raskars grupp, den nya komprimerade avkänningstekniken beror på avbildning vid tidpunkten för flygningen, där en kort ljusstråle projiceras in i en scen, och supersnabba sensorer mäter hur lång tid ljuset tar för att reflektera tillbaka.

Tekniken använder avbildning vid flygning, men lite cirkulärt, en av dess potentiella applikationer är att förbättra prestandan för tidskrävande kameror. Det kan således ha konsekvenser för ett antal andra projekt från Raskars grupp, till exempel en kamera som kan se runt hörnen och bildsystem för synligt ljus för medicinsk diagnos och fordonsnavigering.

Många prototypsystem från Raskars kamerakulturgrupp på Media Lab har använt tidkamera som kallas streak-kameror, som är dyra och svåra att använda:De fångar bara en rad bildpixlar åt gången. Men de senaste åren har det kommit kommersiella tid-för-flyg-kameror som kallas SPAD, för lavon-en-fotondioder.

Även om det inte är så snabbt som streak -kameror, SPADs är fortfarande tillräckligt snabba för många flygtidsapplikationer, och de kan ta en hel 2-D-bild i en enda exponering. Vidare, deras sensorer är byggda med tillverkningstekniker som är vanliga inom datorchipsindustrin, så de borde vara kostnadseffektiva för massproduktion.

Med SPAD, elektroniken som krävs för att driva varje sensorpixel tar så mycket plats att pixlarna hamnar långt ifrån varandra på sensorkretsen. I en vanlig kamera, detta begränsar upplösningen. Men med komprimerad avkänning, det ökar det faktiskt.

Att komma en bit

Anledningen till att enpixelkameran kan nöja sig med en ljussensor är att ljuset som träffar den är mönstrat. Ett sätt att mönstra ljus är att sätta ett filter, ungefär som en randomiserad svartvitt schackbräda, framför blixten som lyser upp scenen. Ett annat sätt är att avvisa det återvändande ljuset från en rad små mikronspeglar, varav några är riktade mot ljussensorn och en del inte.

Sensorn gör bara en enda mätning - den inkommande intensiteten för det inkommande ljuset. Men om den upprepar mätningen tillräckligt många gånger, och om ljuset har ett annat mönster varje gång, programvara kan härleda intensiteten hos ljuset som reflekteras från enskilda punkter i scenen.

Enpixelkameran var en medievänlig demonstration, men egentligen, komprimerad avkänning fungerar bättre ju fler pixlar sensorn har. Och ju längre ifrån varandra pixlarna är, ju mindre redundans det finns i de mätningar de gör, ungefär så som du ser mer av den visuella scenen före dig om du tar två steg till höger snarare än ett. Och, självklart, ju fler mätningar sensorn utför, desto högre upplösning för den rekonstruerade bilden.

Stordriftsfördelar

Time-of-flight-avbildning gör i huvudsak en mätning-med ett ljusmönster-till dussintals mätningar, separerade med biljoner sekunder. Dessutom, varje mätning motsvarar endast en delmängd pixlar i den slutliga bilden - de som visar objekt på samma avstånd. Det betyder att det finns mindre information att avkoda i varje mätning.

I deras papper, Satt på, Raskar, och Matthew Tancik, en MIT -doktorand i elektroteknik och datavetenskap, presentera en teoretisk analys av komprimerad avkänning som använder information om flygtid. Deras analys visar hur effektivt tekniken kan extrahera information om en visuell scen, vid olika upplösningar och med olika antal sensorer och avstånd mellan dem.

De beskriver också ett förfarande för beräkning av ljusmönster som minimerar antalet exponeringar. Och, använder syntetiska data, de jämför prestandan för deras rekonstruktionsalgoritm med befintliga komprimerade avkännande algoritmer. Men i det pågående arbetet, de utvecklar en prototyp av systemet så att de kan testa sin algoritm på verkliga data.