Forskare har utvecklat en lättbyggd kamera som producerar 3D-bilder från en enda 2D-bild utan objektiv. I en första tillämpning av tekniken, forskarna planerar att använda den nya kameran, som de kallar DiffuserCam, att titta på mikroskopisk neuronaktivitet hos levande möss utan mikroskop. I sista hand, det kan vara användbart för ett brett spektrum av applikationer som involverar 3D -inspelning.

Kameran är kompakt och billig att bygga eftersom den bara består av en diffusor - i huvudsak en ojämn plastbit - placerad ovanpå en bildsensor. Även om hårdvaran är enkel, programvaran den använder för att rekonstruera högupplösta 3D -bilder är mycket komplex.

"DiffuserCam kan, i ett enda skott, fånga 3D -information i en stor volym med hög upplösning, "sa forskningsteamets ledare Laura Waller, University of California, Berkeley. "Vi tror att kameran kan vara användbar för självkörande bilar, där 3D -informationen kan ge en känsla av skala, eller så kan den användas med maskininlärningsalgoritmer för att utföra ansiktsigenkänning, spåra personer eller klassificera objekt automatiskt. "

I Optica , The Optical Society's journal for high impact research, forskarna visar att DiffuserCam kan användas för att rekonstruera 100 miljoner voxlar, eller 3D -pixlar, från en bild på 1,3 megapixel (1,3 miljoner pixlar) utan skanning. För jämförelse, iPhone X-kameran tar 12 megapixel foton. Forskarna använde kameran för att fånga 3D -strukturen på löv från en liten växt.

"Vår nya kamera är ett bra exempel på vad som kan åstadkommas med beräkningsavbildning - ett tillvägagångssätt som undersöker hur hårdvara och programvara kan användas tillsammans för att designa bildsystem, "sa Waller." Vi gjorde en samlad insats för att hålla hårdvaran extremt enkel och billig. Även om programvaran är mycket komplicerad, det kan också enkelt replikeras eller distribueras, låta andra skapa den här typen av kameror hemma. "

En DiffuserCam kan skapas med valfri typ av bildsensor och kan bildobjekt som sträcker sig från mikroskopisk skala ända upp till en persons storlek. Den erbjuder en upplösning i tiotals mikronintervall när du avbildar objekt nära sensorn. Även om upplösningen minskar vid avbildning av en scen längre bort från sensorn, det är fortfarande tillräckligt högt för att skilja att en person står flera meter närmare kameran än en annan person, till exempel.

En enkel metod för komplex bildbehandling

DiffuserCam är en släkting till ljusfältkameran, som fångar hur mycket ljus som träffar en pixel på bildsensorn samt vinkeln från vilken ljuset träffar den pixeln. I en typisk ljusfältkamera, en rad små linser placerade framför sensorn används för att fånga det inkommande ljusets riktning, tillåta beräkningsmetoder att fokusera om bilden och skapa 3D -bilder utan skanningsstegen som vanligtvis krävs för att få 3D -information.

Tills nu, ljusfältskameror har begränsats i rymdupplösning eftersom viss rumslig information går förlorad när den riktade informationen samlas in. En annan nackdel med dessa kameror är att mikrolinsmatriserna är dyra och måste anpassas för en viss kamera eller optiska komponenter som används för avbildning.

"Jag ville se om vi kunde uppnå samma bildfunktioner med enkel och billig hårdvara, "sa Waller." Om vi ​​har bättre algoritmer, kunde den noggrant utformade, dyra mikrolinsuppsättningar ersättas med en plastyta med ett slumpmässigt mönster som en ojämn plastbit? "

Efter att ha experimenterat med olika typer av diffusorer och utvecklat de komplexa algoritmerna, Nick Antipa och Grace Kuo, studenter i Wallers lab, upptäckte att Wallers idé för en enkel ljusfältkamera var möjlig. Faktiskt, med slumpmässiga stötar i sekretessglasetiketter, Scotch tape eller plastkonferensmärkehållare, tillät forskarna att förbättra traditionella ljusfältskamerafunktioner genom att använda komprimerad avkänning för att undvika den typiska förlusten av upplösning som följer med mikrolinsmatriser.

Även om andra ljusfältskameror använder linsarrayer som är exakt utformade och anpassade, den exakta storleken och formen på stötarna i den nya kamerans diffusor är okända. Detta innebär att några bilder av en rörlig ljuspunkt måste erhållas för att kalibrera programvaran före avbildning. Forskarna arbetar på ett sätt att eliminera detta kalibreringssteg genom att använda rådata för kalibrering. De vill också förbättra programvarans noggrannhet och göra 3D -rekonstruktionen snabbare.

Inget mikroskop krävs

Den nya kameran kommer att användas i ett projekt vid University of California Berkeley som syftar till att titta på en miljon individuella neuroner samtidigt som de stimulerar 1, 000 av dem med encells noggrannhet. Projektet finansieras av DARPA:s Neural Engineering System Design -program - en del av den federala regeringens BRAIN Initiative - för att utveckla implanterbara, biokompatibla neurala gränssnitt som så småningom kan kompensera för syn- eller hörselunderskott.

Som ett första steg, forskarna vill skapa det de kallar ett kortikalt modem som kommer att "läsa" och "skriva" till hjärnan hos djurmodeller, ungefär som input-output-aktivitet för internetmodem. DiffuserCam kommer att vara hjärtat i läsenheten för detta projekt, som också kommer att använda speciella proteiner som gör att forskare kan styra neuronal aktivitet med ljus.

"Att använda detta för att se hur neuroner eldar i en mushjärna kan i framtiden hjälpa oss att förstå mer om sensorisk uppfattning och ge kunskap som kan användas för att bota sjukdomar som Alzheimers eller psykiska störningar, sa Waller.

Även om nyutvecklade bildtekniker kan fånga hundratals neuroner som skjuter, hur hjärnan fungerar på större skalor är inte helt förstått. DiffuserCam har potential att ge den insikten genom att avbilda miljontals neuroner i ett skott. Eftersom kameran är lätt och inte kräver något mikroskop eller objektiv, den kan fästas på ett genomskinligt fönster i en musskalle, tillåter neuronal aktivitet att kopplas till beteende. Flera matriser med överliggande diffusorer kan kaklas till stora ytor.

Ett behov av tvärvetenskapliga designers

"Vårt arbete visar att beräknad bildbehandling kan vara en kreativ process som undersöker alla delar av den optiska designen och algoritmdesignen för att skapa optiska system som åstadkommer saker som inte kunde göras tidigare eller för att använda ett enklare tillvägagångssätt för något som kunde göras innan , "Sade Waller." Detta är en mycket kraftfull riktning för bildbehandling, men kräver designers med optisk och fysikkompetens samt beräkningskunskap. "

Det nya Berkeley Center for Computational Imaging, under ledning av Waller, arbetar för att utbilda fler forskare inom detta tvärvetenskapliga område. Forskare från centrumet träffas också varje vecka med bioingenjörer, fysiker och elingenjörer samt experter på signalbehandling och maskininlärning för att utbyta idéer och för att bättre förstå bildbehoven inom andra områden.