Forskare har utvecklat en kamera som använder en tunn mikrolinsarray och nya bildbehandlingsalgoritmer för att fånga 3D-information om objekt i en scen med en enda exponering. Kameran kan vara användbar för en mängd olika applikationer som inspektion av industriella delar, gestigenkänning och insamling av data för 3D-displaysystem.

"Vi anser att vår kamera är linslös eftersom den ersätter de bulklinser som används i konventionella kameror med en tunn, lätt mikrolinsuppsättning gjord av flexibel polymer", säger forskargruppsledaren Weijian Yang från University of California, Davis. "Eftersom varje mikrolins kan observera objekt från olika betraktningsvinklar, kan den utföra komplexa avbildningsuppgifter som att skaffa 3D-information från objekt som delvis är skymd av objekt närmare kameran."

I tidskriften Optics Express , Yang och första författaren Feng Tian, ​​en doktorand i Yangs labb, beskriver den nya 3D-kameran. Eftersom kameran lär sig av befintliga data hur man digitalt rekonstruerar en 3D-scen, kan den producera 3D-bilder i realtid.

"Denna 3D-kamera skulle kunna användas för att ge robotar 3D-seende, vilket kan hjälpa dem att navigera i 3D-rymden eller möjliggöra komplexa uppgifter som manipulation av fina föremål", säger Yang. "Det kan också användas för att skaffa rik 3D-information som kan tillhandahålla innehåll för 3D-skärmar som används i spel, underhållning eller många andra applikationer."

En kamera som lär sig

Den nya kameran växte fram ur tidigare arbete där forskarna utvecklade ett kompakt mikroskop som kan avbilda mikroskopiska 3D-strukturer för biomedicinska tillämpningar. "Vi byggde mikroskopet med hjälp av en mikrolinsarray och tänkte att ett liknande koncept skulle kunna användas för att avbilda makroskopiska objekt", säger Yang.

De individuella linserna i den nya kameran gör att den kan se objekt från olika vinklar eller perspektiv, vilket ger djupinformation. Även om andra forskargrupper har utvecklat kameror baserade på enskiktiga mikrolinsarrayer, har det varit svårt att göra dem praktiska på grund av omfattande kalibreringsprocesser och långsamma rekonstruktionshastigheter.

För att göra en mer praktisk 3D-kamera för makroskopiska objekt, övervägde forskarna mikrolinsarrayen och rekonstruktionsalgoritmen tillsammans snarare än att närma sig var och en separat. De specialdesignade och tillverkade mikrolinsarrayen, som innehåller 37 små linser fördelade i ett cirkulärt lager av polymer som bara är 12 millimeter i diameter. Rekonstruktionsalgoritmen de utvecklade är baserad på ett högeffektivt artificiellt neuralt nätverk som lär sig hur man kartlägger information från bilden tillbaka till objekten i en scen.

"Många existerande neurala nätverk kan utföra utsedda uppgifter, men den bakomliggande mekanismen är svår att förklara och förstå", säger Yang. "Vårt neurala nätverk är baserat på en fysisk modell för bildrekonstruktion. Detta gör inlärningsprocessen mycket enklare och resulterar i högkvalitativa rekonstruktioner."

När inlärningsprocessen är klar kan den rekonstruera bilder som innehåller föremål som befinner sig på olika avstånd från kameran med mycket hög hastighet. Den nya kameran behöver inte kalibreras och kan användas för att kartlägga 3D-positioner och rumsliga profiler – eller konturer – av objekt.

Se genom objekt

Efter att ha utfört numeriska simuleringar för att verifiera kamerans prestanda, utförde forskarna 2D-bilder som visade perceptuellt tilltalande resultat. De testade sedan kamerans förmåga att utföra 3D-bilder av objekt på olika djup. Den resulterande 3D-rekonstruktionen kan omfokuseras till olika djup eller avstånd. Kameran skapade också en djupkarta som stämde överens med det faktiska objektarrangemanget.

"I en sista demonstration visade vi att vår kamera kunde avbilda objekt bakom de ogenomskinliga hindren", sa Yang. "Såvitt vi vet är detta den första demonstrationen av att avbilda objekt bakom ogenomskinliga hinder med hjälp av en linslös kamera."

Forskarna arbetar för närvarande med att minska artefakter, eller fel, som dyker upp i 3D-rekonstruktionerna och att förbättra algoritmerna för att få ännu högre kvalitet och hastighet. De vill också miniatyrisera enhetens totala fotavtryck så att den kan passa in i en mobiltelefon, vilket skulle göra den mer bärbar och möjliggöra fler applikationer.

"Vår linslösa 3D-kamera använder datoravbildning, ett framväxande tillvägagångssätt som gemensamt optimerar bildbehandlingshårdvara och objektrekonstruktionsalgoritmer för att uppnå önskade bilduppgifter och kvalitet", säger Yang. "Med den senaste utvecklingen av billiga, avancerade mikrooptiska tillverkningstekniker samt framsteg inom maskininlärning och beräkningsresurser, kommer beräkningsavbildning att möjliggöra många nya bildbehandlingssystem med avancerad funktionalitet." + Utforska vidare

Forskare skapar vidvinkelkamera i miniatyr med platta metaller