Forskare använde djupinlärning för att skapa ett nytt laserbaserat system som kan ta bilder runt hörn i realtid. Systemen kan en dag låta självkörande bilar "se" runt parkerade bilar eller trafikerade korsningar för att inte bara se bilar utan också läsa registreringsskyltar. Kredit:Felix Heide, Princeton Universitet
Forskare har utnyttjat kraften i en typ av artificiell intelligens som kallas djupinlärning för att skapa ett nytt laserbaserat system som kan avbilda runt hörnen i realtid. Med vidare utveckling, systemet kan låta självkörande bilar "se" runt parkerade bilar eller trafikerade korsningar för att se faror eller fotgängare. Det kan också installeras på satelliter och rymdfarkoster för uppgifter som att ta bilder inne i en grotta på en asteroid.
"Jämfört med andra metoder, vårt avbildningssystem utan synfält ger unikt höga upplösningar och bildhastigheter, " sa forskargruppsledare Christopher A. Metzler från Stanford University och Rice University. "Dessa attribut möjliggör tillämpningar som annars inte skulle vara möjliga, som att läsa registreringsskylten på en gömd bil när den kör eller att läsa ett märke som bärs av någon som går på andra sidan ett hörn."
I Optica , Optical Society's journal for high-impact research, Metzler och kollegor från Princeton University, Southern Methodist University, och Rice University rapporterar att det nya systemet kan urskilja submillimeterdetaljer av ett gömt föremål på 1 meters avstånd. Systemet är designat för att avbilda små föremål i mycket hög upplösning men kan kombineras med andra bildbehandlingssystem som producerar lågupplösta rekonstruktioner i rumsstorlek.
"Icke-line-of-sight imaging har viktiga tillämpningar inom medicinsk bildbehandling, navigering, robotik och försvar, "sa medförfattaren Felix Heide från Princeton University." Vårt arbete tar ett steg mot att möjliggöra användning i en mängd olika sådana applikationer. "
Det icke-siktlinjebildande systemet använder en djupinlärningsalgoritm för att rekonstruera dolda objekt från ett fläckmönster skapat av lasern. Kredit:Felix Heide, Princeton Universitet
Att lösa ett optikproblem med djupinlärning
Det nya bildsystemet använder en kommersiellt tillgänglig kamerasensor och en kraftfull, men annars standard, laserkälla som liknar den som finns i en laserpekare. Laserstrålen studsar från en synlig vägg mot det dolda föremålet och sedan tillbaka mot väggen, skapa ett interferensmönster som kallas ett fläckmönster som kodar formen på det dolda objektet.
Att rekonstruera det dolda föremålet från fläckmönstret kräver att man löser ett utmanande beräkningsproblem. Korta exponeringstider är nödvändiga för realtidsavbildning men producerar för mycket brus för att befintliga algoritmer ska fungera. För att lösa det här problemet, forskarna övergick till djupinlärning.
"Jämfört med andra metoder för avbildning utan synfält, vår djupinlärningsalgoritm är mycket mer robust mot brus och kan därför fungera med mycket kortare exponeringstider, " sa medförfattaren Prasanna Rangarajan från Southern Methodist University. "Genom att noggrant karakterisera bruset, vi kunde syntetisera data för att träna algoritmen för att lösa rekonstruktionsproblemet med hjälp av djupinlärning utan att behöva fånga kostsamma experimentella träningsdata."
Att se runt hörnen
Forskarna testade den nya tekniken genom att rekonstruera bilder av 1-centimeter höga bokstäver och siffror gömda bakom ett hörn med hjälp av en bilduppsättning cirka 1 meter från väggen. Med en exponeringslängd på en kvarts sekund, tillvägagångssättet gav rekonstruktioner med en upplösning på 300 mikron.
Forskningen är en del av DARPAs Revolutionary Enhancement of Visibility by Exploiting Active Light-fields (REVEAL) program, som utvecklar en mängd olika tekniker för att avbilda dolda föremål runt hörnen. Forskarna arbetar nu med att göra systemet praktiskt för fler applikationer genom att utöka synfältet så att det kan rekonstruera större objekt.