En forskargrupp som leds av forskare från Carnegie Mellon University har visat tekniker för att använda spritt ljus för att se runt hörnen, gör det möjligt för dem att rekonstruera bilder i detalj. Till vänster är en rekonstruerad bild av ett amerikanskt kvarter som skannades med hjälp av icke-line-of-sight-metoder, jämfört med kvartalet till höger som skannades med standardmetoder. Kredit:Carnegie Mellon University
Datorseendeforskare har visat att de kan använda speciella ljuskällor och sensorer för att se runt hörn eller genom fläckiga filter, gör det möjligt för dem att rekonstruera formerna på osynliga föremål.
Forskarna från Carnegie Mellon University, University of Toronto och University College London sa att denna teknik gör det möjligt för dem att rekonstruera bilder i detalj, inklusive lättnaden av George Washingtons profil på ett kvarter i USA.
Ioannis Gkioulekas, en biträdande professor i Carnegie Mellons Robotics Institute, sa att detta är första gången forskare har kunnat beräkna former i millimeter- och mikrometerskala av krökta föremål, tillhandahåller en viktig ny komponent till en större svit av icke-line-of-sight (NLOS) avbildningstekniker som nu utvecklas av forskare inom datorseende.
"Det är spännande att se kvaliteten på rekonstruktioner av dolda föremål närma sig de skanningar vi är vana vid att se för föremål som är i siktlinjen, " sa Srinivasa Narasimhan, professor vid Robotics Institute. "Än så länge, vi kan uppnå denna detaljnivå för endast relativt små ytor, men denna förmåga kommer att komplettera andra NLOS-tekniker."
Detta arbete stöddes av Defense Advanced Research Project Agencys REVEAL-program, som utvecklar NLOS-funktioner. Forskningen kommer att presenteras idag på 2019 Conference on Computer Vision and Pattern Recognition (CVPR2019) i Long Beach, Kalifornien, där den har fått priset för bästa papper.
"Det här dokumentet gör betydande framsteg när det gäller rekonstruktion av icke-siktlinje - i huvudsak, förmågan att se runt hörnen, "säger priset." Det är både en vacker uppsats teoretiskt såväl som inspirerande. Det fortsätter att tänja på gränserna för vad som är möjligt inom datorseende."
Det mesta av det som människor ser – och det som kameror upptäcker – kommer från ljus som reflekteras från ett föremål och studsar direkt till ögat eller linsen. Men ljus reflekteras också från föremålen i andra riktningar, studsar mot väggar och föremål. En svag bit av detta spridda ljus kan i slutändan nå ögat eller linsen, men tvättas ut av mer direkt, kraftfulla ljuskällor. NLOS-tekniker försöker extrahera information från spritt ljus – naturligt förekommande eller på annat sätt – och producera bilder av scener, föremål eller delar av föremål som annars inte är synliga.
En forskargrupp ledd av forskare från Carnegie Mellon University har demonstrerat en teknik för att använda spritt ljus för att upptäcka formen på föremål som inte syns i siktlinjen. Här är två vanliga objekt som de visas under standardförhållanden, tillsammans med rekonstruerade bilder av dessa föremål. Kredit:Carnegie Mellon University
"Andra NLOS-forskare har redan demonstrerat NLOS-bildsystem som kan förstå scener i rumsstorlek, eller till och med extrahera information med enbart naturligt förekommande ljus, ", sa Gkioulekas. "Vi gör något som kompletterar dessa tillvägagångssätt – vilket gör det möjligt för NLOS-system att fånga fina detaljer över ett litet område."
I detta fall, forskarna använde en ultrasnabb laser för att studsa ljus från en vägg för att belysa ett gömt föremål. Genom att veta när lasern avfyrade ljuspulser, forskarna kunde beräkna den tid det tog för ljuset att reflektera från föremålet, studsa av väggen på sin returresa och nå en sensor.
"Denna flygtidsteknik liknar den för lidar som ofta används av självkörande bilar för att bygga en 3D-karta över bilens omgivning, sa Shumian Xin, en doktorsexamen student i robotik.
Tidigare försök att använda dessa beräkningar för att rekonstruera en bild av objektet har berott på ljusstyrkan hos reflektionerna från det. Men i denna studie, Gkioulekas sa att forskarna utvecklade en ny metod baserad enbart på objektets geometri, vilket i sin tur gjorde det möjligt för dem att skapa en algoritm för att mäta dess krökning.
Forskarna använde ett bildsystem som effektivt är en lidar som kan känna av enstaka ljuspartiklar för att testa tekniken på föremål som en plastkanna, en glasskål, en plastskål och ett kullager. De kombinerade också denna teknik med en avbildningsmetod som kallas optisk koherenstomografi för att rekonstruera bilderna av amerikanska kvarter.
Förutom att se runt hörnen, tekniken visade sig vara effektiv för att se igenom diffusionsfilter, som tjockt papper.
Tekniken har hittills bara demonstrerats på korta avstånd – högst en meter. Men forskarna spekulerar att deras teknik, baserat på geometriska mätningar av föremål, kan kombineras med andra, kompletterande metoder för att förbättra NLOS-avbildning. Det kan också användas i andra applikationer, såsom seismisk avbildning och akustisk och ultraljudsavbildning.
Förutom Narasimhan, Gkioulekas och Xin, forskargruppen inkluderade Aswin Sankaranarayanan, biträdande professor vid CMU:s institution för elektro- och datateknik; Sotiris Nousias, en doktorand i medicinsk fysik och bioteknik vid University College London; och Kiriakos N. Kutulakos, professor i datavetenskap vid University of Toronto.
