En radikal ny bildmetod som utnyttjar artificiell intelligens för att förvandla tiden till visioner av 3D-utrymme kan hjälpa bilar, mobila enheter och hälsoskärmar utvecklar 360-graders medvetenhet.

Foton och videor produceras vanligtvis genom att fånga foton - ljusets byggstenar - med digitala sensorer. Till exempel, digitalkameror består av miljontals pixlar som bildar bilder genom att detektera ljusets intensitet och färg vid varje punkt i rymden. 3D-bilder kan sedan genereras antingen genom att placera två eller flera kameror runt motivet för att fotografera det från flera vinklar, eller genom att använda strömmar av fotoner för att skanna scenen och rekonstruera den i tre dimensioner. Hur som helst, en bild byggs bara genom att samla in rumslig information om scenen.

I en ny artikel publicerad idag i tidningen Optica , forskare baserade i Storbritannien, Italien och Nederländerna beskriver ett helt nytt sätt att göra animerade 3D-bilder:genom att fånga tidsinformation om fotoner istället för deras rumsliga koordinater.

Deras process börjar med en enkel, billig enpunktsdetektor inställd för att fungera som ett slags stoppur för fotoner. Till skillnad från kameror, mäta den rumsliga fördelningen av färg och intensitet, detektorn registrerar bara hur lång tid det tar att fotonerna som produceras av en pulssnabb sekund av laserljus att studsa av varje objekt i en given scen och nå sensorn. Ju längre bort ett objekt är, ju längre tid det tar varje reflekterad foton att nå sensorn.

Informationen om tidpunkterna för varje foton som reflekteras i scenen - vad forskarna kallar tidsdata - samlas i en mycket enkel graf.

Dessa grafer omvandlas sedan till en 3D-bild med hjälp av en sofistikerad neural nätverksalgoritm. Forskarna utbildade algoritmen genom att visa den tusentals konventionella foton av teamet som rör sig och bär föremål runt labbet, vid sidan av tidsdata som fångats av enpunktsdetektorn samtidigt.

Så småningom, nätverket hade lärt sig tillräckligt om hur tidsdata överensstämde med fotona att det kunde skapa mycket exakta bilder bara från tidsdata. I princip-proof-experimenten, laget lyckades konstruera rörliga bilder med cirka 10 bilder per sekund från tidsdata, även om hårdvaran och algoritmen som används har potential att producera tusentals bilder per sekund.

Dr Alex Turpin, Lord Kelvin Adam Smith -stipendiat i datavetenskap vid University of Glasgows School of Computing Science, ledde universitetets forskargrupp tillsammans med prof. Daniele Faccio, med stöd från kollegor vid Polytechnic University of Milan och Delft University of Technology.

Dr Turpin sa:"Kameror i våra mobiltelefoner bildar en bild genom att använda miljontals pixlar. Att skapa bilder med en enda pixel ensam är omöjligt om vi bara överväger rumslig information, som enpunktsdetektor har ingen. Dock, en sådan detektor kan fortfarande ge värdefull information om tid. Vad vi har lyckats göra är att hitta ett nytt sätt att förvandla endimensionella data-en enkel mätning av tid-till en rörlig bild som representerar rymdets tre dimensioner i en given scen. Det viktigaste sättet som skiljer sig från konventionell bildskapande är att vårt tillvägagångssätt kan koppla bort ljus helt från processen. Även om mycket av tidningen diskuterar hur vi har använt pulserande laserljus för att samla in tidsdata från våra scener, Det visar också hur vi har lyckats använda radarvågor för samma ändamål. Vi är övertygade om att metoden kan anpassas till alla system som kan sondera en scen med korta pulser och exakt mäta retureko. Det här är egentligen bara början på ett helt nytt sätt att visualisera världen med hjälp av tid istället för ljus. "

För närvarande, det neurala nätets förmåga att skapa bilder är begränsad till vad det har tränats att plocka fram från de tidsmässiga data från scener som skapats av forskarna. Dock, med vidareutbildning och till och med genom att använda mer avancerade algoritmer, det kan lära sig att visualisera ett varierat spektrum av scener, vidga sina potentiella tillämpningar i verkliga situationer.

Dr Turpin tillade:"Enpunktsdetektorerna som samlar in tidsdata är små, lätt och billigt, vilket innebär att de enkelt kan läggas till befintliga system som kameror i autonoma fordon för att öka noggrannheten och hastigheten på deras sökning. Alternativt, de kan förstärka befintliga sensorer i mobila enheter som Google Pixel 4, som redan har ett enkelt system för gestigenkänning baserat på radarteknik. Framtida generationer av vår teknik kan till och med användas för att övervaka stigningen och fallet av en patients bröst på sjukhuset för att varna personalen om förändringar i deras andning, eller för att hålla reda på deras rörelser för att säkerställa deras säkerhet på ett datakompatibelt sätt. Vi är mycket glada över potentialen i det system vi har utvecklat, och vi ser fram emot att fortsätta utforska dess potential. Vårt nästa steg är att arbeta med ett fristående, bärbart system-in-a-box och vi är angelägna om att börja undersöka våra alternativ för att främja vår forskning med input från kommersiella partners. "

Lagets papper, med titeln "Rumsliga bilder från tidsdata, "publiceras i Optica .