David Lindell, en doktorand i elektroteknik vid Stanford University, tog på mig en träningsdräkt med hög synlighet och började jobba, stretching, gå och hoppa över ett tomt rum. Genom en kamera riktad bort från Lindell - mot vad som tycktes vara en tom vägg - kunde hans kollegor titta på varje rörelse.

Det är för att, gömd för blotta ögat, han skannades av en högeffektiv laser och de enda partiklar av ljus som han reflekterade på väggarna runt honom fångades och rekonstruerades av kamerans avancerade sensorer och behandlingsalgoritm.

"Folk pratar om att bygga en kamera som kan se lika bra som människor för applikationer som autonoma bilar och robotar, men vi vill bygga system som går långt utöver det, "sa Gordon Wetzstein, en biträdande professor i elektroteknik vid Stanford. "Vi vill se saker i 3D, runt hörnen och bortom det synliga ljusets spektrum. "

Kamerasystemet Lindell testade, som forskarna presenterar vid SIGGRAPH 2019 -konferensen 1 augusti, bygger på tidigare kameror runt hörnet som detta team utvecklat. Den kan fånga mer ljus från en större mängd olika ytor, se bredare och längre bort och är tillräckligt snabb för att övervaka rörelser utom synhåll-som Lindells calisthenics-för första gången. Någon dag, forskarna hoppas att övermänskliga synsystem kan hjälpa autonoma bilar och robotar att arbeta ännu säkrare än de skulle göra med mänsklig vägledning.

Praktik och seismologi

Att hålla sitt system praktiskt är en hög prioritet för dessa forskare. Hårdvaran de valde, skannings- och bildbehandlingshastigheter, och bildstilen är redan vanlig i autonoma bilvisionssystem. Tidigare system för visning av scener utanför kamerans siktlinje förlitade sig på objekt som antingen reflekterar ljus jämnt eller starkt. Men verkliga objekt, inklusive blanka bilar, faller utanför dessa kategorier, så detta system kan hantera ljus som studsar från en rad ytor, inklusive discokulor, böcker och invecklade strukturerade statyer.

Centralt för deras framsteg var en laser 10, 000 gånger starkare än vad de använde för ett år sedan. Lasern skannar en vägg mittemot scenen av intresse och det ljuset studsar från väggen, träffar föremålen på scenen, studsar tillbaka till väggen och till kamerasensorerna. När laserljuset når kameran återstår bara fläckar, men sensorn fångar alla, skicka den till en mycket effektiv algoritm, också utvecklat av detta team, som löser upp dessa ekon av ljus för att dechiffrera den dolda tablån.

"När du tittar på lasern som skannar ut den, du ser ingenting, "beskrev Lindell." Med denna hårdvara, vi kan i princip sakta ner tiden och avslöja dessa ljusspår. Det ser nästan ut som magi. "

Systemet kan skanna med fyra bildrutor per sekund. Den kan rekonstruera en scen med hastigheter på 60 bilder per sekund på en dator med en grafikprocessor, vilket förbättrar grafikbehandlingsmöjligheterna.

För att avancera sin algoritm, teamet sökte sig till andra fält för inspiration. Forskarna drogs särskilt till seismiska bildsystem - som studsar ljudvågor från underjordiska lager av jorden för att lära sig vad som finns under ytan - och omkonfigurerade sin algoritm för att på samma sätt tolka studsande ljus som vågor som härrör från de dolda föremålen. Resultatet blev samma höghastighets- och låga minnesanvändning med förbättringar i deras förmåga att se stora scener som innehåller olika material.

"Det finns många idéer som används i andra utrymmen - seismologi, avbildning med satelliter, syntetisk bländarradar - som kan användas för att titta runt hörnen, "sade Matthew O" Toole, en biträdande professor vid Carnegie Mellon University som tidigare var postdoktor i Wetzsteins laboratorium. "Vi försöker ta lite från dessa områden och vi kommer förhoppningsvis att kunna ge något tillbaka till dem någon gång."

Ödmjuka steg

Att kunna se rörelser i realtid från annars osynligt ljus studsade runt ett hörn var ett spännande ögonblick för detta team, men ett praktiskt system för autonoma bilar eller robotar kommer att kräva ytterligare förbättringar.

"Det är väldigt ödmjuka steg. Rörelsen ser fortfarande lågupplöst ut och den är inte supersnabb, men jämfört med det senaste i fjol är det en betydande förbättring, "sa Wetzstein." Vi blev förbluffade första gången vi såg dessa resultat eftersom vi har samlat in data som ingen tidigare sett. "

Teamet hoppas kunna testa sitt system på autonoma forskningsbilar, när du tittar på andra möjliga applikationer, såsom medicinsk bildbehandling som kan se igenom vävnader. Bland andra förbättringar av hastighet och upplösning, de kommer också att arbeta med att göra sitt system ännu mer mångsidigt för att hantera utmanande visuella förhållanden som förare stöter på, som dimma, regn, sandstormar och snö.