Ingenjörer vid Stanford University och University of California San Diego har utvecklat en kamera som genererar fyrdimensionella bilder och kan fånga 138 grader av information. Den nya kameran-det första singelobjektivet någonsin, brett synfält, ljusfältskamera-kan generera informationsrika bilder och videoramar som gör det möjligt för robotar att bättre navigera i världen och förstå vissa aspekter av sin miljö, såsom objektavstånd och ytstruktur.

Forskarna ser också att denna teknik används i autonoma fordon och augmented och virtual reality -teknik. Forskare presenterade sin nya teknik vid datorsynskonferensen CVPR 2017 i juli.

"Vi vill överväga vad som skulle vara rätt kamera för en robot som driver eller levererar paket med flyg. Vi är bra på att göra kameror för människor men behöver robotar se hur människor gör? Förmodligen inte, "sa Donald Dansereau, en postdoktor i elektroteknik vid Stanford och den första författaren till tidningen.

Projektet är ett samarbete mellan laboratorierna för elektrotekniska professorer Gordon Wetzstein vid Stanford och Joseph Ford vid UC San Diego.

UC San Diego -forskare utformade en sfärisk lins som ger kameran ett extremt brett synfält, omfattar nästan en tredjedel av cirkeln runt kameran. Fords grupp hade tidigare utvecklat de sfäriska linserna under DARPA "SCENICC" (Soldier CENtric Imaging with Computational Cameras) -programmet för att bygga en kompakt videokamera som tar 360-graders bilder i hög upplösning, med 125 megapixlar i varje videoram. I det projektet, videokameran använde fiberoptiska buntar för att koppla de sfäriska bilderna till konventionella platta fokalplan, ger högpresterande men till höga kostnader.

Den nya kameran använder en version av de sfäriska linserna som eliminerar fiberknippen genom en kombination av linser och digital signalbehandling. Genom att kombinera optikdesign och hårdvarukompetens för systemintegration i Fords laboratorium och signalbearbetning och algoritmisk expertis från Wetzsteins lab resulterade det i en digital lösning som inte bara leder till skapandet av dessa extra breda bilder utan förbättrar dem.

Den nya kameran förlitar sig också på en teknik som utvecklats i Stanford som kallas ljusfältfotografering, vilket är det som tillför denna kamera en fjärde dimension-den fångar tvåaxlig riktning för ljuset som träffar linsen och kombinerar den informationen med 2-D-bilden. En annan anmärkningsvärd egenskap för ljusfältfotografering är att den tillåter användare att fokusera om bilder efter att de har tagits eftersom bilderna innehåller information om ljusets position och riktning. Robotar kan använda denna teknik för att se igenom regn och andra saker som kan skymma deras syn.

"En av de saker du inser när du arbetar med en rundstrålande kamera är att det är omöjligt att fokusera åt alla håll samtidigt - något är alltid nära kameran, medan andra saker är långt borta, "Ford sa." Ljusfältbildning gör att den inspelade videon kan fokuseras på nytt under uppspelning, samt kartläggning av scenen med en bländaröppning. Dessa funktioner öppnar upp alla typer av applikationer inom VR och robotik. "

"Det kan göra det möjligt för olika typer av artificiellt intelligent teknik att förstå hur långt borta objekt är, om de rör sig och vad de är gjorda av, "Wetzstein sa." Detta system kan vara till hjälp i alla situationer där du har begränsat utrymme och du vill att datorn ska förstå hela världen runt den. "

Och även om denna kamera kan fungera som en vanlig kamera på långa avstånd, det är också utformat för att förbättra närbilder. Exempel där det skulle vara särskilt användbart inkluderar robotar som måste navigera genom små områden, landningsdrönare och självkörande bilar. Som en del av ett förstärkt eller virtual reality -system, dess djupinformation kan resultera i mer sömlösa renderingar av riktiga scener och stödja bättre integration mellan dessa scener och virtuella komponenter.

Kameran är för närvarande i proof-of-concept-stadiet och teamet planerar att skapa en kompakt prototyp för att testa på en robot.