Trots år av hype, virtual reality-headset har ännu inte störtat TV- eller datorskärmar som de bästa enheterna för videotittande. En anledning:VR kan få användare att må illa. Illamående och ansträngning i ögonen kan uppstå eftersom VR skapar en illusion av 3D-visning även om användaren faktiskt stirrar på en fast 2D-skärm. Lösningen för bättre 3D-visualisering skulle kunna ligga i en 60-årig teknik omgjord för den digitala världen:hologram.

Hologram levererar en exceptionell representation av 3D -världen runt omkring oss. Plus, de är vackra. (Fortsätt - kolla in den holografiska duvan på ditt Visa -kort.) Hologram erbjuder ett skiftande perspektiv baserat på betraktarens position, och de tillåter ögat att justera brännviddet för att växelvis fokusera på förgrund och bakgrund.

Forskare har länge försökt göra datorgenererade hologram, men processen har traditionellt krävt en superdator för att köra igenom fysiksimuleringar, vilket är tidskrävande och kan ge mindre än fotorealistiska resultat. Nu, MIT-forskare har utvecklat ett nytt sätt att producera hologram nästan omedelbart-och den djupa inlärningsbaserade metoden är så effektiv att den kan köras på en bärbar dator på ett ögonblick, säger forskarna.

"Folk trodde tidigare att med befintlig hårdvara av konsumentklass, det var omöjligt att göra 3D-holografiberäkningar i realtid, "säger Liang Shi, studiens huvudförfattare och en Ph.D. student vid MIT:s institution för elektroteknik och datavetenskap (EECS). "Det har ofta sagts att kommersiellt tillgängliga holografiska skärmar kommer att finnas om tio år, ändå har detta uttalande funnits i decennier."

Shi tror att det nya tillvägagångssättet, som laget kallar "tensorholografi, " kommer äntligen att föra det svårfångade 10-åriga målet inom räckhåll. Framstegen kan underblåsa en spridning av holografi till områden som VR och 3D-utskrift.

Shi arbetade med studien, publiceras i Natur , med sin rådgivare och medförfattare Wojciech Matusik. Andra medförfattare inkluderar Beichen Li från EECS och Computer Science and Artificial Intelligence Laboratory vid MIT, liksom tidigare MIT -forskare Changil Kim (nu på Facebook) och Petr Kellnhofer (nu vid Stanford University).

Jakten på bättre 3D

Ett typiskt linsbaserat fotografi kodar ljusstyrkan för varje ljusvåg – ett foto kan troget återge en scens färger, men det ger slutligen en platt bild.

I kontrast, ett hologram kodar för både ljusstyrkan och fasen för varje ljusvåg. Den kombinationen ger en sannare skildring av en scens parallax och djup. Så, medan ett fotografi av Monets "Water Lilies" kan markera målningarnas färggom, ett hologram kan väcka verket till liv, rendering av den unika 3D-strukturen för varje penseldrag. Men trots deras realism, hologram är en utmaning att göra och dela.

Utvecklades först i mitten av 1900-talet, tidiga hologram spelades in optiskt. Det krävde splittring av en laserstråle, med halva strålen som används för att belysa motivet och den andra hälften används som referens för ljusvågornas fas. Denna referens genererar ett holograms unika djupkänsla. De resulterande bilderna var statiska, så de kunde inte fånga rörelse. Och de var bara papperskopior, gör dem svåra att reproducera och dela.

Datorgenererad holografi kringgår dessa utmaningar genom att simulera den optiska inställningen. Men processen kan vara en beräkningsslag. "Eftersom varje punkt i scenen har ett annat djup, du kan inte använda samma operationer för alla, "säger Shi." Det ökar komplexiteten avsevärt. "Att styra en klusterad superdator för att köra dessa fysikbaserade simuleringar kan ta sekunder eller minuter för en enda holografisk bild. Plus, befintliga algoritmer modellerar inte ocklusion med fotorealistisk precision. Så Shis team tog ett annat tillvägagångssätt:att låta datorn lära sig fysik för sig själv.

De använde djupinlärning för att påskynda datorgenererad holografi, möjliggör realtidshologramgenerering. Teamet designade ett konvolutionellt neuralt nätverk – en bearbetningsteknik som använder en kedja av träningsbara tensorer för att grovt efterlikna hur människor bearbetar visuell information. Att träna ett neuralt nätverk kräver vanligtvis en stor, dataset av hög kvalitet, som tidigare inte fanns för 3D-hologram.

Teamet byggde en anpassad databas med 4, 000 par datorgenererade bilder. Varje par matchade en bild – inklusive färg- och djupinformation för varje pixel – med motsvarande hologram. För att skapa hologrammen i den nya databasen, forskarna använde scener med komplexa och varierande former och färger, med pixlarnas djup jämnt fördelat från bakgrunden till förgrunden, och med en ny uppsättning fysikbaserade beräkningar för att hantera ocklusion. Detta tillvägagångssätt resulterade i fotorealistiska utbildningsdata. Nästa, Algoritmen började fungera.

Genom att lära av varje bildpar, tensornätverket justerade parametrarna för sina egna beräkningar, successivt förbättra dess förmåga att skapa hologram. Det fullt optimerade nätverket fungerade storleksordningar snabbare än fysikbaserade beräkningar. Den effektiviteten överraskade laget själva.

"Vi är förvånade över hur bra det fungerar, "säger Matusik. På bara millisekunder, tensor holography kan skapa hologram från bilder med djupinformation-som tillhandahålls av typiska datorgenererade bilder och kan beräknas från en multicamera-installation eller LiDAR-sensor (båda är standard på vissa nya smartphones). Detta framsteg banar väg för 3D-holografi i realtid. Vad mer, det kompakta tensornätverket kräver mindre än 1 MB minne. "Det är försumbart, med tanke på de tiotals och hundratals gigabyte som finns tillgängliga på den senaste mobiltelefonen, " han säger.

"Ett stort steg"

3D-holografi i realtid skulle förbättra en massa system, från VR till 3D-utskrift. Teamet säger att det nya systemet kan hjälpa till att fördjupa VR -tittare i ett mer realistiskt landskap, samtidigt som ögonbelastningen och andra biverkningar av långvarig VR-användning elimineras. Tekniken kan enkelt användas på skärmar som modulerar fasen av ljusvågor. För närvarande, de mest prisvärda skärmarna i konsumentklass modulerar bara ljusstyrkan, även om kostnaden för fasmodulerande skärmar skulle sjunka om de används i stor utsträckning.

Tredimensionell holografi kan också öka utvecklingen av volymetrisk 3D-utskrift, säger forskarna. Denna teknik kan visa sig snabbare och mer exakt än traditionell 3D-utskrift lager för lager, eftersom volymetrisk 3D-utskrift möjliggör samtidig projicering av hela 3D-mönstret. Andra applikationer inkluderar mikroskopi, visualisering av medicinsk data, och utformningen av ytor med unika optiska egenskaper.

"Det är ett stort steg som helt kan förändra människors attityder till holografi, "säger Matusik." Vi känner att neurala nätverk föddes för denna uppgift. "