Forskare från Skoltech ADASE (Advanced Data Analytics in Science and Engineering) lab har hittat ett sätt att förbättra djupkartupplösningen, vilket borde göra virtuell verklighet och datorgrafik mer realistisk. De presenterade sina forskningsresultat vid den prestigefyllda International Conference on Computer Vision 2019 i Korea.

När du tar ett foto, vi fångar visuell information om föremål omkring oss, med de olika pixlarna i bilden som innehåller färgerna för respektive delar av objektet. Djupkartor är foton som fångar rumslig information och deras pixlar innehåller avstånden från kameran till respektive punkt i rymden. Tillämpningar som datorgrafik och förstärkt eller virtuell verklighet använder rumslig information för att rekonstruera ett 3D-objekts form och, till exempel, visa den på en datorskärm.

En av problemen med djupkameror är att deras upplösning, det är, den rumsliga frekvensen av avståndsmätningar, är otillräckligt för att återställa objektets högkvalitativa form, får de virtuella rekonstruktionerna att se nästan orealistiska ut.

Forskarna står inför utmaningen att hitta ett sätt att få högupplösta djupkartor från lågupplösta djupkartor.

Forskare från Skoltech ADASE-labbet har föreslagit att bedöma rekonstruktionskvaliteten med en ny metod som är nära relaterad till mänsklig perception. Att träna ett artificiellt neuralt nätverk med denna kvalitetsbedömningsteknik ger en djupkartas superupplösningsmetod som till stor del överträffar de befintliga metoderna i den visuella kvaliteten på resultatet.

"När det handlar om superupplösta djupkartor, man bör bedöma kvaliteten på resultatet för att först jämföra prestanda för olika metoder, och, för det andra, att använda den som feedback för ytterligare förbättringar. Det enklaste sättet är att jämföra resultatet med någon referens. Den överväldigande majoriteten av arbeten på djupkarts superupplösning som används för detta ändamål innebär skillnaden mellan superupplösta och referensdjupvärden. Denna metod återspeglar inte på något sätt den visuella kvaliteten på 3D-rekonstruktionen som erhålls från den superupplösta djupkartan, " förklarar den första författaren till studien, Oleg Voynov.

"Vi föreslår en helt annan metod, som utnyttjar den mänskliga uppfattningen om skillnaden mellan visualiseringar av 3D-rekonstruktioner som erhållits från superupplösta kartor och referensdjupskartor. Grafiken du får med den här metoden ser mycket realistisk ut. Vi hoppas att vår metod kommer att få stor användning, " säger en av utvecklarna, Alexey Artemov.