Forskare på Google har nyligen utvecklat en ny teknik för att syntetisera en rörelsuddig bild, med ett par oskarpa bilder som tagits i följd. I deras papper, förpublicerad den arXiv , forskarna skisserade sitt tillvägagångssätt och utvärderade det mot flera baslinjemetoder.

Rörelseoskärpa uppstår naturligt när föremålen i en scen eller själva kameran rör sig när en bild tas. Detta resulterar i att/de rörliga föremålen eller hela bilden verkar suddig. I vissa fall, rörelseoskärpa kan användas för att indikera ett fotograferat motivs hastighet eller för att skilja det från bakgrunden.

"Rörelseoskärpa är en värdefull ledtråd i samband med bildförståelse, "Tim Brooks och Jonathan Barron, forskarna som genomförde studien, skrev i sin tidning. "Med tanke på en enda bild som innehåller rörelseoskärpa, man kan uppskatta den relativa riktningen och storleken på scenrörelsen som resulterade i den observerade oskärpan. Denna rörelseuppskattning kan vara semantiskt meningsfull, eller kan användas av en de-suddig algoritm för att syntetisera en skarp bild. "

Ny forskning har undersökt användningen av djupinlärningsalgoritmer för att ta bort oönskad rörelseoskärpa från bilder eller för att utläsa rörelsedynamiken för en given scen. För att träna dessa algoritmer, dock, forskare behöver en betydande mängd data, som vanligtvis genereras genom att syntetiskt suddiga skarpa bilder. I sista hand, i vilken utsträckning en deep learning -algoritm effektivt kan ta bort rörelseoskärpa i verkliga bilder beror i hög grad på realismen hos de syntetiska data som används för att träna den.

"I det här pappret, vi behandlar det omvända av denna välstuderade uppskattnings-/borttagningsuppgift för oskärpa som ett förstklassigt problem, "Brooks och Barron skrev i sitt papper." Vi presenterar ett snabbt och effektivt sätt att syntetisera de träningsdata som är nödvändiga för att träna en rörelse-oskärpande algoritm, och vi visar kvantitativt att vår teknik generaliserar från våra syntetiska träningsdata till verkliga rörelse-suddiga bilder. "

Den neurala nätverksarkitekturen som utarbetats av Brooks och Barron inkluderar ett nytt "linjeförutsägelseskikt", som lär ett system att gå tillbaka från bildpar av på varandra följande bilder till en rörelsuddig bild som sträcker sig över fångstiden för dessa två inmatningsbilder. Deras modell kräver en enorm mängd utbildningsdata, så forskarna designade och genomförde en strategi som använder raminterpoleringstekniker för att generera en stor syntetisk uppsättning rörliga bilder, tillsammans med deras respektive ingångar.

Brooks och Barron fångade också en hög uppsättning testuppsättningar av suddiga bilder i verkliga rörelser som syntetiserades från slow motion -videor och använde sedan detta för att utvärdera sin modell mot baslinjetekniker. Deras modell uppnådde mycket lovande resultat, överträffar befintliga tillvägagångssätt i både noggrannhet och hastighet.

"Vår strategi är snabb, exakt, och använder lättillgängliga bilder från videor eller "bursts" som input, och ger en väg för att möjliggöra manipulation av rörelseoskärpa i konsumentfotografiapplikationer, och för att syntetisera de realistiska träningsdata som behövs för att göra suddnings- eller rörelsestimeringsalgoritmer nödvändiga, "skrev forskarna i sin artikel.

Medan erfarna fotografer och filmfotografer ofta använder rörelseoskärpa som en konstnärlig effekt, att producera effektiva rörelse-suddiga fotografier kan vara mycket utmanande. I de flesta fallen, dessa bilder är resultatet av en lång test- och felprocess, kräver avancerad kompetens och utrustning.

På grund av svårigheterna med att uppnå kvalitetseffekter av rörelseoskärpa, de flesta konsumentkameror är utformade för att ta bilder med så lite rörelseoskärpa som möjligt. Det betyder att amatörfotografer har väldigt lite utrymme att experimentera med rörelseoskärpa i sina bilder.

"Genom att låta rörliga bilder suddas från de konventionella oskarpa bilderna som fångas med vanliga konsumentkameror, vår teknik låter icke-experter skapa suddiga bilder i rörelse i en post-capture-inställning, "förklarade forskarna i sin artikel.

I sista hand, tillvägagångssättet som Brooks och Barron tagit fram kan ha ett antal intressanta tillämpningar. Till exempel, det kan göra konstnärlig rörelseoskärpa tillgänglig för tillfälliga fotografer, while also generating more realistic motion blurred images to train deep learning algorithms.

© 2018 Science X Network