För dem som ännu inte är bekanta med verktyg för fotorekonstruktion, titeln på denna artikel om arXiv kan vara helt förbryllande:"Bildmålning för oregelbundna hål med partiella veck." Forskningen, fastän, från ett NVIDIA-team, visar vägen till spännande förbättringar för dem som måste utföra bildredigering och som önskar goda resultat.

Bildmålning handlar om att fylla i hål i en bild. Den kan användas för att ta bort bildinnehåll som inte är önskvärt, samtidigt som du fyller ut utrymmet med trovärdiga bilder. Tillbaka till titeln på deras tidning, teamet undersökte deras syn på en förbättrad process, som skulle kunna implementeras i fotoredigeringsprogram.

På NVIDIA Developer News Center finns en översikt över deras forskning. De kom på en metod som man tjänar till att (1) redigera bilder eller (2) rekonstruera en skadad bild, en som har hål eller saknar pixlar. Och när de sa "redigera, " som inkluderar att ta bort innehåll och fylla i hålen.

Videon visar tydligt hur intressant detta kan bli, presentation av bilder före och efter att vitlingsprocessen börjar. Scenerna för en är en sten utomhus och en annan är ett bibliotek inomhus. Ännu en uppsättning visar människors ansikten, inklusive en kvinna, unga män och en äldre man.

Vad handlar deras arbete om?

"Forskare från NVIDIA, ledd av Guilin Liu, introducerade en toppmodern metod för djupinlärning som kan redigera bilder eller rekonstruera en skadad bild, en som har hål eller saknar pixlar. Metoden kan också användas för att redigera bilder genom att ta bort innehåll och fylla i de resulterande hålen." Det är enligt videoanteckningarna.

På spel var två faser, utbildningsfasen och testfasen.

För att förbereda sig för att träna sitt neurala nätverk, laget skapade först masker av slumpmässiga ränder och hål av godtyckliga former och storlekar för träning, sa nyhetscentrets rapport. Kategorier utformades baserat på storlekar i förhållande till inmatningsbilden, för att förbättra rekonstruktionsnoggrannheten. Den neurala nätverksträningen involverade de genererade maskerna till bilder från ImageNet, Places2 och CelebA-HQ dataset.

"Under utbildningsfasen, hål eller saknade delar införs i kompletta träningsbilder från ovanstående datamängder, för att göra det möjligt för nätverket att lära sig att rekonstruera de saknade pixlarna. Under testfasen, olika hål eller saknade delar, inte tillämpas under utbildning, införs i testbilderna i datasetet, att utföra opartisk validering av rekonstruktionsnoggrannhet."

Varför deras arbete sticker ut:"Såvitt vi vet, vi är de första att demonstrera effektiviteten av djupinlärning av bildmålningsmodeller på oregelbundet formade hål."

Forskarna var medvetna om befintliga djupinlärningsbaserade bildmålningsmetoder. Dessa använde "ett standard konvolutionellt nätverk över den skadade bilden, använder faltningsfiltersvar beroende på både giltiga pixlar såväl som ersättningsvärdena i de maskerade hålen (vanligtvis medelvärdet)."De sa att detta "ofta leder till artefakter som färgavvikelser och suddighet. Efterbehandling används vanligtvis för att minska sådana artefakter, men är dyra och kan misslyckas."

De sa att de föreslog partiella faltningar - genom det "maskeras faltningen och åternormaliseras för att endast betingas av giltiga pixlar."

De visade kvalitativa och kvantitativa jämförelser med andra metoder för att validera deras tillvägagångssätt, och de uppgav att deras modell "överträffar andra metoder för oregelbundna masker."

Tidningens författare är Guilin Liu, Fitsum Reda, Kevin Shih, Ting-Chun Wang, Andrew Tao och Bryan Catanzaro.

© 2018 Tech Xplore