Exempel förutsägelser av ColorUNet på valideringsuppsättningen, för intetsägande ingångsbilder. ColorUNets utdatabilder är mer färgglada än de ursprungliga bilderna. Det nedersta exemplet är ett gammalt fotografi med slitna toner. Kredit:Billaut, De Rochemonteix och Thibault.
Ett team av forskare vid Stanford University har nyligen utvecklat en CNN -klassificeringsmetod för att färga gråskalebilder. Verktyget de utarbetade, kallas ColorUNet, hämtar inspiration från U-Net, ett helt konvolutionerande nätverk för bildsegmentering.
"Som en del av Stanfords Computer Vision-klass, vi arbetade med detta projekt i flera månader, "Vincent Billaut, en av forskarna som genomförde studien, berättade TechXplore. "Vårt mål var att återskapa toppmoderna resultat med hjälp av en lätt modell, snarare än att förbättra befintliga modeller genom att öka storleken på utbildningsuppsättningen eller deras beräkningskomplexitet, ett mycket vanligt tillvägagångssätt vid CV -problem. Vi ville att våra resultat skulle vara enkla att utvärdera och visuellt tilltalande, för förutom användbara och effektfulla applikationer, CV handlar också om coola grejer."
Billaut och hans kollegor bestämde sig för att närma sig uppgiften att automatiskt färglägga gråskala bilder från klassificeringsvinkeln, arbeta med en begränsad uppsättning färgmöjligheter. Deras modell följde en förlust- och förutsägelsefunktion, gynnar färgglada bilder framför realistiska.
"Istället för att försöka förutse färgerna direkt via en regressionsuppgift, vi delar upp alla färger i papperskorgar, med en klassificeringsuppgift, "Marc Thibault, en annan forskare involverad i studien, berättade TechXplore. "Att formulera problemet som en klassificeringsuppgift gör att vi kan ha bättre kontroll över hur färgglada vi vill att vår produktion ska se ut, genom att finjustera hur vi förutsäger en färg från nätverkets utgång. "
Arkitekturen för ColorUNet. ColorUNet:s struktur. Forskarna använder tre typer av celler:DownConv -celler som använder två staplade böjningsskikt för att ha ett stort uppfattningsfält och en maxpooling för att nedprova bilden, UpConv-celler som använder 1 ConvTranspose Layer för att upsampla bilden och sedan 2 faltningslager, och en Output -cell som är en förenklad version av UpConv -cellen. Kredit:Billaut, De Rochemonteix och Thibault.
Forskarna tränade sin modell på delmängder av datauppsättningarna SUN och ImageNet, som innehåller bilder av landskap. Den neurala nätverksarkitekturen som de utvecklade tillät deras djupinlärningsalgoritm att extrahera både lokal och global information från varje gråskala bild.
"Algorithmen kan sedan bestämma en regions färg baserat på dess egen aspekt, såväl som om sammanhanget runt det, "Sa Thibault." Generellt sett Det är avgörande att AI-tekniker för beslutsfattande i verkliga livet utnyttjar både lokalt exakt ämnesidentifiering och en förståelse för det bredare sammanhanget."
Ett av huvudmålen med studien var att utveckla en lättviktsarkitektur som var skalbar, men också utförda såväl som toppmoderna modeller i färgläggningsuppgifter. För att uppnå detta, forskarna begränsade uppgiften till bilder av naturliga landskap.
MRI-bild med öppen källkod som skulle kunna bearbetas av ColorUNet i framtiden. Kredit:Billaut, De Rochemonteix och Thibault.
"Viktigast, vi använde en U-Net-arkitektur för att förbättra prestandan och minska modellens komplexitet, " Matthieu de Rochemonteix, en av forskarna som genomförde studien, berättade TechXplore. "ColorUnet närmar sig toppmodern prestanda för den valda deluppgiften. Dess arkitektur möjliggör snabbare och mer stabil träning, utan att byta ut modellens djup och representativa kraft. "
När den utvärderas på bilder av landskap, ColorUNet uppnådde mycket lovande resultat, med dataökning som avsevärt förbättrar modellens prestanda och robusthet. Forskarna ansökte också om att modellera till videofärgning, föreslår ett sätt att jämna ut färgförutsägelser över bildrutor utan att behöva träna ett återkommande nätverk för sekventiella indata.
"Det huvudsakliga bidraget från denna teknik är förmågan för en algoritm att förstå vad som händer i en bild på lokal skala, genom att mata den med hela bildens sammanhang, ", sa Thibault. "Medan vi visade dess effektivitet i bildfärgning, vi arbetar även med andra applikationer, speciellt inom det medicinska området. Inom Gevaert Lab i Stanford, Vi har tillämpat denna metod för tumördetektering för patienter med gliom (hjärncancer) baserat på MR -skanningar. Forskningen blomstrar inom detta område, med fler och fler CV-tekniker som tillämpas på medicinsk bildbehandling."
© 2018 Science X Network
