Exempel på verklig ansiktsbild från datamängden som tillhandahålls av papper ”Progressiv odling av GAN för förbättrad kvalitet, Stabilitet, och variation ”. Upphovsman:Karras et al.
Forskare vid Shenzhen University har nyligen tagit fram en metod för att upptäcka bilder som genereras av djupa neurala nätverk. Deras studie, förpublicerad på arXiv, identifierat en uppsättning funktioner för att fånga färgbildstatistik som kan upptäcka bilder som genereras med hjälp av nuvarande verktyg för artificiell intelligens.
"Vår forskning inspirerades av den snabba utvecklingen av bildgenererande modeller och spridningen av genererade falska bilder, "Bin Li, en av forskarna som genomförde studien, berättade Tech Xplore . "Med ökningen av avancerade bildgenerativa modeller, såsom generativa adversariala nätverk (GAN) och varianterande autoencoders, bilder som genereras av djupa nätverk blir mer och mer fotorealistiska, och det är inte längre lätt att identifiera dem med mänskliga ögon, vilket innebär allvarliga säkerhetsrisker. "
Nyligen, flera forskare och globala medieplattformar har uttryckt sin oro över riskerna med artificiella neurala nätverk som utbildats för att skapa bilder. Till exempel, djupinlärningsalgoritmer som generativa kontradiktoriska nätverk (GAN) och varianterande autokodare kan användas för att skapa realistiska bilder och videor för falska nyheter eller underlätta bedrägerier online och förfalskning av personlig information på sociala medier.
GAN -algoritmer utbildas för att generera allt mer realistiska bilder genom en test- och felprocess där en algoritm genererar bilder och en annan, diskrimineraren, ger feedback för att göra dessa bilder mer realistiska. Hypotetiskt, denna diskriminator kan också utbildas för att upptäcka falska bilder från riktiga. Dock, dessa algoritmer använder främst RGB -bilder som input och tar inte hänsyn till skillnader i färgkomponenter, därför skulle deras prestanda sannolikt vara otillfredsställande.
Exempel på genererad ansiktsbild från datamängden som tillhandahålls av papper ”Progressiv odling av GAN för förbättrad kvalitet, Stabilitet, och variation ”. Upphovsman:Karras et al.
I deras studie, Li och hans kollegor analyserade skillnaderna mellan bilder som genereras av GAN och riktiga bilder, föreslår en uppsättning funktioner som effektivt skulle kunna hjälpa till att klassificera dem. Den resulterande metoden fungerar genom att analysera skillnader i färgkomponenter mellan sanna och genererade bilder.
"Vår grundtanke är att generationens rörledningar för riktiga bilder och genererade bilder är ganska olika, så de två klasserna av bilder bör ha olika egenskaper, "Haodong Li, förklarade en av forskarna. "Faktiskt, de kommer från olika rörledningar. Till exempel, riktiga bilder genereras av bildanordningar som kameror och skannrar för att fånga en riktig scen, medan genererade bilder skapas på ett helt annat sätt med konvolution, förbindelse, och aktivering från neurala nätverk. Skillnaderna kan resultera i olika statistiska egenskaper. I den här studien, Vi övervägde främst de statistiska egenskaperna hos färgkomponenter. "
Forskarna fann att även om genererade bilder och riktiga bilder ser likadana ut i RGB -färgutrymmet, de har markant olika statistiska egenskaper i krominanskomponenterna i HSV och YCbCr. De observerade också skillnader vid montering av R, G, och B -färgkomponenter tillsammans.
Funktionsuppsättningen de föreslog, som består av co-förekomstmatriser extraherade från bilden högpassfiltrerande rester av flera färgkomponenter, utnyttjar dessa skillnader, fånga färgskillnader mellan verkliga och genererade bilder. Denna funktionsuppsättning är av låg dimension och kan fungera bra även när den tränas på en liten bilddatauppsättning.
Histogrammen för bildstatistik för riktiga bilder (blå) och djupa nätverksgenererade (DNG) bilder (röda) i olika färgkomponenter. I R -komponenten, de två histogrammen överlappar till stor del. Dock, i H -komponenten eller genom att montera R, G, B -komponenter tillsammans, histogrammen är mer separerbara. Kredit:Li et al.
Li och hans kollegor testade prestandan för deras metod på tre bilddatauppsättningar:CelebFaces Attributes, Högkvalitativ CelebA, och märkta ansikten i det vilda. Deras resultat var mycket lovande, med uppsättningen funktioner som fungerar bra på alla tre datamängderna.
"Det mest meningsfulla fyndet i vår studie är att bilder som genereras av djupa nätverk lätt kan upptäckas genom att extrahera funktioner från vissa färgkomponenter, även om de genererade bilderna kan vara visuellt oskiljbara med mänskliga ögon, "Sa Haodong Li." När genererade bildprover eller generativa modeller finns tillgängliga, de föreslagna funktionerna utrustade med en binär klassificerare kan effektivt skilja mellan genererade bilder och verkliga bilder. När de generativa modellerna är okända, de föreslagna funktionerna tillsammans med en klassificerare i en klass kan också uppnå tillfredsställande prestanda. "
Studien kan ha ett antal praktiska konsekvenser. Först, metoden kan hjälpa till att identifiera falska bilder online.
Den övergripande ramen för den föreslagna metoden. Inmatningsbilden sönderdelas först i olika färgkomponenter, och sedan beräknas resten av varje färgkomponent. För att beräkna co-förekomster, R, G, och B -komponenter är monterade, medan H, S, Cb, och Cr -komponenter bearbetas oberoende. Till sist, alla co-förekomstvektorer sammanfogas och matas till en klassificerare för att erhålla beslutsresultatet. Kredit:Li et al.
Their findings also imply that several inherent color properties of real images have not yet been effectively replicated by existing generative models. I framtiden, this knowledge could be used to build new models that generate even more realistic images.
Till sist, their study proves that different generation pipelines used to produce real images and generated images are reflected in the properties of the images produced. Color components comprise merely one of the ways in which these two types of images differ, so further studies could focus on other properties.
"I framtiden, we plan to improve the image generation performance by applying the findings of this research to image generative models, " Jiwu Huang, one of the researchers said. "Till exempel, including the disparity metrics of color components for real and generated images into the objective function of a GAN model could produce more realistic images. We will also try to leverage other inherent information from the real image generation pipeline, such as sensor pattern noises or properties of color filter array, to develop more effective and robust methods for identifying generated images."
© 2018 Tech Xplore
