Forskare från University of Pittsburgh har nyligen utvecklat en villkorlig variationsautokodare som kan producera unika ansikten för annonser. Deras studie är grundad på deras tidigare arbete, som undersökte automatiserade metoder för att bättre förstå reklam.

"I vårt tidigare projekt, vi ville se om maskiner kunde avkoda den komplexa visuella retoriken som finns i annonser, "Christopher Thomas, en av forskarna som genomförde studien, berättade för Tech Xplore. "Annonser innehåller ordlekar, metaforer, och andra övertygande retoriska anordningar som är svåra för maskiner att förstå. I det här pappret, vi ville inte bara förstå annonser, men vi ville se om sådant övertalande innehåll automatiskt kunde genereras av datorer. "

Det primära uppdraget för reklambranschen är att marknadsföra produkter eller förmedla idéer med hjälp av övertygande språk och bilder. Ansikten, en viktig aspekt av annonser, porträtteras ofta olika beroende på vilken produkt som annonseras och budskap som kommuniceras.

I samarbete med sin kollega Adriana Kovashka, Thomas använde maskininlärning för att generera övertygande ansikten som skulle fungera bra för olika typer av annonser. De använde villkorliga variationsautokodare, eller "generativa modeller, "maskininlärningsmodeller som lär sig att generera syntetiska data som liknar den som de utbildas i.

"I datorseende, autokodare fungerar genom att ta en bild och lära sig att representera den bilden som några siffror, "Sa Thomas." Då, en andra del av modellen, avkodaren, lär sig att ta dessa siffror och återge originalbilden från den. Man kan nästan se det som en form av kompression, där en stor bild representeras av några siffror."

När denna typ av maskininlärningsmodell tränas på en tillräckligt stor datamängd, det börjar representera semantiska aspekter inom siffrorna. Till exempel, i modellen utvecklad av Thomas och Kovashka, ett nummer skulle styra formen på ett ansikte, en annan nyansen av huden, och så vidare för andra semantiska egenskaper.

Dock, om forskarna ville att modellen skulle fånga om en person har glasögon, men träningsdataset innehöll inte tillräckligt med bilder på personer med glasögon, denna egenskap skulle gå förlorad när bilden rekonstrueras. Således, de utvecklade en villkorlig autoencoder, vilket betyder att de kunde lägga till andra siffror till modellen som den inte hade förvärvat ensam, representerar semantiska egenskaper som kan vara relevanta för särskilda annonser.

"Den coola delen av detta är att när vi tränade modellen att representera ansikten i 100 nummer, om vi sedan ändrar några av dessa siffror och "avkodar" dem, vi kan ändra ansiktet, "Sa Thomas." Vi kan alltså omvandla befintliga ansikten så att de ser likadana ut men har olika attribut, som glasögon, leende eller inte, etc., bara genom att ändra några av de siffror som vår modell använder för att representera dem. "

Att träna generativa modeller för datorseende kan vara en utmanande uppgift, kräver stora bilduppsättningar och misslyckas ofta när de tränas på mycket olika data, som annonser. Thomas och Kovashka övervann dessa begränsningar genom att använda en autoencoder som krävde mindre data och som kunde klara av den stora skillnad som finns i reklam.

"Ändå, eftersom det inte fanns tillräckligt med data, det fångade inte alltid upp de begrepp vi ville ha det i sina representationer, säger Thomas. Alltså, vi injicerade medvetet semantik i dess representation, vilket förbättrade resultaten avsevärt. "

Deras resultat tyder på att i framtiden, annonsörer kommer att kunna skapa anpassade och riktade annonser som är skräddarsydda för enskilda kunder. Till exempel, de kan generera ansikten med ansiktsdrag som matchar betraktarens, så att de identifierar sig mer med ämnet.

"Den här typen av automat, finkornig annonsanpassning kan få enorma konsekvenser för onlineannonsörer, säger Thomas. Dessutom, en annonsör som inte vill anlita en extra modell för sin annons eller göra manuell redigering kanske kan förvandla ett befintligt ansikte från en annan annons till ett ansikte som passar deras typ av annons."

Forskarna undersöker nu hur de kan förbättra sina genererade bilder så att de matchar kvaliteten på dem som produceras med större mängder data. Att göra detta, de kommer att behöva designa andra generativa modeller som är mer robusta när de tränas på mycket varierande och begränsade data.

"En annan möjlig forskningslinje är att skapa andra föremål förutom ansikten, eller till och med generera hela annonser som är meningsfulla och intressanta, " säger Thomas. "Detta skulle kräva utveckling av nya tekniker för att modellera retorisk struktur i ett generativt ramverk, kombinerat med textförståelse och generering."

© 2018 Tech Xplore