Karikatyrporträttteckning är en distinkt konstform där konstnärer skissar en persons ansikte på ett överdrivet sätt, oftast för att locka fram humor. Att automatisera den här tekniken innebär utmaningar på grund av mängden intrikata detaljer och former som är involverade och nivån på professionella färdigheter som krävs för att förvandla en person konstnärligt från sitt verkliga jag till ett kreativt överdrivet.

Ett team av datavetare från City University of Hong Kong och Microsoft, har utvecklat en innovativ djupinlärningsbaserad metod för att automatiskt generera karikatyren av ett givet porträtt, och för att göra det möjligt för användare att göra det effektivt och realistiskt.

"Jämfört med traditionella grafikbaserade metoder som definierar handgjorda regler, vårt nya tillvägagångssätt utnyttjar big data och maskininlärning för att syntetisera karikatyrer från tusentals exempel tecknade av professionella konstnärer, säger Kaidi Cao, huvud författare, som för närvarande är doktorand i datavetenskap vid Stanford University men utförde arbetet under sin praktik på Microsoft. "Medan befintliga stilöverföringsmetoder främst har fokuserat på utseendestil, vår teknik uppnår både geometrisk överdrift och utseendestilisering involverad i karikatyrteckningar." Metoden gör det möjligt för användare att automatisera karikatyrer av porträtt, och kan användas för uppgifter som att skapa karikerade avatarer för sociala medier, och designa seriefigurer. Tekniken har även potentiella tillämpningar inom marknadsföring, reklam och journalistik.

Cao samarbetade i forskningen med Jing Liao från City University of Hong Kong och Lu Yuan från Microsoft, och de tre planerar att presentera sitt arbete på SIGGRAPH Asia 2018 i Tokyo från 4 december till 7 december. Den årliga konferensen har de mest respekterade tekniska och kreativa medlemmarna inom området datorgrafik och interaktiva tekniker, och visar upp ledande forskning inom vetenskap, konst, spel och animation, bland andra sektorer.

I det här arbetet, forskarna vände sig till en välkänd teknik inom maskininlärning, Generative Adversarial Network (GAN), för oparad foto-till-karikatyröversättning för att generera karikatyrer som bevarar porträttets identitet. Kallas "CariGANs", beräkningsramverket modellerar geometrisk överdrift exakt i foton (ansiktsformer, specifika vinklar) och utseendestilisering (utseende, känna, penndrag, shadowing) via två algoritmer som forskarna har märkt, CariGeoGAN och CariStyGAN.

CariGeoGAN modellerar bara geometri-till-geometri-mappningen från ansiktsfoton till karikatyrer och CariStyGAN överför stilens utseende från karikatyrer till ansiktsfoton utan någon deformation till originalbildens geometri. De två nätverken tränas separat för varje uppgift så att inlärningsproceduren blir mer robust, konstaterar forskarna. CariGANs ramverk gör det möjligt för användare att kontrollera överdriftsgraden i geometrisk stil och utseende genom att dra bilder eller ge en exempelkarikatyr.

Cao och medarbetare genomförde perceptuella studier för att utvärdera deras ramverks förmåga att generera karikatyrer av porträtt som är lätta att känna igen och inte alltför förvrängda i form och utseende. Till exempel, en studie bedömde hur väl identiteten för en bild bevaras med hjälp av CariGANs metod i jämförelse med befintliga metoder för att översätta karikatyrkonst. De visade, genom flera exempel, att befintliga metoder resulterade i oigenkännlig karikatyröversättning. Studiedeltagarna tyckte att det var för svårt att matcha de resulterande karikatyrerna med de ursprungliga motiven eftersom slutresultaten var alldeles för överdrivna eller otydliga. Forskarnas metod genererade framgångsrikt tydligare, mer exakta karikatyrbilder av porträttfoton, som om de var handritade av en professionell konstnär.

För närvarande, fokus i detta arbete har fokuserat på karikatyrer av människor, främst huvudbilder eller porträtt. I framtida arbete, forskarna avser att utforska bortom generering av ansiktskarikatyrer till hela kroppen eller mer komplexa scener. De är också intresserade av att designa förbättrade HCI-system (human-computer interaction) som skulle ge användarna mer frihet och användarkontroll över de resultat som genereras av maskininlärning.