Ett team av datavetare vid Interdisciplinary Center i Israel har utvecklat en innovativ metod för att automatiskt analysera konstnärliga porträtt, fångar en hög detaljnivå och noggrannhet i porträtten samt konstnärernas individuella stil. Fokuserade på att ta fram en beräkningsmetod för att upptäcka ansiktsdrag i konstverk, eller landmärken i ansiktet som ögonvrån eller munvrån, forskarna har framgångsrikt utökat arbetet med fotografier av naturliga ansiktsbilder till det konstnärliga porträttområdet.

"Eftersom det inte finns några träningsdata för porträttmålningar som innehåller landmärken för ansiktet, vår nyckelidé var att skapa sådan data med hjälp av vad vi kallar 'konstnärlig förstärkning, '" säger professor Ariel Shamir, huvudförfattare till studien och dekanus för Efi Arazi School of Computer Science vid Interdisciplinary Center Herzliya. "Vi omvandlar fotografiska ansiktsdata till att likna mer konstnärliga porträtt och använder dem för att träna nya modeller för neurala nätverk som fungerar bättre för konstnärliga input. Genom att använda våra modeller, vi fick inte bara bättre precision på porträtt, men vi förlorade inte heller mycket noggrannhet på naturliga ansikten."

Shamir, tillsammans med sina elever Jordan Yaniv och Yael Newman, kommer att presentera sitt arbete på SIGGRAPH 2019, hölls 28 juli-1 augusti i Los Angeles. Denna årliga sammankomst visar upp världens ledande proffs, akademiker, och kreativa hjärnor i framkant av datorgrafik och interaktiva tekniker.

Landmark Points guidar stilen

De viktigaste skillnaderna mellan konstnärliga porträtt och naturliga ansiktsbilder är tvåfaldiga:strukturskillnader och geometriska skillnader. Tidigare arbete inom detta forskningsområde fokuserade främst på att fånga konstens utseendestil, och inte den geometriska stilen. Med konstnärliga porträtt, geometrisk stil är absolut nödvändig, notera författarna till studien, men utmanande att fånga eftersom varje artist har sin egen kreativa, distinkt stil.

"Till exempel, den italienska målaren Clemente Modigliani är känd för att måla avlånga ansikten, och den amerikanska målaren Margaret Keane är känd för att måla ansikten med mycket stora, överdrivna ögon, " säger Shamir. "Vårt arbete tillåter datorer och algoritmer att avslöja denna information och känna igen denna aspekt av geometrisk stil i porträttmålningar."

För att fånga geometriska stilar i porträtt, det finns ett behov av att känna igen ansiktsdragen och ansiktets struktur i målningen. För detta ändamål, forskarnas metod koncentrerar sig på att upptäcka ansiktsdrag i konstverket, med hjälp av landmärken i ansiktet. Beroende på konstnärens stil, dessa egenskaper kan vara olika i form och överdrivna, inte liknar verkliga mänskliga ansikten. För att övervinna denna utmaning, de tillämpar en känd metod som kallas "augmentation" av naturliga ansiktsbilder, omvandla fotografier av naturliga ansiktsbilder till att mer likna "konstnärliga" porträtt, och träna neurala nätverk för att upptäcka landmärkespunkterna.

Forskarna utvärderade sin metod för att upptäcka landmärken genom att skapa en datauppsättning av konstnärliga ansikten innehållande 160 konstnärliga porträtt av 16 olika konstnärer av olika genrer och stilar, med stora variationer i både geometri och textur. I tidningen som beskriver deras arbete, de visar också flera applikationer för detektering av konstnärliga ansiktsdrag och geometrisk stilanalys. Dessa inkluderar att förstå stilen hos specifika artister, jämföra olika artisters stilar, och följa möjliga trender för konstnärliga stilar. En annan populär applikation är stilöverföring:där man kan omvandla en given ingångsbild av ett ansikte till en målning i stil med en given konstnär i både textur och geometri.

I framtida arbete, teamet hoppas kunna använda den geometriska stilsignaturen för att bygga klassificerare som kan känna igen en specifik artist och utöka definitionen av geometrisk stil bortom ansikten – en aktuell utmaning inom datorgrafik och konst.