Forskare vid UC Berkeley och Ecole des Ponts Paris Tech har nyligen utvecklat en djupinlärningsmetod för att upptäcka återkommande visuella mönster i konstsamlingar. Deras papper, förpublicerad på arXiv, kommer att presenteras på CVPR 2019, ett välkänt datorseendeevenemang i juni.

Även om varje konstverk kan verka unikt, konstnärer använder ofta återkommande visuella element eller motiv (t.ex. änglar, väderkvarnar, etc.). Till exempel, kritiker tror att vissa målningar av den flamländska målaren Jan Brueghel bara var imitationer eller bearbetningar av hans egna verk, såväl som hans fars, Pieter Breughel.

I sin forskning, konsthistoriker försöker ofta kartlägga visuella samband mellan olika konstverk, eftersom detta skulle kunna kasta lite ljus över deras härkomst och författarskap. Dock, Att avslöja liknande visuella mönster i stora konstsamlingar kan vara mycket utmanande för både människor och maskiner.

"Vi startade det här projektet efter en presentation och diskussion med en konsthistoriker, Elizabeth Honig, där hon presenterade sådana korrespondenser och varför de var viktiga för henne i hennes studie av Brueghels verk, " Mathieu Aubry, en av forskarna som genomförde studien, berättade för TechXplore. "Vårt första mål var att göra konsthistorikernas jobb enklare och mer skalbar genom att automatiskt identifiera detaljer i digitala bildsamlingar som kopierades direkt mellan olika verk, trots små modifieringar och skillnader i representationens stil (t.ex. gravyr, målning, teckning, etc.)."

I deras senaste studie, Aubry och hans kollegor föreslog ett tillvägagångssätt som automatiskt kan upptäcka återkommande visuella mönster i stora konstsamlingar. Väsentligen, de tränade en oövervakad maskininlärningsmodell för att hitta överensstämmelse mellan nästan dubblerade visuella element över olika konstverk.

"Den främsta nyheten i vårt tillvägagångssätt är att lära sig, utan mänsklig övervakning, en djupbildsbeskrivning speciellt anpassad för vår uppgift:matcha exakta kopior över olika representationsstilar, " förklarade Aubry. "För att göra det, vi introducerar en procedur som validerar kandidatkorrespondenser med hjälp av rumslig konsekvens mellan grannmatcher."

Forskarna använde den rumsliga överensstämmelsen mellan angränsande funktionsmatchningar som en övervakande finjusteringssignal. Denna anpassade funktion leder till mer exakt stil-invariant matchning. Kombinerat med en standardupptäcktsmetod baserad på geometrisk verifiering, funktionen tillåter deras djupinlärningsmetod att identifiera dubbletter av mönster i stora konstdatauppsättningar.

"Vårt CVPR-arbete fokuserade på datorseendeaspekterna. Samarbeten med konsthistoriker för att tillämpa den metod vi utvecklat för att analysera konstsamlingar pågår fortfarande, "Aubry sa. "Vi tror att det verkligen kommer att förändra både skalan och typen av studier konsthistoriker kommer att utföra, genom att låta dem leta efter och analysera samband mellan konstverk i mycket större skala. Verkligen, när du försöker kommentera anslutningar för bara några få detaljer på en medelstor datauppsättning, vi såg på egen hand hur tråkig och kostsam en sådan process var att utföra manuellt."

Aubry och hans kollegor utvärderade sin metod på flera datamängder, inklusive Oxford5K-fotodataset och en nyligen kommenterad datauppsättning av konstverk som tillskrivs Brueghel-familjen. I dessa utvärderingar, deras tillvägagångssätt nådde anmärkningsvärda resultat, överträffa andra toppmoderna tekniker för att avslöja visuella mönster i konstverk. Dessutom, deras tillvägagångssätt uppnådde toppmodern prestanda på datasetet Large Time Gap Location, effektivt lokalisera historiska arkitekturfotografier och moderna.

I framtiden, den djupa inlärningsmetod som Aubry och hans kollegor utarbetat skulle kunna hjälpa konsthistoriker att upptäcka visuella mönster över stora konstsamlingar. Enligt forskarna, deras tillvägagångssätt kan också enkelt överföras till andra problem, såsom geolokalisering och historiskt vattenmärke.

"Vi vill driva på tillämpningarna av vår strategi inom humaniora, genom att arbeta direkt med konsthistoriker för att anpassa vår metod till deras specifika behov och hjälpa dem att använda den, "Vi planerar också att arbeta med att utvidga idén om att utnyttja redundans och rumslig konsekvens i djupinlärning till olika typer av bilder och olika typer av applikationer."

© 2019 Science X Network