Forskare vid TU Delft i Nederländerna har nyligen utvecklat en konvolutionellt neuralt nätverk (CNN)-baserad modell för att rekonstruera ritningar som har försämrats med tiden. I deras studie, publicerad i Springer's Maskinseende och tillämpningar , de använde specifikt modellen för att rekonstruera några av Vincent Van Goghs teckningar som förstördes under åren på grund av bläckets blekning och missfärgning.

"Nederländerna har ett internationellt rykte när det gäller konst, med kända artister som Rembrandt, Mondrian och Van Gogh, " Jan van der Lubbe, en av forskarna som genomförde studien, berättade för TechXplore. "Därför, konsthistorisk forskning och forskning om hur man bevarar kulturarvet spelar en viktig roll i Nederländerna."

På senare år har ett växande antal forskare har försökt utveckla tekniker för maskininlärning, som CNN, för analys av konstverk. Än så länge, dessa verktyg har främst använts för att identifiera konstnären som skapat specifika konstverk eller för att avgöra om målningar är äkta eller falska.

Till skillnad från tidigare forskning, van der Lubbe och hans kollegor satte sig för att undersöka användningen av maskininlärningstekniker för pixelvis rekonstruktion av försämrade målningar. När det gäller konstbevarande, försämringen av målningar och teckningar är en viktig utmaning, så verktyg som automatiskt kan rekonstruera ofullständiga eller förstörda konstverk skulle avsevärt förenkla konsthistorikernas arbete.

Teamet av forskare vid TU Delft tränade sin CNN-baserade modell på reproduktioner av försämrade teckningar av den postimpressionistiska målaren Van Gogh. Faktiskt, några av Van Goghs bläckteckningar har försämrats avsevärt under det senaste århundradet, och konsthistoriker har ofta försökt reproducera dem.

Dessa teckningar kan för närvarande inte ställas ut, och om några decennier kan de försämras helt. Med detta i åtanke, Van der Lubbe och hans kollegor ville utveckla en modell som automatiskt kan rekonstruera dessa ovärderliga konstverk för att bevara dem och göra dem tillgängliga för allmänheten.

"Ett av huvudmålen med vår forskning var att förutsäga originalet, tidigare och framtida framträdanden av konstverk på papper med hjälp av maskininlärningsmetoder som integrerar resultaten av både djupgående studier av de använda färgerna och deras missfärgning över tid, " sa van der Lubbe. "Detta kan hjälpa till att föreställa sig hur, till exempel, en teckning av Van Gogh kan ha sett ut när den skapades."

Tillvägagångssättet som utarbetats av van der Lubbe och hans kollegor kombinerar tekniker för bildanalys med flera upplösningar och djupa CNN:er för att förutsäga tidigare framträdanden av ritningar pixelvis. CNN är algoritmer inspirerade av biologiska neurala nätverk som de i den mänskliga hjärnan som kan tränas för att utföra specifika uppgifter genom att analysera stora mängder data.

"Såvitt vi vet, det finns inga eller mycket få tidigare studier om användningen av maskininlärningsmetoder för digital rekonstruktion av konstverk, ", sa van der Lubbe. "Det är nyckelidén som driver vår forskning och användningen av maskininlärning för att rekonstruera konstverk. Från tidigare studier där vi har övervägt olika maskininlärningsalgoritmer, Convolutional neural network (CNN) tillvägagångssätt verkade mest lovande."

I deras studie, forskarna utbildade specifikt ett CNN för att digitalt rekonstruera bleka Van Gogh-teckningar på papper. Algoritmen tränades på en datauppsättning innehållande reproduktioner av originalritningarna av varierande kvalitet, gjort vid olika tidpunkter under det gångna århundradet.

"Exemplen vi använde i vår studie är reproduktioner av Van Gogh-teckningar där innehållet och färgen har bleknat mindre allvarligt, så de är närmare originalteckningen gjord av Van Gogh, " sa van der Lubbe. "Vi fick de ursprungliga ritningarna och reproduktionerna från Van Gogh-museets samling."

Förutom att avslöja hur teckningar såg ut förr, det tillvägagångssätt som föreslagits av van der Lubbe och hans kollegor skulle kunna hjälpa konsthistoriker att identifiera lämpliga strategier för bevarande och restaurering av konstverk, samt effektiva metoder för bevarande och visning av konstverk.

Forskarna utvärderade sin modell i en serie experiment och fann att den gav anmärkningsvärda resultat. Deras resultat lyfter fram möjligheten att använda maskininlärning för prediktiv rekonstruktion av försämrade bilder, dokument och konstverk. Även om forskarna specifikt använde sin modell för att rekonstruera Van Goghs ritningar, det kunde också tillämpas på andra försämrade konstverk på papper eller på 1800-talsmanuskript.

"Vi fick bättre resultat för den digitala rekonstruktionen av Van Gogh-ritningar än de som hittills uppnåtts med andra metoder, sa van der Lubbe. "Självklart, Van Gogh var bara ett test eller exempel. Vår teknik kan också sträcka sig bortom Van Goghs teckningar till teckningar av andra konstnärer, målningar och gamla dokument."

I framtiden, verktyget som utvecklats av van der Lubbe och hans kollegor skulle kunna hjälpa konsthistoriker att skapa realistiska rekonstruktioner av konstverk som annars skulle kunna försämras totalt. I deras senaste studie, forskarna fokuserade på en teckning i taget, tränar deras CNN på ett begränsat antal reproduktioner. Dock, modellen kunde också användas för att förutsäga hur originalteckningen såg ut baserat på en mycket större mängd reproduktioner.

Dessutom, denna teknik fungerar för närvarande genom att analysera visuell information. I sina nästa studier, forskarna skulle vilja undersöka om man analyserar både visuell och kemirelaterad information (t.ex. bläckets sammansättning och dess nedbrytningshastighet) kan förbättra modellens prestanda.

"I denna studie, vi hade en försämrad nutida ritning, ", sa van der Lubbe. "Vi känner att det också skulle vara en stor utmaning att rekonstruera den ursprungliga ritningen, särskilt i fall där originalet inte är tillgängligt eller har försvunnit, så vi har bara reproduktioner från det förflutna."

© 2019 Science X Network