De tomma ramarna som hänger inuti Isabella Stewart Gardner -museet fungerar som en konkret påminnelse om världens största olösta konsthäftning. Även om vi kanske aldrig avslöjar de ursprungliga mästerverken, ett team från MIT:s datavetenskap och artificiell intelligenslaboratorium (CSAIL) kanske kan hjälpa till, med ett nytt system som syftar till att designa reproduktioner av målningar.

"RePaint" använder en kombination av 3D-utskrift och djup inlärning för att autentiskt återskapa dina favoritmålningar-oavsett olika ljusförhållanden eller placering. RePaint kan användas för att göra om konstverk för ditt hem, skydda original från slitage på museer, eller till och med hjälpa företag att skapa utskrifter och vykort med historiska verk.

"Om du bara återger färgen på en tavla som den ser ut i galleriet, det kan se annorlunda ut hemma, "säger Changil Kim, en av författarna på en ny uppsats om systemet, som kommer att presenteras på ACM SIGGRAPH Asia i december. "Vårt system fungerar under alla ljusförhållanden, som visar en mycket större färgåtergivningsförmåga än nästan något annat tidigare arbete. "

För att testa RePaint, laget reproducerade ett antal oljemålningar skapade av deras konstnärssamarbetspartner. Teamet fann att RePaint var mer än fyra gånger mer exakt än state-of-the-art fysiska modeller för att skapa de exakta färgnyanserna för olika konstverk.

För närvarande är reproduktionerna bara ungefär lika stora som ett visitkort, på grund av tidskrävande utskrift. I framtiden förväntar sig laget att mer avancerade, kommersiella 3D-skrivare kan hjälpa till med att göra större målningar mer effektivt.

Hur det fungerar Medan 2-D-skrivare oftast används för att reproducera målningar, om du har en blå himmel eller en lila klänning i ditt konstverk, du kan ha tur. Det beror på att 2-D-skrivare har en fast uppsättning på bara fyra bläck (cyan, magenta, gul, och svart).

Forskarna, dock, hittat ett bättre sätt att fånga ett större spektrum av Degas och Dali. De använde en speciell teknik som de utvecklade som kallades "färgkontonering", vilket innebär att man använder en 3D-skrivare och 10 olika transparenta bläck staplade i mycket tunna lager, ungefär som skivorna och chokladen i en Kit-Kat-bar. De kombinerade sin metod med en decennier gammal teknik som kallas "halvtoning", där en bild skapas av massor av små bläckpunkter, snarare än kontinuerliga toner. Genom att kombinera dessa, teamet säger, bättre fångade nyanser av färgerna.

Med ett större färgomfång att arbeta med, frågan om vilka bläck som ska användas till vilka målningar fortfarande finns kvar. Istället för att använda mer mödosamma fysiska metoder, laget utbildade en djupinlärningsmodell för att förutsäga den optimala stacken av olika bläck. När systemet väl hade grepp om det, de matade sedan in bilder på målningar, och använde modellen för att bestämma vilka färger som skulle användas inom vilka specifika områden för specifika målningar.

Trots framstegen hittills, laget säger att de har några förbättringar att göra innan de kan piska upp en bländande dupe av "Starry Night". Enligt maskiningenjören Mike Foshey, de kunde inte helt återge vissa färger som koboltblått på grund av ett begränsat bläckbibliotek.

I framtiden planerar de att utöka detta bibliotek, samt skapa en målningsspecifik algoritm för att välja bläck. De kan också hoppas på att få bättre detaljer för att ta hänsyn till aspekter som ytstruktur och reflektion, så att de kan uppnå specifika effekter som glansiga och matta ytor.

"Konstens värde har snabbt ökat de senaste åren, så det finns en ökad tendens att den låses in i lager bort från allmänhetens ögon, "säger Foshey." Vi bygger tekniken för att vända denna trend, och att skapa billiga och exakta reproduktioner som alla kan njuta av. "

Kim och Foshey arbetade med systemet tillsammans med huvudförfattaren Liang Shi, MIT -professor Wojciech Matusik, tidigare MIT postdoc Vahid Babaei, nu gruppledare vid Max Planck Institute of Informatics, Princeton University datavetenskapliga professor Szymon Rusinkiewicz, och tidigare MIT postdoc Pitchaya Sitthi-Amorn, nu föreläsare vid Chulalongkorn University i Bangkok, Thailand.