Dagens smartphones använder ofta artificiell intelligens (AI) för att göra bilderna vi tar skarpare och tydligare. Men tänk om dessa AI-verktyg kunde användas för att skapa hela scener från grunden?

Ett team från MIT och IBM har nu gjort precis det med "GANpaint Studio, " ett system som automatiskt kan generera realistiska fotografiska bilder och redigera objekt inuti dem. Förutom att hjälpa konstnärer och designers att göra snabba justeringar av bilder, forskarna säger att arbetet kan hjälpa datavetare att identifiera "falska" bilder.

David Bau, en Ph.D. student vid MIT:s Computer Science and Artificial Intelligence Lab (CSAIL), beskriver projektet som en av de första gångerna som datavetare faktiskt har kunnat "måla med nervcellerna" i ett neuralt nätverk – specifikt, en populär typ av nätverk som kallas ett generative adversarial network (GAN).

Tillgänglig online som en interaktiv demo, GANpaint Studio låter en användare ladda upp en bild som han eller hon väljer och ändra flera aspekter av dess utseende, från att ändra storleken på objekt till att lägga till helt nya föremål som träd och byggnader.

Välsignelse för designers

Med MIT-professor Antonio Torralba i spetsen som en del av MIT-IBM Watson AI Lab som han leder, projektet har stora potentiella tillämpningar. Designers och konstnärer kan använda den för att göra snabbare justeringar av sina bilder. Att anpassa systemet till videoklipp skulle göra det möjligt för datorgrafikredigerare att snabbt komponera specifika arrangemang av objekt som behövs för en viss bild. (Tänka, till exempel, om en regissör filmade en hel scen med skådespelare men glömde att ta med ett objekt i bakgrunden som är viktigt för handlingen.)

GANpaint Studio kan också användas för att förbättra och felsöka andra GAN som håller på att utvecklas, genom att analysera dem för "artefakt"-enheter som behöver tas bort. I en värld där ogenomskinliga AI-verktyg har gjort bildmanipulering enklare än någonsin, det kan hjälpa forskare att bättre förstå neurala nätverk och deras underliggande strukturer.

"Just nu, maskininlärningssystem är dessa svarta lådor som vi inte alltid vet hur vi ska förbättra, ungefär som de där gamla tv-apparaterna som du måste fixa genom att slå dem på sidan, säger Bau, huvudförfattare på en relaterad artikel om systemet med ett team som övervakas av Torralba. "Denna forskning tyder på att medan det kan vara läskigt att öppna upp TV:n och titta på alla kablar, det kommer att finnas mycket meningsfull information där."

En oväntad upptäckt är att systemet faktiskt verkar ha lärt sig några enkla regler om relationerna mellan objekt. Det vet på något sätt att inte lägga något någonstans det inte hör hemma, som ett fönster på himlen, och det skapar också olika bilder i olika sammanhang. Till exempel, om det finns två olika byggnader i en bild och systemet uppmanas att lägga till dörrar till båda, det lägger inte bara till identiska dörrar – de kan i slutändan se ganska olika ut.

"Alla ritappar följer användarinstruktionerna, men vår kanske beslutar att inte rita någonting om användaren beordrar att placera ett objekt på en omöjlig plats, " säger Torralba. "Det är ett ritverktyg med en stark personlighet, och det öppnar ett fönster som låter oss förstå hur GAN:er lär sig att representera den visuella världen."

GAN är uppsättningar av neurala nätverk utvecklade för att konkurrera med varandra. I detta fall, ett nätverk är en generator fokuserad på att skapa realistiska bilder, och den andra är en diskriminator vars mål är att inte bli lurad av generatorn. Varje gång diskriminatorn "fångar" generatorn, det måste avslöja det interna motivet för beslutet, vilket gör att generatorn hela tiden kan bli bättre.

"Det är verkligen häpnadsväckande att se hur detta arbete gör det möjligt för oss att direkt se att GAN:er faktiskt lär sig något som börjar likna sunt förnuft, säger Jaakko Lehtinen, en docent vid Finlands Aalto-universitet som inte var involverad i projektet. "Jag ser denna förmåga som en avgörande språngbräda för att ha autonoma system som faktiskt kan fungera i den mänskliga världen, som är oändlig, komplex och ständigt föränderlig."

Stämpla ut oönskade "falska" bilder

Teamets mål har varit att ge människor mer kontroll över GAN-nätverk. Men de inser att med ökad makt kommer risken för missbruk, som att använda sådan teknik för att doktorera foton. Medförfattaren Jun-Yan Zhu säger att han tror att bättre förståelse av GANs – och de typer av misstag de gör – kommer att hjälpa forskare att bättre kunna utrota falska.

"Du måste känna din motståndare innan du kan försvara dig mot den, " säger Zhu, en postdoc vid CSAIL. "Denna förståelse kan potentiellt hjälpa oss att upptäcka falska bilder lättare."

För att utveckla systemet, teamet identifierade först enheter inuti GAN som korrelerar med särskilda typer av objekt, som träd. Den testade sedan dessa enheter individuellt för att se om att bli av med dem skulle få vissa föremål att försvinna eller dyka upp. Viktigt, de identifierade också enheterna som orsakar visuella fel (artefakter) och arbetade för att ta bort dem för att öka bildens övergripande kvalitet.

"När GAN genererar fruktansvärt orealistiska bilder, orsaken till dessa misstag har tidigare varit ett mysterium, säger medförfattaren Hendrik Strobelt, en forskare vid IBM. "Vi fann att dessa misstag utlöses av specifika uppsättningar av neuroner som vi kan tysta för att förbättra kvaliteten på bilden."

Bau, Strobelt, Torralba och Zhu skrev uppsatsen tillsammans med tidigare CSAIL Ph.D. student Bolei Zhou, postdoktor Jonas Wulff, och student William Peebles. De kommer att presentera den nästa månad på SIGGRAPH-konferensen i Los Angeles. "Det här systemet öppnar en dörr till en bättre förståelse av GAN-modeller, och det kommer att hjälpa oss att göra vilken typ av forskning vi än behöver göra med GAN, säger Lehtinen.

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.