Att se var att tro tills tekniken höjde sitt mäktiga huvud och gav oss kraftfulla och billiga fotoredigeringsverktyg. Nu, realistiska videor som kartlägger en persons ansiktsuttryck till en annans, känd som deepfakes, presentera ett formidabelt politiskt vapen.

Men oavsett om det är den godartade utjämningen av en rynka i ett porträtt, eller en video manipulerad för att få den att se ut som en politiker som säger något stötande, all fotoredigering lämnar spår efter rätt verktyg att upptäcka.

Forskning ledd av Amit Roy-Chowdhury's Video Computing Group vid University of California, Riverside har utvecklat en djup neural nätverksarkitektur som kan identifiera manipulerade bilder på pixelnivå med hög precision. Roy-Chowdhury är professor i elektro- och datorteknik och Bourns Family Faculty Fellow vid Marlan and Rosemary Bourns College of Engineering.

Ett djupt neuralt nätverk är vad forskare inom artificiell intelligens kallar datorsystem som har tränats för att utföra specifika uppgifter, I detta fall, känna igen förändrade bilder. Dessa nätverk är organiserade i anslutna lager; "arkitektur" avser antalet lager och strukturen för förbindelserna mellan dem.

Objekt i bilder har gränser och närhelst ett objekt infogas eller tas bort från en bild, dess gräns kommer att ha andra egenskaper än gränserna för objekt i bilden naturligt. Till exempel, någon med goda Photoshop-kunskaper kommer att göra sitt bästa för att få det infogade objektet att se så naturligt ut som möjligt genom att jämna ut dessa gränser.

Även om detta kan lura det blotta ögat, när man undersöker pixel för pixel, gränserna för det infogade objektet är olika. Till exempel, de är ofta jämnare än de naturliga föremålen. Genom att upptäcka gränser för insatta och borttagna objekt, en dator ska kunna identifiera ändrade bilder.

Forskarna märkte icke-manipulerade bilder och relevanta pixlar i gränsområden för manipulerade bilder i en stor datauppsättning av foton. Syftet var att lära det neurala nätverket allmän kunskap om fotons manipulerade och naturliga områden. De testade det neurala nätverket med en uppsättning bilder som det aldrig hade sett förut, och det upptäckte de ändrade för det mesta. Det såg till och med den manipulerade regionen.

"Vi utbildade systemet för att skilja mellan manipulerade och icke -manipulerade bilder, och om du nu ger den en ny bild kan den ge en sannolikhet att den bilden är manipulerad eller inte, och för att lokalisera området i bilden där manipulationen inträffade, " sa Roy-Chowdhury.

Forskarna arbetar med stillbilder för tillfället, men de påpekar att detta också kan hjälpa dem att upptäcka deepfake-videor.

"Om du kan förstå egenskaperna i en stillbild, i en video är det i princip bara att sätta ihop stillbilder efter varandra, " Sa Roy-Chowdhury. "Den mer grundläggande utmaningen är förmodligen att ta reda på om en bildruta i en video är manipulerad eller inte."

Även en enda manipulerad ram skulle lyfta en röd flagga. Men Roy-Chowdhury tror att vi fortfarande har en lång väg kvar innan automatiserade verktyg kan upptäcka deepfake-videor i naturen.

"Det är ett utmanande problem, " Sa Roy-Chowdhury. "Det här är ett slags katt- och råttalek. Hela detta område av cybersäkerhet försöker på något sätt hitta bättre försvarsmekanismer, men då hittar angriparen också bättre mekanismer."

Han sa att helt automatiserad deepfake-detektion kanske inte är möjlig inom en snar framtid.

"Om du vill titta på allt som finns på internet, en människa kan inte göra det å ena sidan, och ett automatiserat system kan förmodligen inte göra det på ett tillförlitligt sätt. Så det måste vara en blandning av de två, " sa Roy-Chowdhury.

Djupa neurala nätverksarkitekturer kan producera listor med misstänkta videor och bilder som folk kan granska. Automatiserade verktyg kan minska mängden data som människor - som Facebook -innehållsmoderatorer - måste sikta igenom för att avgöra om en bild har manipulerats.

För denna användning, verktygen är precis runt hörnet.

"Det är förmodligen något som dessa teknologier kommer att bidra till på en mycket kort tidsram, förmodligen om några år, " sa Roy-Chowdhury.