För att motverka sofistikerade metoder för att ändra foton och video, forskare vid NYU Tandon School of Engineering har demonstrerat en experimentell teknik för att autentisera bilder genom hela pipelinen, från förvärv till leverans, använder artificiell intelligens (AI).

I tester, denna prototypbildledning ökade chanserna att upptäcka manipulation från cirka 45 procent till över 90 procent utan att göra avkall på bildkvaliteten.

Att avgöra om ett foto eller en video är äkta blir allt mer problematiskt. Sofistikerade tekniker för att ändra foton och videor har blivit så tillgängliga att så kallade "djupa förfalskningar" - manipulerade foton eller videor som är anmärkningsvärt övertygande och ofta inkluderar kändisar eller politiska personer - har blivit vardag.

Pawel Korus, en forskarassistent vid institutionen för datavetenskap och teknik vid NYU Tandon, banat väg för detta tillvägagångssätt. Den ersätter den typiska fotoframkallningspipelinen med ett neuralt nätverk – en form av AI – som introducerar noggrant utformade artefakter direkt i bilden i ögonblicket för bildanskaffning. Dessa artefakter, liknande "digitala vattenstämplar, "är extremt känsliga för manipulation.

"Till skillnad från tidigare använda vattenmärkningstekniker, dessa AI-lärda artefakter kan avslöja inte bara förekomsten av fotomanipulationer, men också deras karaktär, sa Korus.

Processen är optimerad för inbäddning i kameran och kan överleva bildförvrängning som appliceras av fotodelningstjänster online.

Fördelarna med att integrera sådana system i kameror är tydliga.

"Om kameran själv producerar en bild som är mer känslig för manipulering, eventuella justeringar kommer att upptäckas med hög sannolikhet, sa Nasir Memon, professor i datavetenskap och teknik vid NYU Tandon och medförfattare, med Korus, av ett papper som beskriver tekniken. "Dessa vattenstämplar kan överleva efterbehandling, men de är ganska ömtåliga när det kommer till modifiering:om du ändrar bilden, vattenstämpeln går sönder, " sa Memon.

De flesta andra försök att fastställa bildens äkthet undersöker endast slutprodukten - ett notoriskt svårt företag.

Korus och Memon, däremot resonerade att modern digital bildbehandling redan bygger på maskininlärning. Varje foto som tas på en smartphone genomgår nästan omedelbar bearbetning för att justera för svagt ljus och för att stabilisera bilder, som båda äger rum med tillstånd av AI ombord. Under de kommande åren, AI-drivna processer kommer sannolikt att helt ersätta de traditionella digitala bildbehandlingspipelines. När denna övergång äger rum, Memon sa att "vi har möjligheten att dramatiskt förändra kapaciteten hos nästa generations enheter när det gäller bildintegritet och autentisering. Imaging pipelines som är optimerade för kriminalteknik kan hjälpa till att återställa ett element av förtroende i områden där gränsen mellan verklig och falsk kan vara svårt att rita med självförtroende."

Korus och Memon noterar att även om deras tillvägagångssätt visar lovande vid testning, ytterligare arbete krävs för att förfina systemet. Denna lösning är öppen källkod och kan nås på github.com/pkorus/neural-imaging.

Forskarna kommer att presentera sin uppsats, "Innehållsautentisering för neural avbildningspipelines:End-to-end-optimering av fotohärkomst i komplexa distributionskanaler, " vid konferensen om datorseende och mönsterigenkänning i Long Beach, Kalifornien, i juni.