Forskare vid University of Notre Dame använder artificiell intelligens för att utveckla ett system för tidig varning som kommer att identifiera manipulerade bilder, djupfalska videor och desinformation online. Projektet är ett försök att bekämpa uppkomsten av samordnade sociala mediekampanjer för att uppmuntra till våld, syr oenighet och hotar integriteten i demokratiska val.

Den skalbara, automatiserade system använder innehållsbaserad bildhämtning och använder datorseende-baserade tekniker för att utrota politiska memes från flera sociala nätverk.

"Memes är lätta att skapa och ännu lättare att dela, sa Tim Weninger, docent vid institutionen för datavetenskap och teknik vid Notre Dame. "När det kommer till politiska memes, dessa kan användas för att få ut omröstningen, men de kan också användas för att sprida felaktig information och orsaka skada."

Weninger, tillsammans med Walter Scheirer, en biträdande professor vid institutionen för datavetenskap och teknik vid Notre Dame, och medlemmar av forskargruppen samlade in mer än två miljoner bilder och innehåll från olika källor på Twitter och Instagram relaterat till 2019 års allmänna val i Indonesien. Resultatet av det valet, där de vänsterorienterade, centralt sittande makthavare fick majoritetsröst över de konservativa, populistisk kandidat, utlöste en våg av våldsamma protester som gjorde att åtta människor dödades och hundratals skadades. Deras studie fann både spontana och samordnade kampanjer med avsikt att påverka valet och hetsa till våld.

Dessa kampanjer bestod av manipulerade bilder som visade falska påståenden och felaktig framställning av incidenter, logotyper som tillhör legitima nyhetskällor som används på fabricerade nyhetsartiklar och memes skapade med avsikten att provocera medborgare och anhängare till båda parter.

Även om följderna av sådana kampanjer var uppenbara i fallet med det indonesiska allmänna valet, hotet mot demokratiska val i väst finns redan. Forskargruppen vid Notre Dame, består av digitala kriminaltekniska experter och specialister på fredsstudier, sa att de utvecklar systemet för att flagga manipulerat innehåll för att förhindra våld, och att varna journalister eller valövervakare för potentiella hot i realtid.

Systemet, som befinner sig i forsknings- och utvecklingsfasen, skulle vara skalbar för att ge användarna skräddarsydda alternativ för övervakning av innehåll. Även om många utmaningar kvarstår, som att bestämma ett optimalt sätt att skala upp dataintag och bearbetning för snabb hantering, Scheirer sa att systemet för närvarande utvärderas för övergång till operativ användning.

Utvecklingen ligger inte för långt efter när det gäller möjligheten att övervaka 2020 års allmänna val i USA, han sa, och deras team håller redan på att samla in relevant data.

"Desinformationsåldern är här, ", sa Scheirer. "En deepfake som ersätter skådespelare i en populär film kan verka rolig och lättsam men föreställ dig en video eller ett meme skapat för det enda syftet att ställa en världsledare mot en annan – att säga ord som de faktiskt inte sa. Föreställ dig hur snabbt innehållet kunde delas och spridas över plattformar. Tänk på konsekvenserna av dessa handlingar."