Efter att ha sett timmar av videofilmer av tidigare president Barack Obama som håller sitt veckotal, Shruti Agarwal började lägga märke till några egenheter med Obamas sätt att tala.

"Varje gång han säger 'Hej, alla, " han flyttar upp huvudet till vänster eller höger, och sedan knyter han ihop läpparna, sade Agarwal, en doktorand i datavetenskap vid UC Berkeley.

Agarwal och hennes avhandlingsrådgivare Hany Farid, en tillträdande professor vid institutionen för elektroteknik och datavetenskap och på School of Information vid UC Berkeley, tävlar för att utveckla digitala kriminaltekniska verktyg som kan avslöja "deepfakes, "hyperrealistiska AI-genererade videor av människor som gör eller säger saker som de aldrig gjorde eller sa.

Att se dessa mönster i det verkliga Obamas tal gav Agarwal en idé.

"Jag insåg att det är en sak som är gemensam bland alla dessa deepfakes, och det är att de tenderar att förändra hur en person pratar, "Sa Agarwal.

Agarwals insikt ledde till att hon och Farid skapade det senaste vapnet i kriget mot deepfakes:ett nytt kriminaltekniskt tillvägagångssätt som kan använda de subtila egenskaperna hos hur en person talar, som Obamas distinkta huvudnickningar och läppväskor, för att känna igen om en ny video av den personen är verklig eller falsk.

Deras teknik, som Agarwal presenterade denna vecka på konferensen Computer Vision and Pattern Recognition i Long Beach, CA, kan användas för att hjälpa journalister, beslutsfattare, och allmänheten ligger steget före falska videor av politiska eller ekonomiska ledare som kan användas för att få igång ett val, destabilisera en finansmarknad, eller till och med hetsa till civil oro och våld.

"Föreställ dig en värld nu, där inte bara nyheterna som du läser kanske är verkliga eller inte – det är den värld vi har levt i de senaste två åren, sedan valet 2016 – men där bilderna och videorna du ser kanske är verkliga eller inte, sa Farid, som börjar sin anställning vid UC Berkeley den 1 juli. "Det handlar inte bara om de senaste framstegen när det gäller att skapa falska bilder och video. Det är injiceringen av dessa tekniker i ett ekosystem som redan marknadsför falska nyheter, sensationella nyheter och konspirationsteorier."

Den nya tekniken fungerar eftersom alla tre av de vanligaste deepfake-teknikerna - känd som "läppsynk, " "ansikts byte, " och "dockamästare, "— involverar att kombinera ljud och video från en källa med en bild från en annan källa, skapa en frånkoppling som kan avslöjas av en angelägen tittare – eller en sofistikerad datormodell.

Genom att använda tekniken "ansiktsbyte", till exempel, man kan skapa en djupfake av Donald Trump genom att överlagra Trumps ansikte på en video av Alec Baldwin som efterliknar Trump, så att det nästan är som om Baldwin bär en hudtät Trump-mask. Men Baldwins ansiktsuttryck kommer fortfarande att synas genom masken, sa Agarwal.

"Den nya bilden som skapas kommer att ha Alec Baldwins uttryck och ansiktsbeteende, men Trumps ansikte, "Sa Agarwal.

Likaså, i en "läppsynk" djupfake, AI-algoritmer tar en befintlig video av en person som pratar, och ändra läpprörelserna i videon för att matcha den för ett nytt ljud, där ljudet kan vara ett äldre tal taget ur sitt sammanhang, en imitator som talar, eller syntetiserat tal. Förra året, Skådespelaren och regissören Jordan Peele använde den här tekniken för att skapa en viral video där Obama säger upphetsande saker om president Trump.

Men i dessa videor, bara läpprörelserna ändras, så uttrycken i resten av ansiktet kanske inte längre matchar orden som sägs.

För att testa idén, Agarwal och Farid samlade in videofilmer av fem stora politiska personer – Hillary Clinton, Barack Obama, Bernie Sanders, Donald Trump och Elizabeth Warren-och körde dem genom verktygslådan för ansiktsbeteende för öppen källkod, OpenFace2, som plockade ut ansiktstics som höjda ögonbryn, näsa rynkor, käkdroppar och pressade läppar.

De använde sedan utdata för att skapa vad teamet kallar "mjuka biometriska" modeller, som korrelerar ansiktsuttryck och huvudrörelser för varje politisk ledare. De fann att varje ledare hade ett distinkt sätt att tala och, när de använde dessa modeller för att analysera riktiga videor och deepfakes skapade av deras medarbetare vid University of Southern California, de fann att modellerna exakt kunde skilja det verkliga från det falska mellan 92 och 96 procent av tiden, beroende på ledaren och längden på videon.

"Grundtanken är att vi kan bygga dessa mjuka biometriska modeller av olika världsledare, som presidentkandidater 2020, och sedan när videorna börjar gå sönder, till exempel, vi kan analysera dem och försöka avgöra om vi tror att de är verkliga eller inte, sa Farid.

Till skillnad från vissa digitala kriminaltekniker, som identifierar förfalskningar genom att upptäcka bildartefakter som lämnats kvar under tillverkningsprocessen, den nya metoden kan fortfarande känna igen förfalskningar som har ändrats genom enkel digital bearbetning som storleksändring eller komprimering.

Men det är inte idiotsäkert. Tekniken fungerar bra när den tillämpas på politiska personer som håller tal och formella anföranden eftersom de tenderar att hålla sig till väl inövade beteenden i dessa miljöer. Men det kanske inte fungerar lika bra för videor av dessa personer i andra inställningar:t.ex. Obama kanske inte nickar samma karaktäristiska huvud när han hälsar sina kompisar.

Deepfake -skapare kan också bli kunniga i dessa talmönster och lära sig att införliva dem i sina videor av världsledare, sa forskarna.

Agarwal säger att hon hoppas att det nya tillvägagångssättet kommer att hjälpa till att köpa lite tid i det ständigt föränderliga loppet för att upptäcka deepfakes.

"Vi försöker bara få lite övertag i detta katt- och musspel för att upptäcka och skapa nya djupfake, "Sa Agarwal.