I en ålder av generativ AI och stora språkmodeller (LLM) kan enorma mängder oäkta innehåll snabbt sändas på sociala medieplattformar. Som ett resultat blir illvilliga aktörer mer sofistikerade, kapar hashtaggar, förstärker på konstgjord väg vilseledande innehåll och massåterdelning av propaganda.
Dessa handlingar orkestreras ofta av statligt sponsrade informationsoperationer (IOs), som försöker påverka den allmänna opinionen under stora geopolitiska händelser som det amerikanska valet, covid-19-pandemin och mer.
Att bekämpa dessa IO har aldrig varit mer avgörande. Genom att identifiera inflytandekampanjer med högprecisionsteknik kommer att avsevärt minska felklassificeringen av legitima användare som IO-förare, vilket säkerställer att leverantörer av sociala medier eller tillsynsmyndigheter inte av misstag stänger av konton medan de försöker stävja olaglig verksamhet.
Mot bakgrund av detta leder forskaren Luca Luceri vid USC Information Sciences Institute (ISI) ett försök att identifiera och karakterisera påverkanskampanjer på sociala medier. Hans senaste artikel "Avslöja webben av bedrägeri:avslöja koordinerad aktivitet för att exponera informationsverksamhet på Twitter" presenterades vid webbkonferensen den 13 maj 2024.
"Mitt team och jag har arbetat med att modellera och identifiera IO-drivrutiner som bots och troll under de senaste fem till tio åren," sa Luceri. "I det här dokumentet har vi utvecklat våra metoder för att föreslå en svit av oövervakade och övervakade maskininlärningsmodeller som kan upptäcka orkestrerade påverkanskampanjer från olika länder inom plattformen X (tidigare Twitter)."
Utifrån en omfattande datauppsättning med 49 miljoner tweets från verifierade kampanjer med ursprung i sex länder – Kina, Kuba, Egypten, Iran, Ryssland och Venezuela – har Luceri och hans team finslipat fem delningsbeteenden på X som IO-förare deltar i.
Dessa inkluderar co-retweeting (delning av identiska tweets), co-URL (delar samma länkar eller webbadresser), hashtag-sekvens (med en identisk sekvens av hashtags inom tweets), snabb retweeting (snabbt återdelning av innehåll från samma användare), och textlikhet (tweets med liknande textinnehåll).
Tidigare forskning fokuserade på att bygga nätverk som kartlade varje typ av beteende, och undersökte likheterna mellan enskilda användare på X. Luceri och hans team märkte dock att dessa konton ofta använder många strategier samtidigt, vilket innebar att övervakning av ett beteendespår var inte tillräckligt.
"Vi upptäckte att co-retweeting användes massivt av kampanjer på Kuba och Venezuela," förklarade Luceri. "Men om vi bara undersöker co-retweeting utan att överväga andra beteenden, skulle vi prestera bra när det gäller att identifiera vissa kampanjer, som de som kommer från Kuba och Venezuela, men dåligt där co-retweeting användes mindre, som i ryska kampanjer."
För att fånga ett bredare utbud av samordnade delningsbeteenden, konstruerade forskarna ett enhetligt likhetsnätverk som kallas Fused Network. Sedan använde de maskininlärningsalgoritmer som matas av topologiska egenskaper hos det sammansmälta nätverket för att klassificera dessa kontons likheter och förutsäga deras framtida deltagande i IO:er.
Luceri och hans team fann att den här metoden kunde tillämpas på kampanjer över hela världen. Flera X-användare inom samma kampanj, oavsett var de kommer ifrån, uppvisade anmärkningsvärda kollektiva likheter i sina handlingar.
"Jag betraktar vårt arbete som ett paradigmskifte i forskningsmetoder, vilket ger ett nytt perspektiv i identifieringen av påverkanskampanjer och deras drivkrafter", säger Luceri.
Den oövervakade maskininlärningsmodellen utnyttjar välkända men underutnyttjade nätverksfunktioner som uppnår en 42 % högre precision än andra traditionella metoder för att upptäcka påverkanskampanjer. Luceri ser denna artikel som en utgångspunkt som kan öppna vägen för ytterligare forskningsvägar.
"Vi kan träna modeller på de topologiska egenskaperna hos detta likhetsnätverk och få dem att fungera i komplexa scenarier:till exempel om olika användare från olika länder interagerade med varandra, eller mer utmanande situationer där vi har begränsad information om kampanjerna." Luceri anmärkte.
Luceri presenterade också en annan artikel "Leveraging Large Language Models to Detect Influence Campaigns in Social Media" vid webbkonferensen, som fick priset för bästa papper från International Workshop on Computational Methods for Online Discourse Analysis (BeyondFacts'24). Uppsatsen undersöker potentialen i att använda LLM:er för att känna igen tecknen på AI-drivna påverkanskampanjer. Detta är särskilt viktigt i det nuvarande klimatet, där medier skapade av AI är genomträngande.
"Dessa samordnade aktiviteter har konsekvenser i det verkliga livet", sa Luceri. "De har makten att sprida desinformation och konspirationsteorier som kan leda till protester eller attacker mot vår demokrati, till exempel ryska trolls inblandning i det amerikanska valet 2016."
Luceri och hans team är fast beslutna att fortsätta sökandet efter alternativa strategier för att identifiera påverkanskampanjer och skydda användare som är mottagliga för påverkan.
Mer information: Luca Luceri et al, Unmasking the Web of Deceit:Uncovering Coordinated Activity to Exposing Information Operations on Twitter, arXiv (2023). DOI:10.48550/arxiv.2310.09884
Luca Luceri et al, Utnyttja stora språkmodeller för att upptäcka påverkanskampanjer i sociala medier, arXiv (2023). DOI:10.48550/arxiv.2311.07816
Journalinformation: arXiv
Tillhandahålls av University of Southern California
