Forskare vid Caltech har visat att algoritmer för maskininlärning kan övervaka sociala mediekonversationer på nätet när de utvecklas, vilket en dag kan leda till ett effektivt och automatiserat sätt att upptäcka trolling online.

Projektet förenar laboratoriet för artificiell intelligens (AI) forskaren Anima Anandkumar, Bren professor i datavetenskap och matematiska vetenskaper, och Michael Alvarez, professor i statsvetenskap. Deras arbete presenterades den 14 december vid AI for Social Good-workshopen vid 2019 års konferens om neurala informationsbehandlingssystem i Vancouver, Kanada. Deras forskargrupp inkluderar Anqi Liu, postdoktor; Maya Srikanth, en junior på Caltech; och Nicholas Adams-Cohen (MS '16, Ph.D. '19) vid Stanford University.

"Det här är en av de saker jag älskar med Caltech:förmågan att överbrygga gränser, utveckla synergier mellan samhällsvetenskap och, I detta fall, datavetenskap, säger Alvarez.

Förebyggande av trakasserier online kräver snabb upptäckt av stötande, trakasserande, och negativa inlägg på sociala medier, vilket i sin tur kräver övervakning av interaktioner online. Nuvarande metoder för att erhålla sådana sociala mediedata är antingen helt automatiserade och inte tolkbara eller förlitar sig på en statisk uppsättning nyckelord, som snabbt kan bli föråldrad. Ingen av metoderna är särskilt effektiva, enligt Srikanth.

"Det är inte skalbart att låta människor försöka göra det här arbetet för hand, och dessa människor är potentiellt partiska, " säger hon. "Å andra sidan, sökordssökning lider av den hastighet med vilken onlinekonversationer utvecklas. Nya termer dyker upp och gamla termer ändrar betydelse, så ett nyckelord som användes uppriktigt en dag kan vara sarkastiskt menat nästa dag."

Istället, teamet använde en GloVe-modell (Global Vectors for Word Representation) för att upptäcka nya och relevanta nyckelord. GloVe är en ordinbäddningsmodell, vilket betyder att det representerar ord i ett vektorrum, där "avståndet" mellan två ord är ett mått på deras språkliga eller semantiska likhet. Börjar med ett nyckelord, denna modell kan användas för att hitta andra som är nära besläktade med det ordet för att avslöja kluster av relevanta termer som faktiskt används. Till exempel, Sökande på Twitter efter användning av "MeToo" i konversationer gav kluster av relaterade hashtags som "SupportSurvivors, " "ImWithHer, " och "NotSilent." Detta tillvägagångssätt ger forskare en dynamisk och ständigt utvecklande nyckelordsuppsättning för sökning.

Men det räcker inte att bara veta om ett visst samtal är relaterat till ämnet av intresse; sammanhanget spelar roll. För det, GloVe visar i vilken utsträckning vissa sökord är relaterade, ge input om hur de används. Till exempel, i ett online Reddit-forum dedikerat till kvinnohat, ordet "kvinna" användes i nära samband med orden "sexuell, " "negativ, " och "samlag." I Twitter-inlägg om #MeToo-rörelsen, ordet "kvinna" var mer sannolikt att förknippas med termerna "företag, " "önska, " och "offer".

Projektet var ett proof-of-concept som syftade till att en dag ge sociala medieplattformar ett kraftfullare verktyg för att upptäcka trakasserier online. Anandkumars intresse för ämnet intensifierades av hennes engagemang i kampanjen för att ändra förkortningen av Neural Information Processing Systems-konferensen från dess ursprungliga akronym, "NIPS, " till "NeurIPS."

"Fältet för AI-forskning blir mer inkluderande, men det finns alltid människor som motsätter sig förändring, säger Anandkumar, som 2018 fann sig själv som måltavla för trakasserier och hot online på grund av hennes framgångsrika försök att byta till en akronym utan potentiellt stötande konnotationer. "Det var en ögonöppnande upplevelse om hur fult trolling kan bli. Förhoppningsvis, verktygen vi utvecklar nu kommer att hjälpa till att bekämpa alla typer av trakasserier i framtiden."

Deras studie har titeln "Finding Social Media Trolls:Dynamic Keyword Selection Methods for Rapidly-Evolving Online Debates."