Skadligt covid-19-innehåll på nätet – inklusive rasistiskt innehåll, desinformation och desinformation – frodas och sprids online genom att kringgå modereringsinsatserna från enskilda sociala medieplattformar, enligt ny forskning publicerad i tidskriften Vetenskapliga rapporter . Genom att kartlägga hatkluster online över sex stora sociala medieplattformar, forskare vid George Washington University visar hur skadligt innehåll utnyttjar vägar mellan plattformar, betonar behovet av sociala medieföretag att tänka om och justera sin policy för innehållsmoderering.

Leds av Neil Johnson, en professor i fysik vid GW, forskargruppen försökte förstå hur och varför skadligt innehåll trivs så bra på nätet trots betydande modereringsansträngningar, och hur det kan stoppas. Teamet använde en kombination av maskininlärning och nätverksdatavetenskap för att undersöka hur onlinehatgemenskaper vässade COVID-19 som ett vapen och använde aktuella händelser för att locka in nya följare.

"Tills nu, att bromsa spridningen av skadligt innehåll på nätet har varit som att spela en omgång mullvad, eftersom en karta över online hat multiversum inte existerade, "Johnson, som också är forskare vid GW Institute for Data, Demokrati och politik, sa. "Du kan inte vinna en strid om du inte har en karta över slagfältet. I vår studie, vi lade ut en första karta i sitt slag över detta slagfält. Oavsett om du tittar på traditionella hatämnen, såsom antisemitism eller antiasiatisk rasism kring covid-19, slagfältskartan är densamma. Och det är denna karta över länkar inom och mellan plattformar som är den saknade biten för att förstå hur vi kan bromsa eller stoppa spridningen av hatinnehåll på nätet."

Forskarna började med att kartlägga hur hatkluster sammankopplas för att sprida sina berättelser över sociala medieplattformar. Fokus på sex plattformar – Facebook, VKontakte, Instagram, Pladdra, Telegram och 4Chan—teamet började med ett givet hatkluster och tittade utåt för att hitta ett andra kluster som var starkt kopplat till originalet. De fann att de starkaste kopplingarna var VKontakte till Telegram (40,83% av plattformsoberoende anslutningar), Telegram till 4Chan (11,09%), och Gab in i 4Chan (10,90%).

Forskarna riktade sedan sin uppmärksamhet mot att identifiera skadligt innehåll relaterat till covid-19. De fann att koherensen i diskussionen om covid-19 ökade snabbt i de tidiga faserna av pandemin, med hatkluster som bildar berättelser och sammanhänger kring covid-19-ämnen och desinformation. För att undergräva modereringsinsatser från sociala medieplattformar, grupper som skickade hatmeddelanden använde flera anpassningsstrategier för att omgruppera sig på andra plattformar och/eller komma in på en plattform igen, fann forskarna. Till exempel, kluster byter ofta sina namn för att undvika upptäckt av moderators algoritmer, såsom vaccin mot va$$ine. Liknande, antisemitiska och anti-HBTQ-kluster lägger helt enkelt till strängar av 1:or eller A:n före namnet.

"Eftersom antalet oberoende sociala medieplattformar växer, dessa hatgenererande kluster kommer mycket sannolikt att stärka och utöka sina sammankopplingar via nya länkar, och kommer sannolikt att utnyttja nya plattformar som ligger utanför räckhåll för USA och andra västerländska länders jurisdiktioner." sade Johnson. "Möjligheterna att få alla sociala medieplattformar globalt att samarbeta för att lösa detta är mycket små. Dock, vår matematiska analys identifierar strategier som plattformar kan använda som grupp för att effektivt bromsa eller blockera hatinnehåll online."

Baserat på deras resultat, teamet föreslår flera sätt för sociala medieplattformar att bromsa spridningen av skadligt innehåll:

• Förläng på konstgjord väg de vägar som skadligt innehåll måste ta mellan kluster, öka chanserna att det upptäcks av moderatorer och fördröja spridningen av tidskänsligt material som vapenbehandlad covid-19 desinformation och våldsamt innehåll.
• Kontrollera storleken på ett onlinehatklusters stödbas genom att placera ett lock på storleken på kluster.
• Introducera icke-skadlig, mainstream-innehåll för att effektivt späda på ett klusters fokus.

"Vår studie visar en likhet mellan spridningen av onlinehat och spridningen av ett virus, "Yonatan Lupu, en docent i statsvetenskap vid GW och medförfattare på tidningen, sa. "Enskilda sociala medieplattformar har haft svårt att kontrollera spridningen av onlinehat, vilket speglar svårigheten enskilda länder runt om i världen har haft med att stoppa spridningen av covid-19-viruset."

Går framåt, Johnson och hans team använder redan sin karta och dess matematiska modellering för att analysera andra former av skadligt innehåll – inklusive beväpning av covid-19-vacciner där vissa länder försöker manipulera mainstreamsentimentet för nationalistiska vinster. De undersöker också i vilken utsträckning enskilda aktörer, inklusive utländska regeringar, kan spela en mer inflytelserik eller kontrollerande roll i detta utrymme än andra.