Användare som förbjuds från sociala plattformar går någon annanstans med ökad toxicitet, enligt en ny studie med forskare från Binghamton University, State University of New York.

När människor beter sig som idioter på sociala medier, ett permanent svar är att förbjuda dem från att posta igen. Ta bort den digitala megafonen, teorin går, och de sårande eller oärliga meddelandena från dessa bråkmakare kommer inte att posta några problem där längre.

Vad händer efter det, fastän? Vart tar de som har blivit "deplattformade" vägen, och hur påverkar det deras beteende i framtiden?

Ett internationellt team av forskare – inklusive biträdande professor Jeremy Blackburn och Ph.D. kandidat Esraa Aldreabi från Thomas J. Watson College of Engineering and Applied Sciences institution för datavetenskap—undersöker dessa frågor i en ny studie som heter "Understanding the Effect of Deplatforming on Social Networks."

Forskningen utförd av iDRAMA Labs medarbetare vid Binghamton University, Boston University, University College London och Max Planck Institute for Informatics i Tyskland presenterades i juni på 2021 ACM Web Science-konferens .

Forskare utvecklade en metod för att identifiera konton som tillhör samma person på olika plattformar och fann att förbudet på Reddit eller Twitter ledde till att dessa användare gick med i alternativa plattformar som Gab eller Parler där innehållsmodereringen är mer slapp.

Bland fynden är också att även om användare som flyttar till dessa mindre plattformar har en potentiellt minskad målgrupp, de uppvisar en ökad aktivitetsnivå och toxicitet än de gjorde tidigare.

"Du kan inte bara förbjuda dessa människor och säga, 'Hallå, det fungerade.' De försvinner inte, "Sade Blackburn. "De går till andra platser. Det har en positiv effekt på den ursprungliga plattformen, men det finns också en viss grad av förstärkning eller försämring av denna typ av beteende någon annanstans."

Den deplattformande studien samlade in 29 miljoner inlägg från Gab, som lanserades 2016 och har för närvarande cirka 4 miljoner användare. Gab är känt för sin högerextrema bas av nynazister, vita nationalister, antisemiter och QAnon konspirationsteoretiker.

Genom att använda en kombination av maskininlärning och mänsklig märkning, forskare korsrefererade profilnamn och innehåll med användare som hade varit aktiva på Twitter och Reddit men stängts av. Många som är deplattformade återanvänder samma profilnamn eller användarinformation på en annan plattform för kontinuitet och igenkänning med sina följare.

"Bara för att två personer har samma namn eller användarnamn, det är ingen garanti, ", sa Blackburn. "Det var en ganska stor process att gå igenom att skapa en "ground truth"-datauppsättning, där vi hade ett mänskligt att säga, "Detta måste vara samma människor på grund av den här anledningen och den anledningen." Det gör att vi kan skala upp saker genom att kasta in det i ett maskininlärningsklassificerare [program] som lär oss egenskaperna att titta efter."

Processen var inte olik hur forskare bestämmer identiteten på författare för otillskrivna eller pseudonyma verk, letar efter stil, syntax och ämne, han lade till.

I datasetet som analyserades för denna studie, cirka 59 % av Twitter-användarna (1, 152 av 1, 961) skapade Gab-konton efter deras senaste aktiva tid på Twitter, förmodligen efter att deras konto stängts av. För Reddit, cirka 76 % (3, 958 av 5, 216) av avstängda användare skapade Gab-konton efter deras senaste inlägg på Reddit.

Jämför innehåll från samma användare på Twitter och Reddit kontra Gab, användare tenderar att bli mer giftiga när de hängs upp från en plattform och tvingas flytta till en annan plattform. De blir också mer aktiva, öka frekvensen av inlägg.

På samma gång, publiken för Gab-användares innehåll begränsas av den minskade storleken på plattformen jämfört med miljontals användare på Twitter och Reddit. Detta kan ses som en bra sak, men Blackburn varnade för att mycket av planeringen för attacken den 6 januari på U.S. Capitolium skedde på Parler, en plattform som liknar Gab med en mindre användarbas som snedställs till alt-höger och extremt höger.

"Att minska räckvidden är förmodligen en bra sak, men räckvidden kan lätt misstolkas. Bara för att någon har 100, 000 följare betyder inte att de alla är följare i den verkliga världen, " han sa.

"Hårdkärrgruppen, kanske den grupp som vi är mest oroliga för, är de som förmodligen håller med någon om de flyttar någon annanstans på nätet. Om genom att minska den räckvidden, du ökar intensiteten som människorna som vistas runt utsätts för, det är som en fråga om kvalitet kontra kvantitet. Är det värre att fler ser det här? Eller är det värre att ha mer extrema saker som produceras för färre människor?"

En separat studie, "En stor öppen datauppsättning från Parler Social Network, "inkluderade även Blackburn bland forskare från New York University, University of Illinois, University College London, Boston University och Max Planck Institute.

Presenterades vid AAAI-konferensen om webb och sociala medier förra månaden, den analyserade 183 miljoner Parler-inlägg gjorda av 4 miljoner användare mellan augusti 2018 och januari 2021, samt metadata från 13,25 miljoner användarprofiler. Uppgifterna bekräftar att användare på Parler – som en kort stund stängde ner och togs bort från Apples och Googles appbutiker som svar på Capitol-upploppet – överväldigande stödde president Donald Trump och hans "Make America Great Again"-agenda.

"Oavsett vad Parler kan ha sagt, offentligt eller inte, det var väldigt tydligt vitt, högra vingen, Christian Trump-anhängare, " sa Blackburn. "Återigen, inte överraskande, det fick sitt största uppsving direkt vid valet 2020 – upp till en miljon användare gick med. Sedan runt attacken på Capitolium, det fanns en annan stor bula i användare. Vad vi kan se är att det mycket tydligt användes som ett organisationsverktyg för upproret."

Så om att förbjuda användare inte är det rätta svaret, vad är? Reddit administratörer, till exempel, har en "skuggförbudsfunktion" som gör att besvärliga användare tror att de fortfarande gör inlägg på webbplatsen, förutom att ingen annan kan se dem. Under valet 2020 och covid-19-pandemin, Twitter lade till etiketter för innehållsmoderering till tweets som medvetet spred desinformation.

Blackburn är osäker på alla modereringsverktyg som sociala medieplattformar har tillgängliga, men han tycker att det måste finnas fler "sociotekniska lösningar på sociotekniska problem" snarare än att bara direkt förbjuda.

"Samhället säger nu ganska bestämt att vi inte kan ignorera det här - vi kan inte bara använda de enkla utslagen längre, " sa han. "Vi måste komma på lite mer kreativa idéer för att inte bli av med människor, men förhoppningsvis driva dem i en positiv riktning eller åtminstone se till att alla är medvetna om vem den personen är. Någonstans mitt emellan bara obegränsad tillgång och att förbjuda alla är förmodligen den rätta lösningen."