Sociala medier gjorde att vi kunde få kontakt med varandra som aldrig förr. Men det kom med ett pris – det gav en megafon till alla, inklusive terrorister, barnmisshandlare och hatgrupper. EU-institutionerna nådde nyligen en överenskommelse om Digital Services Act (DSA), som syftar till att "se till att det som är olagligt offline behandlas som olagligt online."

Den brittiska regeringen har också ett lagförslag om onlinesäkerhet på gång, för att öka kraven på digitala plattformar för att ta bort olagligt material.

Den skala som stora sociala medieplattformar verkar i – de kan ha miljarder användare från hela världen – utgör en stor utmaning när det gäller att bevaka olagligt innehåll. Det som är olagligt i ett land kan vara lagligt och skyddat uttryck i ett annat. Till exempel regler kring att kritisera regeringen eller medlemmar av en kunglig familj.

Detta blir komplicerat när en användare gör inlägg från ett land och inlägget delas och visas i andra länder. Inom Storbritannien har det till och med funnits situationer där det var lagligt att skriva ut något på förstasidan av en tidning i Skottland, men inte England.

DSA överlåter till EU:s medlemsländer att definiera olagligt innehåll i sina egna lagar.

Databasmetoden

Även där lagen är tydlig, till exempel om någon lägger ut kontrollerade droger till försäljning eller rekryterar för förbjudna terrorgrupper, möter moderering av innehåll på sociala medieplattformar stora utmaningar.

Användare gör hundratals miljoner inlägg per dag. Automatisering kan upptäcka känt olagligt innehåll baserat på ett flummigt fingeravtryck av filens innehåll. Men detta fungerar inte utan en databas och innehåll måste granskas innan det läggs till.

År 2021 undersökte Internet Watch Foundation fler rapporter än under deras första 15 år av existens, inklusive 252 000 som innehöll övergrepp mot barn:en ökning med 64 % från år till år jämfört med 2020.

Nya videor och bilder kommer dock inte att fångas upp av en databas. Även om artificiell intelligens kan försöka leta efter nytt innehåll, kommer det inte alltid att bli rätt.

Hur jämför de sociala plattformarna?

I början av 2020 rapporterades Facebook ha cirka 15 000 innehållsmoderatorer i USA, jämfört med 4 500 2017. TikTok påstod sig ha 10 000 personer som arbetar med "förtroende och säkerhet" (vilket är lite bredare än innehållsmoderering) på senare tid. 2020. En NYU Stern School of Business-rapport från 2020 föreslog att Twitter hade cirka 1 500 moderatorer.

Facebook hävdar att 97 % av innehållet som de flaggade som hatretorik togs bort av AI 2021, men vi vet inte vad som missats, inte rapporterats eller inte tagits bort.

DSA kommer att få de största sociala nätverken att öppna upp sin data och information för oberoende forskare, vilket borde öka transparensen.

Mänskliga moderatorer kontra tekniker

Att granska våldsamt, störande, rasistiskt och hatiskt innehåll kan vara traumatiskt för moderatorer och ledde till en domstolsförlikning på 52 miljoner USD (42 miljoner GBP). Vissa moderatorer i sociala medier rapporterar att de måste granska så många som 8 000 stycken flaggat innehåll per dag.

Även om det finns nya AI-baserade tekniker som försöker upptäcka specifika typer av innehåll, kämpar AI-baserade verktyg för att skilja mellan olagligt och osmakligt eller potentiellt skadligt (men annars lagligt) innehåll. AI kan felaktigt flagga ofarligt innehåll, missa skadligt innehåll och kommer att öka behovet av mänsklig granskning.

Facebooks egna interna studier har enligt uppgift hittat fall där fel åtgärd vidtagits mot inlägg så mycket som "90% av tiden." Användare förväntar sig konsekvens men detta är svårt att leverera i stor skala, och moderators beslut är subjektiva. Fall av gråzoner kommer att frustrera även de mest specifika och föreskrivande riktlinjerna.

Balansakt

Utmaningen sträcker sig också till desinformation. Det finns en hårfin gräns mellan att skydda yttrandefriheten och pressfriheten och att förhindra avsiktlig spridning av falskt innehåll. Samma fakta kan ofta formuleras på olika sätt, något välkänt för alla som är bekanta med den långa historien om "spin" i politiken.

Sociala nätverk förlitar sig ofta på användare som rapporterar skadligt eller olagligt innehåll, och DSA försöker stärka detta. Men en alltför automatiserad metod för moderering kan flagga eller till och med dölja innehåll som når ett visst antal rapporter. Detta innebär att grupper av användare som vill undertrycka innehåll eller synpunkter kan beväpna massrapportering av innehåll.

Sociala medieföretag fokuserar på användartillväxt och tid på plattformen. Så länge missbruk inte håller tillbaka någon av dessa, kommer de troligen att tjäna mer pengar. Det är därför det är viktigt när plattformar tar strategiska (men potentiellt polariserande) drag – som att ta bort den tidigare amerikanska presidenten Donald Trump från Twitter.

De flesta förfrågningar från DSA är rimliga i sig, men kommer att vara svåra att genomföra i stor skala. Ökad övervakning av innehåll kommer att leda till ökad användning av automatisering, som inte kan göra subjektiva bedömningar av sammanhang. Överklaganden kan vara för långsamma för att erbjuda meningsfull regress om en användare felaktigt ges ett automatiskt förbud.

Om de juridiska påföljderna för att få innehållsmoderering fel är tillräckligt höga för sociala nätverk, kan de på kort sikt stå inför få alternativ än att mer noggrant begränsa vad användare får visa. TikToks inställning till handplockat innehåll fick stor kritik. Plattformsfördomar och "filterbubblor" är ett verkligt problem. Filterbubblor skapas där innehåll som visas för dig väljs automatiskt av en algoritm, som försöker gissa vad du vill se härnäst, baserat på data som det du tidigare har tittat på. Användare anklagar ibland sociala medieföretag för plattformsbias eller orättvis moderering.

Finns det något sätt att moderera en global megafon? Jag skulle säga att bevisen pekar mot nej, åtminstone inte i stor skala. Vi kommer sannolikt att se svaret spelas ut genom upprätthållande av DSA i domstol.