Kredit:BigTuneOnline/Shutterstock
Den dödliga attacken mot två moskéer i Christchurch, Nya Zeeland, där 50 människor dödades och många andra allvarligt skadades, streamades live på Facebook av mannen som anklagats för att ha utfört det. Det delades sedan snabbt över sociala medieplattformar.
Versioner av livestream-attackvideon stannade online under en oroande lång tid. En rapport från The Guardian visade att en video låg kvar på Facebook i sex timmar och en annan på YouTube i tre. För många, den snabba och till synes ostoppbara spridningen av denna video kännetecknar allt som är fel med sociala medier:giftigt, hatfyllt innehåll som blir viralt och ses av miljoner.
Men vi bör undvika syndabock på de stora plattformarna. Alla av dem (Twitter, Facebook, Youtube, Google, Snapchat) är anmälda till Europeiska kommissionens #NoPlace4Hate-program. De har åtagit sig att ta bort olagligt hatiskt innehåll inom 24 timmar, en tidsperiod som sannolikt kommer ner till bara en timme.
Bortsett från allt annat, de är medvetna om ryktesriskerna med att förknippas med terrorism och annat skadligt innehåll (som pornografi, självmord, pedofili) och lägger allt mer avsevärda resurser på att ta bort den. Inom 24 timmar efter attentatet i Christchurch, Facebook hade förbjudit 1,5 miljoner versioner av attackvideon – varav 1,2 miljoner den slutade att laddas upp alls.
Att övervaka hatiskt innehåll är alltid svårt och även de mest avancerade systemen missar av misstag något. Men under terroristattacker står de stora plattformarna inför särskilt betydande utmaningar. Som forskning har visat, terroristattacker utlöser enorma toppar i onlinehat, överskridande av plattformarnas rapporteringssystem. Många människor som laddar upp och delar detta innehåll vet också hur de kan lura plattformarna och komma runt sina befintliga kontroller.
Så vad kan plattformar göra för att ta ner extremistiskt och hatiskt innehåll direkt efter terroristattacker? Jag föreslår fyra särskilda åtgärder som behövs för att specifikt rikta in sig på det kortsiktiga inflödet av hat.
1. Justera känsligheten för hatdetekteringsverktygen
Alla verktyg för hatdetektering har en felmarginal. Designerna måste bestämma hur många falska negativa och falska positiva de är nöjda med. Falskt negativ är bitar av innehåll som är tillåtna online även om de är hatiska och falska positiva är bitar av innehåll som blockeras trots att de inte är hatiska. Det finns alltid en avvägning mellan de två när man implementerar något system för hatdetektering.
Det enda sättet att verkligen säkerställa att inget hatiskt innehåll går online är att förbjuda allt innehåll från att laddas upp – men det skulle vara ett misstag. Det är mycket bättre att justera känsligheten hos algoritmerna så att folk får dela innehåll men plattformar fångar mycket mer av det hatiska.
Sörjer offren för attackerna i Christchurch-moskén. Kredit:EPA-EFE
2. Aktivera enklare borttagningar
Hatiskt innehåll som kommer in på de stora plattformarna, som Twitter och Facebook, kan flaggas av användare. Det skickas sedan för manuell granskning av en innehållsmoderator, som kontrollerar det med fördefinierade riktlinjer. Innehållsmoderering är en fundamentalt svår verksamhet, och plattformarna syftar till att minimera felaktiga recensioner. Ofta är detta genom att använda "pinnen":enligt vissa undersökande journalister, moderatorer som arbetar på uppdrag av Facebook riskerar att förlora sina jobb om de inte upprätthåller höga nivåer för modereringsnoggrannhet.
Under attacker, plattformar skulle kunna införa särskilda rutiner så att personalen snabbt kan arbeta igenom innehåll utan rädsla för utvärdering av låg prestanda. De kan också införa tillfälliga karantäner så att innehåll flaggas för omedelbar borttagning men sedan omprövas vid ett senare tillfälle.
3. Begränsa användarnas möjlighet att dela
Delning är en grundläggande del av sociala medier, och plattformar uppmuntrar aktivt delning både på sina webbplatser (vilket är avgörande för deras affärsmodeller) och mellan dem, eftersom det betyder att ingen av dem missar något när något blir viralt. Men enkel delning medför också risker:forskning visar att extremt och hatiskt innehåll importeras från nischade högerextrema sajter och dumpas i mainstream där det snabbt kan spridas till en stor publik. Och under attacker betyder det att allt som kommer förbi en plattforms program för hatdetektering snabbt kan delas över alla plattformar.
Plattformar bör begränsa antalet gånger som innehåll kan delas på deras webbplats och eventuellt förbjuda delningar mellan webbplatser. Denna taktik har redan antagits av WhatsApp, vilket nu begränsar antalet gånger innehåll kan delas till bara fem.
4. Skapa delade databaser med innehåll
Alla de stora plattformarna har mycket liknande riktlinjer för vad som är "hat" och kommer att försöka ta ner i stort sett samma innehåll efter attacker. Att skapa en delad databas med hatiskt innehåll skulle säkerställa att innehåll som tas bort från en webbplats automatiskt förbjuds från en annan. Detta skulle inte bara undvika onödig dubbelarbete utan göra det möjligt för plattformarna att snabbt ägna resurser åt det riktigt utmanande innehållet som är svårt att upptäcka.
Att ta bort hatiskt innehåll bör ses som en branschomfattande ansträngning och inte ett problem som varje plattform står inför individuellt. Delade databaser som denna finns också på ett begränsat sätt, men ansträngningarna måste intensifieras enormt och deras omfattning breddas.
I längden, plattformar måste fortsätta investera i innehållsmoderering och utveckla avancerade system som integrerar mänskliga kontroller med maskininlärning. Men det finns också ett trängande behov av särskilda åtgärder för att hantera det kortsiktiga inflödet av hat efter terrorattacker.
Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.