I mitten av september hotade EU att bötfälla Big Tech-företagen om de inte tog bort terroristinnehåll inom en timme efter att de dykt upp online. Förändringen kom eftersom stigande spänningar nu utvecklas och utspelas på sociala medieplattformar.

Sociala konflikter som en gång byggde upp i möten i bakrummet och som kom till sin spets på stadens gator, bygger nu fart på sociala medieplattformar innan de sprider sig till det verkliga livet. Förr, regeringar tenderade att kontrollera traditionella medier, med liten eller ingen möjlighet för individer att sända hat.

Den digitala revolutionen har förändrat allt.

Terroristorganisationer, framför allt militanter från Islamiska staten (ISIS), har använt sociala medieplattformar som Facebook, Instagram och Twitter för deras propagandakampanjer, och att planera terroristattacker mot civila.

Extremhögergrupper, inklusive anti-flyktingextremister i Tyskland, utnyttjar också alltmer tekniska plattformar för att hysa invandrarfientliga åsikter och demonisera minoriteter.

Från Sri Lanka till Myanmar, kommunala spänningar – uppväckta online – har lett till våld.

På grund av den växande politiska viljan inom västerländska länder att reglera sociala medieföretag, många tekniska titaner hävdar att de kan självreglera – och att artificiell intelligens (AI) är ett av nyckelverktygen för att minska hatet på nätet. Många år sedan, vi skapade Digital Mass Atrocity Prevention Lab för att arbeta med att förbättra den offentliga politiken för att stävja utnyttjandet av tekniska plattformar av våldsbejakande extremister.

Översålda förmågor?

Teknikföretag är smärtsamt medvetna om den skadliga användningen av deras plattformar.

I juni 2017, Facebook, Microsoft, Twitter och YouTube tillkännagav bildandet av Global Internet Forum to Counter Terrorism, som syftar till att störa extremistisk verksamhet på nätet. Men när politiskt tryck för att ta bort skadligt onlineinnehåll växer, dessa företag börjar inse gränserna för deras mänskliga innehållsmoderatorer.

Istället, de utvecklar och distribuerar allt mer AI-teknik för att automatisera processen för upptäckt och borttagning av oönskat innehåll. Men de gör det utan tillsyn och lite offentlig information om hur dessa AI-system fungerar, ett problem som identifierats i en färsk rapport från Public Policy Forum.

Twitter, enligt sin senaste insynsrapport, hävdar att den använde AI för att ta ner mer än 300, 000 terroristrelaterade konton under första halvåret 2017.

Facebook erkänner själv att det kämpar för att använda AI på ett effektivt sätt i frågor kring hatretorik. VD Mark Zuckerberg berättade tidigare i år för medlemmar av den amerikanska kongressen att AI fortfarande kämpar för att ta itu med nyanserna i språkdialekter, sammanhang och huruvida ett uttalande kvalificerade sig som hatretorik – och att det kan ta år att lösa.

Dock, företaget hävdar också att det kan ta bort 99 procent av ISIS och al-Qaida-anslutet innehåll med hjälp av AI-drivna algoritmer och mänskliga innehållsmoderatorer. Om AI eller människor är nyckeln till företagets påståenden om framgång har ännu inte undersökts oberoende.

AI:s misslyckande

Under 2017, 250 företag avbröt reklamavtal med Google på grund av det påstådda misslyckandet att moderera YouTubes extremistiska innehåll. Ett år senare, Googles senior vice president för reklam och handel, Sridhar Ramaswamy, säger att företaget gör starka framsteg inom plattformssäkerhet för att återvinna det förlorade förtroendet från sina kunder.

Dock, en nyligen genomförd studie av NGO Counter Extremism Project motbevisar effektiviteten i företagets ansträngningar att begränsa och ta bort extremistiska videor. Mer transparens och ansvarstagande från YouTube behövs, med tanke på att studien fann att över 90 procent av ISIS-videor laddades upp mer än en gång, utan några åtgärder mot kontona som bryter mot företagets användarvillkor.

Det finns uppenbarligen ingen enkel väg framåt. Ta bort innehåll som inte är skadligt, offensiv, extremistisk eller olaglig, även om det är osmakligt, är ett hinder för yttrandefriheten. I vissa fall, att använda AI för att ta bort innehåll har blockerat legitimt material som publicerats av människorättsmästare.

Till exempel, under 2017, Shah Hossain, en människorättsaktivist fann att ett betydande antal av hans Facebook -inlägg om förföljelsen av Rohingya -minoriteten i Myanmar hade raderats. YouTube raderade också hans nyhetskanal, som hade nästan 80, 000 prenumeranter. Hossain dokumenterade kränkningar av mänskliga rättigheter, inte hysa hat.

I Syrien, där oberoende journalistik är allvarligt begränsad av krig, videor och foton som publicerats på nätet av aktivister är avgörande för att förstå situationen i landet. I ett försök att slå ner extremistiskt innehåll, dock, YouTubes AI-drivna algoritmer tog bort tusentals videor av grymheter mot civila. Videorna lades upp som bevis för att syriska tjänstemän eventuellt skulle åtalas för brott mot mänskligheten. Detta är ganska oroande.

Går vidare

Välkända sociala mediejättar har sagt offentligt att de kommer att lägga mer resurser på att bevaka sina plattformar. Dock, med nuvarande resultat, det är dags att överväga om detta tillvägagångssätt är etiskt och effektivt.

Storbritannien, Frankrike, Tyskland, Europeiska unionen och USA, bland andra, har börjat öppet diskutera och implementera regleringsåtgärder på teknikindustrin, inte bara rörande terrorism och hatpropaganda, men också digital valinblandning, spridningen av "falska nyheter" och desinformationskampanjer.

Kanada har också börjat ta frågan på allvar, bildar Digital Inclusion Lab vid Global Affairs Canada, som arbetar för att stärka G7:s samlade insatser.

Det är välbehövliga initiativ. De stora teknikjättarna har översålt effektiviteten av AI för att motverka hat på sina plattformar. Våra demokratiska och öppna samhällen måste lägga undan föreställningen att AI är universalmedlet för det aktuella problemet. Social polarisering och växande misstro över hela världen kommer att fortsätta om inte valda tjänstemän reglerar Big Tech.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.