Mobbning online, hat och hets ökar, och nya tillvägagångssätt behövs för att hantera dem. När den australiensiska senaten genomför utfrågningar för sin utredning om nätmobbning, den bör överväga en tvådelad strategi för att bekämpa problemet.

Först, regeringen bör följa Tysklands ledning när det gäller att utdöma ekonomiska sanktioner för stora sociala medieföretag om de misslyckas med att minska mängden kränkande innehåll på sina plattformar.

Andra, vi måste utveckla sätt att korrekt identifiera och mäta mängden kränkande innehåll som publiceras och tas bort för att säkerställa att företag följer efterlevnaden.

Med tanke på mängden data på sociala medier, artificiell intelligens (AI) måste vara en del av mixen för att stödja reglering, men vi behöver en uppskattning av dess begränsningar.

Inverkan på offren

2015, Den australiensiske advokaten Josh Bornstein blev offer för allvarliga övergrepp på nätet i händerna på en man i USA, som imiterade Bornstein och publicerade en rasistisk artikel på nätet i hans namn. Bornstein befann sig därefter i mottagarsidan av en störtflod av hat från hela världen.

Händelsen var mycket oroande för Bornstein, men cyberhat kan också få konsekvenser för samhället i stort. Agerar under en mantel av anonymitet, samma man använde en annan falsk identitet för att posera som en IS-anhängare och uppmanade till terrorattacker i Australien och andra västländer. I december, han dömdes i USA för terroranklagelser.

Bornstein efterlyser nu både reglering av sociala medieföretag av regeringar och rättsliga åtgärder för att möjliggöra åtgärder från offren.

Tyskland som regleringsmodell

Ny lagstiftning som nyligen införts i Tyskland kräver att företag tar bort tydliga fall av hatretorik inom 24 timmar.

Som svar, Facebook har anställt 1, 200 anställda och entreprenörer för att mer effektivt behandla rapporter om missbruk från tyska användare. Om företaget inte tar bort majoriteten av sådant innehåll inom 24-timmarsgränsen, tillsynsmyndigheter kan ålägga böter på upp till 50 miljoner euro (79 miljoner dollar).

Dessa lagar är inte perfekta – inom några månader efter att de trätt i kraft, Tyskland överväger redan förändringar för att förhindra att överdriven försiktighet från sociala medieföretag har en kylande effekt på yttrandefriheten. Men det tyska förhållningssättet ger oss ett fönster till hur en stark statlig reaktion på nätmobbning ser ut.

Detta är bara början på en modig ny värld av teknikreglering. Lagar om nätmobbning kan inte tillämpas om vi inte vet hur mycket övergrepp som publiceras på nätet, och hur mycket övergrepp plattformar tar bort. Vi behöver verktyg för att stödja detta.

Använder artificiell intelligens

På Online Hate Prevention Institute (OHPI), vi har ägnat de senaste sex åren åt att både ta itu med specifika fall – inklusive Bornsteins – och arbetat med problemet med mätning med hjälp av crowdsourcing och artificiell intelligens i världsklass.

Andra ser också på identifiering och mätning som nästa steg. Antisemitism Cyber ​​Monitoring System (ACMS) – ett nytt verktyg för att övervaka antisemitism på sociala medier – har varit under utveckling av Israels diasporaministerium sedan oktober 2016. Det kommer att lanseras vid 2018 års Global Forum for Combating Antisemitism i Jerusalem senare denna månad.

Verktyget använder textanalys – en form av artificiell intelligens – och fungerar genom att söka på sociala medier efter ord, fraser och symboler som har identifierats som indikatorer på eventuellt antisemitiskt innehåll. Verktyget granskar sedan innehållet och genererar interaktiva grafer.

Liknande tillvägagångssätt har använts av World Jewish Congress och av Googles Conversation AI-projekt, men metoden har begränsad effektivitet, särskilt när det appliceras på stora sociala medier.

Data från en månads test av ACMS släpptes före systemets lansering. Även om programvaran marknadsförs som ett stort steg framåt i kampen mot cyberhat, själva data belyser allvarliga metodologiska och tekniska begränsningar som gör det mer av en distraktion.

Teknikens begränsningar

En begränsning ACMS har är att upptäcka missbruk som använder det kodade språket, symboler och eufemismer som alltmer gynnas av extremhögern.

En annan är att ACMS endast övervakar innehåll från Facebook och Twitter. Youtube, som stod för 41 % av den onlineantisemitism som identifierats i en tidigare rapport, ingår inte. Det automatiserade systemet övervakar också bara innehåll på engelska, arabiska, franska och tyska.

Vad som är mer oroande är ministeriets påstående att de städer som producerar den största mängden rasistiskt innehåll var Santiago (Chile), Dnipro (Ukraina), och Bukarest (Rumänien). Dessa städer har primära språk som programvaran inte är programmerad att bearbeta, ändå har de på något sätt överträffat städer vars primära språk programvaran bearbetar.

Av särskilt intresse för Australien är en graf med titeln Platser av intresse:nivå av antisemitism efter plats som visar Brisbane som den högst rankade engelsktalande staden. Detta resultat har förklarats av ett senare förtydligande som tyder på att antalet är en sammanslagning av globala likes, delningar och retweets som gällde innehåll som ursprungligen publicerades från Brisbane. Uppgifterna är därför föremål för en stor grad av slumpmässighet baserat på vilket innehåll som råkar bli viralt.

Jurister och datavetare måste samarbeta

Det finns en plats för AI-baserade detektionsverktyg, men deras begränsningar måste förstås. Textanalys kan identifiera specifika delmängder av onlinehat, såsom hakkors; språk relaterat till Hitler, Nazisterna, gaskammare och ugnar; och antisemitiska teman som är framträdande bland vissa extremhögergrupper. Men de är ingen silverkula lösning.

Går bortom identifiering, vi behöver både jurister och datavetare för att informera om vår strategi för att reglera onlineutrymmen. Nya verktyg för artificiell intelligens måste verifieras mot andra tillvägagångssätt, såsom crowdsourcad data från allmänheten. Och experter måste granska uppgifternas noggrannhet. Vi måste dra nytta av ny teknik för att stödja regleringssystem, samtidigt som man undviker en form av misslyckad robo-censur som liknar de robo-skuldproblem som plågade Centrelink.

Utredningen om nätmobbning är ett viktigt steg, så länge det underlättar morgondagens lösningar, inte bara dagens problem.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.