När en amerikansk senator frågade Facebooks vd Mark Zuckerberg, "Kan du definiera hatretorik?" det var utan tvekan den viktigaste frågan som sociala nätverk står inför:hur man identifierar extremism i sina samhällen.

Hatbrott på 2000-talet följer ett välbekant mönster där en onlinetirad eskalerar till våldsamma handlingar. Innan han öppnade eld i Tree of Life-synagogan i Pittsburgh, den anklagade beväpnade mannen hade ventilerat över det högerextrema sociala nätverket Gab om honduranska migranter som reser mot den amerikanska gränsen, och den påstådda judiska konspirationen bakom det hela. Sedan förklarade han, "Jag kan inte sitta och se mitt folk bli slaktat. Skruva på er optik, Jag går in." Mönstret av extremister som avlastar sin intolerans på nätet har varit ett oroande inslag i vissa hatbrott på senare tid. Men det mesta av onlinehat är inte så flagrant, eller lika lätt att upptäcka.

Som jag fann i min studie från 2017 om extremism i sociala nätverk och politiska bloggar, snarare än öppet trångsynthet, mest onlinehat liknar rädsla mycket. Det uttrycks inte i rasistiska förtal eller uppmaningar till konfrontation, utan snarare i ogrundade anklagelser om latinamerikanska inkräktare som strömmar in i landet, svart-på-vitt brott eller sharialagar som infiltrerar amerikanska städer. Hysteriska berättelser som dessa har blivit det föredragna redskapet för dagens extremister – och kan vara mer effektiva för att provocera fram verkligt våld än stereotypa hatretorik.

Lättheten att sprida rädsla

På Twitter, ett populärt meme som nyligen reser runt föreställer "Islamic Terrorist Network" spritt över en karta över USA, medan ett Facebook-konto som heter "America Under Attack" delar en artikel med sina 17, 000 följare om "Angry Young Men and Gangbangers" som marscherar mot gränsen. Och på Gab, otaliga profiler talar om judiska planer på att sabotera amerikansk kultur, suveränitet och presidenten.

Även om det inte är öppet antagonistiskt, dessa toner spelar bra för en publik som i sociala medier har hittat en plats där de öppet kan uttrycka sin intolerans, så länge de färgas inom linjerna. De kan undvika den exponering som traditionellt hatretorik lockar till sig. Medan den vita nationalistiska sammankomsten i Charlottesville var högprofilerad och avslöjande, sociala nätverk kan vara anonyma och diskreta, och därför befriande för den odeklarerade rasisten. Det innebär en stark utmaning för plattformar som Facebook, Twitter och YouTube.

Att bekämpa hat

Naturligtvis är detta inte bara en utmaning för sociala medieföretag. Allmänheten i stort står inför den komplexa frågan om hur man ska svara på inflammatoriska och fördomsfulla berättelser som väcker rasrädsla och efterföljande fientlighet. Dock, sociala nätverk har den unika förmågan att sänka volymen på intolerans om de fastställer att en användare faktiskt har brutit mot sina användarvillkor. Till exempel, i april 2018, Facebook tog bort två sidor förknippade med den vita nationalisten Richard Spencer. Några månader senare, Twitter stängde av flera konton förknippade med den högerextrema gruppen The Proud Boys för att ha brutit mot dess policy "som förbjuder våldsbejakande extremistgrupper".

Fortfarande, vissa kritiker hävdar att nätverken inte rör sig tillräckligt snabbt. Det finns ett ökande tryck för dessa webbplatser att bevaka den extremism som har florerat i deras utrymmen, eller så blir de själva poliserade. En nyligen genomförd Huffpost/YouGov-undersökning avslöjade att två tredjedelar av amerikanerna ville ha sociala nätverk för att förhindra användare från att publicera "hatfulla reklamationer eller rasistiskt innehåll".

Som svar, Facebook har intensifierat sina ansträngningar mot extremism, rapporterade i maj att de hade tagit bort "2,5 miljoner stycken av hatretorik, " varav över en tredjedel identifierades med hjälp av artificiell intelligens, resten av mänskliga övervakare eller flaggade av användare. Men även när Zuckerberg lovade mer action i november 2018, företaget erkände att det är extremt svårt att lära ut sin teknik för att identifiera hatretorik på grund av alla sammanhang och nyanser som drastiskt kan förändra dessa betydelser.

Dessutom, offentlig konsensus om vad som faktiskt utgör hatretorik är i bästa fall tvetydig. Det konservativa Cato Institute fann bred oenighet bland amerikaner om vilken typ av tal som borde kvalificeras som hat, eller stötande tal, eller rättvis kritik. Och så, dessa diskrepanser väcker den uppenbara frågan:Hur kan en algoritm identifiera hatpropaganda om vi människor knappt kan definiera det själva?

Rädsla tänder säkringen

Tvetydigheten i vad som utgör hatretorik ger gott om skydd för moderna extremister att ingjuta kulturell oro i populära nätverk. Det utgör kanske den tydligaste faran:Att sätta igång folks rasparanoia kan också vara extremt kraftfullt för att stimulera fientlighet.

Den bortgångne kommunikationsforskaren George Gerbner fann att, tvärtemot vad många tror, kraftig exponering för medievåld gjorde inte människor mer våldsamma. Snarare, det gjorde dem mer rädda för att andra skulle utöva våld mot dem, vilket ofta leder till frätande misstro och kulturell förbittring. Det är precis vad dagens rasister använder sig av, och vad sociala nätverk måste lära sig att upptäcka.

Inläggen som talar om judiska planer för att förstöra Amerika, eller svart-på-vitt brott, inte direkt uppmanar till våld, men de förstärker fördomsfulla åsikter som kan hetsa anhängare att agera. Det är precis vad som hände innan de dödliga attackerna mot en historisk svart kyrka i Charleston 2015, och synagogan i Pittsburgh förra månaden.

För sociala nätverk, utmaningen är dubbel. De måste först bestämma sig för om de ska fortsätta att vara värd för ickevåldsrasister som Richard Spencer, som har efterlyst "fredlig etnisk rensning, " och förblir aktiv på Twitter. Eller för den delen, Nation of Islams ledare Louis Farrakhan, som nyligen jämförde judar med termiter, och fortsätter att skriva på sin Facebook-sida.

När Twitter och Facebook låter dessa profiler förbli aktiva, företagen ger trovärdigheten för sina onlinegemenskaper till dessa provokatörer av rasism eller antisemitism. Men de signalerar också att deras definitioner av hat kan vara för snäva.

Det farligaste hattalet sänds tydligen inte längre med etniska förtal eller vanföreställningar om vit överhöghet. Snarare, det finns över hela sociala medier, helt öppet, bär hashtags som #WhiteGenocide, #BlackCrimes, #Migrantinvasion och #AmericaUnderAttack. De skapar en illusion av överhängande hot som radikaler trivs med, och som de våldsbenägna bland dem har reagerat på.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.