Nya verktyg som kan användas för att automatiskt upptäcka och motverka missbruk på sociala medier, utvecklas av forskare vid University of Sheffield.

Forskningen, ledd av professor Kalina Bontcheva från universitetets institution för datavetenskap, utvecklar nya metoder för artificiell intelligens (AI) och bearbetning av naturligt språk (NLP) som kan användas för att på ett ansvarsfullt sätt ta itu med missbruk och hatprat på nätet.

Lanserades i samarbete med Wendy Hui Kyong Chun från Simon Fraser University i Kanada, projektet tittar på AI -metoder som för närvarande används för att upptäcka missbruk på nätet och hatprat inom två områden; spelindustrin och budskap riktade till politiker i sociala medier.

Forskare i studien tänker använda sina resultat för att utveckla nya AI -algoritmer som är effektiva, rättvist och opartiskt. Systemen kommer att vara kontextmedvetna och respektera språkskillnader inom samhällen baserat på ras, etnicitet, kön och sexualitet.

Forskare kommer att undersöka de fördomar som är inbäddade i nuvarande innehållsmoderingssystem som ofta använder rigida definitioner eller bestämningar av missbrukande språk. Dessa nuvarande system skapar paradoxalt nog nya former av diskriminering eller partiskhet baserad på identitet, inklusive sex, kön, etnicitet, kultur, religion, politisk tillhörighet eller andra.

Forskargruppen syftar till att ta itu med dessa effekter genom att producera mer sammanhangsmedvetna, dynamiska detektionssystem.

Vidare, projektet vill stärka användarna genom att göra de nya verktygen öppen källkod, så de kan vara inbäddade i nya strategier för att demokratiskt hantera missbruk och hatprat på nätet. De kan också användas som en del av gemenskapsbaserade vård- och svarsåtgärder.

Professor Kalina Bontcheva sa:"Det har skett en enorm ökning av övergrepp och hatprat på nätet de senaste åren och det har gjort att regeringar och sociala medieplattformar kämpar för att hantera konsekvenserna.

"Denna stora ökning av missbruk och hatprat på nätet har väckt allmän upprördhet hos människor som kräver att regeringar och sociala medieföretag gör mer för att ta itu med problemet, men det finns för närvarande inga effektiva eller tekniska processer som kan hantera problemet på ett ansvarsfullt eller demokratiskt sätt.

"Vi utvecklar nya AI- och NLP -metoder för att ta itu med problemet samtidigt som vi utvecklar ett omfattande utbildningsprogram för akademiker och forskare i tidig karriär för att bygga upp kapacitet och expertis inom detta viktiga forskningsområde."

Projektet, Ansvarig AI för Inclusive, Demokratiska samhällen:Ett tvärvetenskapligt tillvägagångssätt för att upptäcka och motverka kränkande språk online, leds av University of Sheffield i samarbete med Simon Fraser University. Det finansieras av UK Research and Innovation (UKRI) som ett av 10 projekt mellan Storbritannien och Kanada för att stödja en ansvarsfull utveckling av AI, inklusive att säkerställa att alla medlemmar i samhället litar på AI och drar nytta av det.