Kredit:Pixabay/CC0 Public Domain
Den här veckan kommer många australiensiska universitet att skicka akademiker resultaten från första terminens studentutvärderingsundersökningar.
För vissa kommer detta att vara en oroande och obehaglig tid. De kommentarer som universitetsstudenter gör anonymt i sina undervisningsutvärderingar kan göra att akademiker känner sig rädda, bekymrade och demoraliserade.
Och med goda skäl. Som en undersökning från 2021 bland australiska akademiker och deras erfarenheter av studentfeedback fann:"Personligt destruktiva, ärekränkande, kränkande och sårande kommentarer rapporterades ofta."
Sårande eller kränkande kommentarer kan förbli permanent registrerade som ett mått på prestanda. Dessa register kan påverka ansökningar om befordran eller för säker fortsatt anställning.
Författarna till undersökningen 2021, ledd av Richard Lakeman vid Southern Cross University, har varit bland dem som kräver att anonyma onlineundersökningar ska skrotas. Vissa akademiker, brända av sin erfarenhet av studentfeedback, säger att de inte längre öppnar eller engagerar sig i studentutvärderingsrapporter. De sa att risken för skada uppvägde alla fördelar.
I Netflix-programmet The Chair ser en minnesvärd scen karaktären professor Joan Hambling bränna sina studentutvärderingar. Det är klart att det behövs en annan lösning.
Feedback från elever kan fortfarande vara värdefullt för att höja undervisningsstandarden och det är viktigt att eleverna får säga sitt.
Vi har utvecklat ett screeningsystem som använder maskininlärning (där programvara ändrar sitt beteende genom att "lära sig" från användarinmatning) som låter eleverna prata om sina erfarenheter samtidigt som de skyddar akademiker från oacceptabla kommentarer.
Varför behövs ett nytt tillvägagångssätt
Universitetets uppförandekoder påminner studenterna om deras allmänna skyldighet att avstå från kränkande eller diskriminerande beteende, men inte specifikt när det gäller studentutvärderingar.
Istället förlitar sig universiteten på självreglering eller på att andra rapporterar incidenter. Vissa institutioner använder svordomsblockerare för att kontrollera kommentarer. Även då misslyckas dessa ofta med att upptäcka nya termer av missbruk i tal online.
Så när vi satte upp vårt screeningsystem ville vi:
Vi utvecklade en metod som använder maskininlärning och en ordbok med termer för att screena för oacceptabla elevers kommentarer. Ordboken skapades av QUT som bygger på historiskt identifierade oacceptabla kommentarer och inkorporerar tidigare forskning om kränkande och diskriminerande termer.
Vår "Screenomatic"-lösning
Det finns inte mycket publicerat arbete om upptäckten av oacceptabla eller kränkande kommentarer i studentutvärderingsundersökningar. Så vårt team anpassade tidigare forskning om att upptäcka kvinnofientliga tweets. Detta fungerade eftersom studentkommentarerna vi tittade på ofta var lika långa som en tweets gräns på 280 tecken.
Vårt tillvägagångssätt, som vi kallar "Screenomatic", granskade automatiskt mer än 100 000 elevkommentarer under 2021 och identifierade de som verkade vara övergrepp. Utbildade utvärderingspersonal granskade manuellt cirka 7 000 flaggade kommentarer och uppdaterade maskininlärningsmodellen efter varje termin. Varje uppdatering förbättrar noggrannheten för automatisk identifiering.
I slutändan togs 100 kommentarer bort innan resultaten släpptes till pedagoger och handledare. Universitetspolicyn gör det möjligt att omidentifiera kommentarer i fall av potentiellt tjänstefel. Det centrala utvärderingsteamet kontaktade dessa studenter och påminde dem om deras skyldigheter enligt uppförandekoden.
Screenomatic-modellen kan hjälpa till att skydda både lärare och elever. Personalen skyddas från övergrepp och elever i riskzonen – som gör kommentarer som indikerar att de behöver hjälp med psykisk hälsa, inkluderar anklagelser om mobbning eller trakasserier eller som hotar personal eller andra elever – kan erbjudas stöd. Universitet kan dela data för att träna modellen och behålla valutan.
Viktigt är att processen gör det möjligt för universiteten att agera moraliskt för att utnyttja studenters röster samtidigt som de skyddar människors välbefinnande.
Användbar feedback, inte missbruk
Antalet pedagoger som får kränkande feedback kan vara relativt litet. Det är dock fortfarande oacceptabelt för universitet att fortsätta att utsätta sin personal för stötande kommentarer med full kännedom om deras potentiella påverkan.
Med förra årets dom i högsta domstolen om ansvar för ärekränkande inlägg och försök att förbättra säkerheten på nätet, finns det ett växande erkännande av att människor inte ska kunna skicka anonyma, skadliga meddelanden.
När allt kommer omkring är kostnaden för screeningsvar ingenting jämfört med kostnaden för individer (inklusive konsekvenser för psykisk hälsa eller karriär). Och det är att ignorera de potentiella kostnaderna för rättstvister och juridiska skador.
I slutet av dagen läses de anonyma kommentarerna av riktiga människor. Som en tweet som svar på Lakemans fynd noterade:
Screenomatic-modellen går långt för att göra det möjligt för "tonen av användbar feedback" att tjäna sitt avsedda syfte samtidigt som den säkerställer att människor inte skadas i processen. + Utforska vidare
Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln. 
