Att känna till dina ABC:er är avgörande för akademisk framgång, men att ha ett efternamn som börjar med A, B eller C kan också hjälpa till att få betyget.
En analys av forskare vid University of Michigan av mer än 30 miljoner betygsposter från U-M visar att studenter med alfabetiskt lägre rankade namn får lägre betyg. Detta beror på sekventiella betygsfördomar och standardordningen för elevernas inlämningar i Canvas – det mest använda hanteringssystemet för lärande online – som är baserat på den alfabetiska rangordningen för deras efternamn.
Dessutom upptäcker de att de alfabetiskt missgynnade eleverna får kommentarer som är särskilt mer negativa och mindre artiga och uppvisar lägre betygskvalitet mätt med klagomål från elever efter betyget.
"Vi spenderar mycket tid på att fundera på hur vi ska göra betygssättningen rättvis och korrekt, men även för mig var det verkligen överraskande", säger Jun Li, docent i teknik och operationer vid UM:s Ross School of Business som är med- författade studien med doktoranderna Jiaxin Pei från U-M:s School of Information och Helen (Zhihan) Wang från Ross.
"Det föll oss inte förrän vi tittade på data och insåg att sekvensen gör skillnad."
Forskarna samlade in tillgänglig historisk data om alla program, studenter och uppgifter på Canvas från höstterminen 2014 till sommarterminen 2022. De kompletterade Canvas-data med universitetsregistratordata, som innehåller detaljerad information om studenters bakgrund, demografi och lärandevägar vid universitetet.
Även om data är från U-M, säger forskarna att resultaten kan generaliseras över institutioner och kurser. De drivs av ett vanligt designproblem med lärhanteringssystem – standardinställningen för att rangordna elevernas uppgifter alfabetiskt efter deras namn.
Deras forskning avslöjade ett tydligt mönster av en försämrad betygskvalitet när väghyvlarna utvärderar fler uppgifter. Enligt Wang fick elever vars efternamn börjar på A, B, C, D eller E 0,3 poäng högre betyg av 100 möjliga poäng än när de betygsattes slumpmässigt. På samma sätt fick elever med senare efternamn i alfabetet 0,3 poäng lägre betyg – vilket skapade ett gap på 0,6 poäng.
Wang noterar för en liten grupp betygsättare (cirka 5 %) att betyget från Z till A skiftar som förväntat:A-E-elever har det sämre, medan W-Z-elever får högre betyg i förhållande till vad de skulle få när de betygsattes slumpmässigt. Sådana observationer bekräftar deras hypotes att det är betygsordningen som leder till det initiala gapet i betyg.
En skillnad på 0,6 poäng kan tyckas liten, men en sådan skillnad påverkade elevernas kursbetyg, vilket negativt påverkar möjligheterna i deras respektive karriärvägar.
"Vår slutsats är att detta kan vara något som hände omedvetet av väghyvlarna som faktiskt skapar en verklig social påverkan," sa Wang.
Pei säger att idén till studien kom upp under en diskussion han hade med Wang där de pratade om sin forskning:Hon studerar utbildningsteknologi och han studerar artificiell intelligens. Han observerade att en grundläggande uppgift för maskininlärning är datamärkning, också en sekventiell uppgift som kan vara lång och tråkig – men en som är randomiserad.
Det fick dem att tänka på utbildningssystem som Canvas och ledde till några pilotstudier för att se om det fanns någon skillnad mellan betyg baserat på hur mycket tid som spenderades i uppgiften att betygsätta.
"Vi misstänker att trötthet är en av de viktigaste faktorerna som driver den här effekten, för när du arbetar med något under en lång period blir du trött och sedan börjar du förlora din uppmärksamhet och dina kognitiva förmågor är tappar," sa Pei.
Forskarna noterar att det finns möjlighet att betygsätta uppgifterna i slumpmässig ordning, och vissa lärare gör det, men alfabetisk ordning är standardläget i Canvas och andra system för lärande online. En enkel lösning skulle vara att göra slumpmässig ordning till standardinställningen.
De föreslår också att akademiska institutioner kan anställa fler väghyvlar för större klasser, fördela arbetsbördan mellan fler personer eller utbilda dem att vara medvetna om och minska partiskheten vid betygsättning.
Li, Wang och Pei har delat med sig av sin forskning på konferenser och den har mottagits positivt – många är imponerade av deras arbete även om det bekräftar misstankar som många hyser. Speciellt en reaktion sticker ut för Li – utan tvekan en rynka i informationsåldern på ursäkten "hunden åt upp mina läxor".
"En universitetsstudent mailade oss efteråt och bad oss dela tidningen med honom", sa hon. "Han nämnde att hans efternamn började med W. Han kommer att berätta för sina föräldrar att det inte beror på honom – det är på grund av hans efternamn."
Studien granskas av tidskriften Management Science och finns för närvarande som ett arbetsdokument.
Mer information: Zhihan (Helen) Wang et al, 30 miljoner kanvasgraderingsposter avslöjar utbredd sekventiell bias och systeminducerad initial skillnad i efternamn (2023). På SSRN :ssrn.com/abstract=4603146
Journalinformation: Management Science
Tillhandahålls av University of Michigan
