Ilska och förvirring följde publiceringen av årets resultat från Scottish Qualification Agency (SQA), den första av de brittiska länderna att publicera skolresultat i efterdyningarna av COVID-19. Ungefär en fjärdedel av betygen som rekommenderades av lärare ändrades:de flesta nedgraderades, och detta var mer sannolikt att hända elever i fattigare områden. Denna kontrovers visar att bedömning inte är neutral:bedömningssystemet kan gynna vissa grupper av elever framför andra och det kräver mer än tekniska processer för att säkerställa rättvisa.

Medan den skotska regeringen till en början försvarade resultaten i namnet att upprätthålla standarder, de har rätt i att nu ha insett att tillvägagångssättet var för teknokratiskt och bröt en väsentlig koppling mellan vad en elev faktiskt har gjort och det betyg de får – vilket är den äkta innebörden av standarder. Men detta problem är inte nytt för årets resultat.

Hur bedömning fungerar

För att förstå styrkorna och svagheterna i den initiala SQA-metoden behöver vi jämföra två olika metoder för bedömning:normbaserad och kriteriebaserad. I kriteriebaserad bedömning utvärderas elevernas arbete mot specifika kriterier, såsom argumentets styrka, forskningens kvalitet eller tydligheten i uttrycket. Alla elever bedöms utifrån samma kriterier.

Antalet som under ett år kan gå ner eller upp, och att gå upp betyder inte nödvändigtvis den fruktade "betygsinflationen – där höjningar av betyg antas innebära en sänkning av standarden. Stor variation kan vara osannolik men inte omöjlig - och variationen i sig ska inte ses som ett problem. Kriteriebaserad märkning anses bara för att det har en koppling mellan vad en elev faktiskt har gjort, märkningskriterierna och det betyg de får.

Vid normbaserad bedömning, resultaten beror på att eleverna jämförs i en form av rankning:ju högre ranking du har, desto högre betyg. Exakt samma arbete kan få A ett år och C ytterligare ett år, beroende på andra elevers prestationer, snarare än kvaliteten på arbetet. Tidigare fanns det till och med en fast procentandel av betyg varje år.

Bedömning 2020

När slutproven i år ställdes in, SQA bad lärare att göra bedömningar baserat på en rad källor, inklusive preliminära prov, skolarbete, praktiskt arbete, prov i klassen och läxor. Syftet var att få en bred känsla för elevernas inlärningsnivå.

Så länge lärarna hade gemensamma kriterier för betygsnivåer, detta system hade många fördelar jämfört med traditionella prov. Lärarna uppmuntrades också att prata med varandra om sina bedömningar. Denna form av gemensamt beslutsfattande med hjälp av kriterier bidrar till mer rättvisa och mer robusta bedömningsresultat.

Kontroversen hänför sig till något som kallas "måttfullhet" som syftar till att kontrollera kvaliteten, standarder och konsekvens, justering av de initiala poängen för ett brett spektrum av markörer.

Problem uppstår när moderation försöker standardisera stora grupper, som i ett helt land, och gör det med normbaserade metoder, på så sätt undergräver principerna för kriteriebaserad märkning. Normbaserad moderering är administrativt bekvämt men pedagogiskt osund.

Det var med måtta som en fjärdedel av eleverna fick sina betyg ändrade. Den skotska regeringen sa inledningsvis att omfattningen av ökningen av betyg bland missgynnade elever inte skulle anses trovärdig utan måttfullhet. För att moderera resultat, SQA använde en rad mekanismer, inklusive att jämföra årets elever med genomsnittliga prestationer i sin skola jämfört med tidigare år. Om variationen ansågs vara för stor, Resultaten justerades ned med hjälp av rankningar från lärare.

När en elevs betyg har bestämts med hänvisning till sina kamrater eller tidigare elever, detta är normbaserad märkning. Det bryter den grundläggande kopplingen mellan vad en elev faktiskt har gjort, kriterierna och det betyg de förtjänar.

System baserat på standarder

Versioner av normbaserad moderering har pågått i decennier, i alla delar av Storbritannien och under regeringar av alla övertygelser.

SQA har flera sofistikerade procedurer för att minska orättvisor, men problemet kvarstår att systemet länge förknippat med att skydda standarder i Storbritannien använder normbaserade förväntningar. Pressen att göra det kommer ofta från universitet och arbetsgivare som vill använda betyg för att göra urvalet mellan studenter lättare:men är detta syftet med skolgång eller bedömning av elevers lärande?

Tillvägagångssättet från början i år var också felaktigt eftersom SQA inte jämförde lika med lika. Tidigare års resultat baserades starkt på en final, traditionellt prov, vilket skiljer sig mycket från det breda utbudet av saker som lärare använde för att göra bedömningar i år. Det finns bevis för att traditionella metoder för utbildning och bedömning missgynnar arbetarklassens elever. Ökningen av sämre elevers förmodererade betyg kanske inte saknar trovärdighet – men det kan visa att de bedömningssätt som vi har litat på i flera år har varit orättvisa och i sig inte trovärdiga.

Att ta ledningen från SQA:s rekommenderade tillvägagångssätt för bedömningar gjorda genom professionella diskussioner, ansträngningar borde ha gjorts för att gå tillbaka till skolor:varje moderering kan bara baseras på bevis på olika tolkningar av kriterier.

Det skulle vara tidskrävande för lärare och SQA-personal, men tänk på de ultimata fördelarna i form av rigorösa, trovärdig och rättvis bedömning som kommer att forma en generations framtid. Det viktigaste är att vi inte av någon anledning bryter kopplingen mellan en elevs arbete, kriterierna och deras betyg.

Kontroversen, och den skotska regeringens förändring av hjärtat, förstärka behovet av att utforska grunderna för vad vi kallar standarder så att försvaret av dem inte bara är en motivering för status quo. Årets resultat i Skottland är inte nödvändigtvis mer eller mindre rättvist än tidigare år, men förmodligen orättvist på nya sätt:Covid-19 har belyst det större problemet med rättvisa och bedömning.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.