Är skolor som har starka testresultat mycket effektiva, eller registrerar de mestadels elever som redan är väl förberedda för framgång? En studie som är medförfattare av MIT-forskare drar slutsatsen att vitt spridda skolkvalitetsbetyg återspeglar elevernas förberedelser och familjebakgrund lika mycket eller mer än skolans bidrag till inlärningsvinster.

Studien visar faktiskt att många skolor som får relativt låga betyg presterar bättre än vad dessa betyg skulle antyda. Konventionella betyg, visar forskningen, är starkt korrelerade med ras. Specifikt är många publicerade skolbetyg mycket positivt korrelerade med andelen av eleverna som är vit.

"En skolas genomsnittliga resultat återspeglar i viss mån den demografiska mixen av befolkningen den betjänar", säger MIT-ekonomen Josh Angrist, en nobelpristagare som länge har analyserat utbildningsresultat. Angrist är medförfattare till "Race and the Mismeasure of School Quality", som visas i American Economic Review:Insights .

Studien, som undersöker skoldistrikten i Denver och New York City, har potential att avsevärt förbättra sättet att mäta skolkvalitet.

Istället för råa aggregerade mått som testresultat, använder studien förändringar i testresultat och en statistisk justering för rassammansättning för att beräkna mer exakta mått på orsakseffekterna som att gå på en viss skola har på elevernas inlärningsvinster. Denna metodologiskt sofistikerade forskning bygger på det faktum att Denver och New York City båda tilldelar elever till skolor på ett sätt som gör det möjligt för forskarna att efterlikna villkoren för en randomiserad studie.

Genom att dokumentera en stark korrelation mellan för närvarande använda klassificeringssystem och ras, visar studien att vita och asiatiska elever tenderar att gå i skolor med högre betyg, medan svarta och latinamerikanska elever tenderar att vara grupperade i skolor med lägre betyg.

"Enkla mått på skolans kvalitet, som är baserade på den genomsnittliga statistiken för skolan, är alltid starkt korrelerade med ras, och dessa mått tenderar att vara en missvisande guide för vad du kan förvänta dig genom att skicka ditt barn till den skolan", säger Angrist .

Tidningens författare är Angrist, Ford-professorn i ekonomi vid MIT; Peter Hull, professor i ekonomi vid Brown University; Parag Pathak, klassen 1922 professor i nationalekonomi vid MIT; och Christopher Walters Ph.D., docent i nationalekonomi vid University of California i Berkeley. Angrist och Pathak är båda professorer vid MIT Department of Economics och medgrundare av MIT:s Blueprint Labs, en forskargrupp som ofta undersöker skolprestationer.

Studien använder data från den offentliga skoldistrikten i Denver och New York City, där 6:e ​​klassare ansöker om platser på vissa mellanstadier, och distrikten använder ett skoluppgiftssystem. I dessa distrikt kan eleverna välja vilken skola som helst i distriktet, men vissa skolor är övertecknade. Under dessa omständigheter använder distriktet ett slumpmässigt lottonummer för att avgöra vem som får en plats var.

Tack vare lotteriet i platstilldelningsalgoritmen går annars liknande uppsättningar elever slumpmässigt på en rad olika skolor. Detta underlättar jämförelser som avslöjar orsakseffekter av skolnärvaro på inlärningsvinster, som i en randomiserad klinisk prövning av det slag som används inom medicinsk forskning. Med hjälp av matematiska och engelska provresultat utvärderade forskarna elevernas framsteg i Denver från 2012–2013 till läsåren 2018–2019 och i New York City från 2016–2017 till 2018–2019 läsåren.

Dessa skoluppgiftssystem, det händer, är mekanismer som några av forskarna har hjälpt till att konstruera, vilket gör det möjligt för dem att bättre förstå och mäta effekterna av skoluppgifter.

"En oväntad utdelning av vårt arbete med att designa Denver och New York Citys centraliserade valsystem är att vi ser hur eleverna ransoneras från [fördelade mellan] skolor", säger Pathak. "Detta leder till en forskningsdesign som kan isolera orsak och verkan."

I slutändan visar studien att mycket av variationen från skola till skola i råa sammanlagda testresultat härrör från typerna av elever på en given skola. Detta är ett fall av vad forskare kallar "selektionsbias". I det här fallet uppstår urvalsbias från det faktum att mer gynnade familjer tenderar att föredra samma uppsättning skolor.

"Det grundläggande problemet här är urvalsbias", säger Angrist. "När det gäller skolor är urvalsbias mycket följdriktigt och en stor del av det amerikanska livet. Många beslutsfattare, oavsett om de är familjer eller beslutsfattare, vilseleds av en sorts naiv tolkning av data."

Faktum är att, konstaterar Pathak, övervägande del av mer förenklade skolbetyg idag (som finns på många populära webbplatser) skapar inte bara en vilseledande bild av hur mycket värde skolor tillför för elever, utan har en självförstärkande effekt – eftersom de är väl förberedda och bättre- av familjer bjuder upp bostadskostnaderna nära högt rankade skolor. Som forskarna skriver i tidningen, "Varska klassificeringssystem leder hushållen till skolor med låg minoritet snarare än högkvalitativa skolor, samtidigt som de straffar skolor som förbättrar prestationerna för missgynnade grupper."

Forskargruppen hoppas att deras studie kommer att leda till att distrikten undersöker och förbättrar sättet de mäter och rapporterar om skolkvalitet. För det ändamålet arbetar Blueprint Labs med New York City Department of Education för att testa ett nytt betygssystem senare i år. De planerar också ytterligare arbete med att undersöka hur familjer reagerar på olika typer av information om skolkvalitet.

Med tanke på att forskarna föreslår att förbättra betygen på vad de anser är ett enkelt sätt, genom att ta hänsyn till elevernas förberedelser och förbättringar, tror de att fler tjänstemän och distrikt kan vara intresserade av att uppdatera sina mätmetoder.

"Vi är hoppfulla att den enkla regressionsjusteringen vi föreslår gör det relativt enkelt för skoldistrikt att använda vårt mått i praktiken", säger Pathak.

Mer information: Joshua Angrist et al, Race and the Mismeasure of School Quality, American Economic Review:Insights (2024). DOI:10.1257/aeri.20220292

Tillhandahålls av Massachusetts Institute of Technology

Denna berättelse är återpublicerad med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.