År av standardiserade tester har resulterat i en rik pool av data som hjälper till att fastställa en elevs inlärningskurva. Kredit:Colorado Department of Education
Hur mycket de än är fruktade och beklagade, standardiserade test är fortfarande en stor del av utbildningslandskapet. Och för alla berörda – testtagare, utbildare och till och med landets arbetsgivare – det är både välsignelse och förbannelse.
"Standardiserade tester har faktiskt blivit ganska bra på att testa kunskap, " säger University of Denver biträdande professor Denis Dumas, en pedagogisk psykolog och statistiker vid institutionen för forskningsmetoder och informationsvetenskap vid Morgridge College of Education.
Men hur fördelaktigt det än kan vara att testa kunskap, han lägger till, "kunskap och potential är inte samma sak."
Faktiskt, ett enstaka test som tas en viss dag fångar bara vad testpersonen vet i det ögonblicket. Och den informationen kanske inte ger en rättvis bild av vad Dumas kallar "inlärningsförmåga".
Tillsammans med forskarkollegan Daniel McNeish, en psykologiprofessor vid Arizona State University, Dumas strävar efter att bättre utnyttja testresultaten. Samarbete med ett litet team av andra dataentusiaster, de två utvecklas – och ja, testning – en statistisk modell som fångar potentialen att förvärva, behärska och distribuera kunskap. Med andra ord, modellen ger insikt i testtagarens inlärningskurva.
"Vi studerar formen på inlärningskurvor, Dumas förklarar, noterar att detta ger insikt i de angelägna frågorna som pedagoger aldrig slutar fundera över. "Hur lär sig människor? Och när lär de sig snabbare?"
Att få reda på, Dumas och McNeish har utvecklat vad de kallar en "dynamisk mätningsmodell" - så kallad eftersom den inte förlitar sig på ett enda höginsatstest utan istället skördar och analyserar år av undersökningsdata på individer. Lyckligtvis, landets offentliga skolor har länge administrerat standardiserade test för barn från grundskolan till gymnasiet, ger Dumas och McNeish massor av data att arbeta med. Det stora lagret av information, de säger, gör modellen "tre gånger mer prediktiv än en enda standardiserad bedömning."
Deras påståenden om modellens effektivitet har fått stöd i en serie av 11 artiklar publicerade under de senaste fem åren, med det senaste stycket som dyker upp i ett färskt nummer av Multivariate Behavioural Research. Och utbildningssamhället börjar märka.
"Detta arbete är centralt för att förstå tillväxt och förändring, " säger Karen Riley, dekanus vid Morgridge College. "Resultatmått och deras begränsningar har länge varit utmaningen för att noggrant bedöma effektiviteten av alla typer av insatser. Att ta itu med dessa utmaningar öppnar dörren till transformerande förändring i lärande."
När de utvecklade sin modell, Dumas säger, forskarna fokuserade på en nyckelfråga:"Hur tar vi data som eleverna ger oss på tester och får den mest meningsfulla informationen?"
De började arbeta med att använda datauppsättningar från University of California, Berkeleys institut för mänsklig utveckling. Bland denna rika mängd information fanns testresultat och karriärrapporter från deltagare som hade spårats i fyra till fem decennier, från grundskolan tills de var i 50-årsåldern, 60-tal och till och med 70-tal. Vissa av testerna i fråga hade utförts på 1920- och 1930-talen för deltagare som var så unga som 3 år gamla, ger forskarna möjligheten att koppla tidiga resultat med efterföljande resultat och till och med livstids karriärval och prestationer. Med hjälp av denna data, Dumas och McNeish, tillsammans med medförfattaren Kevin Grimm, även i Arizona State, kunde studera inlärningskurvor, härleda potential och sedan korrelera dessa resultat med akademiska och professionella resultat.
Hur väl sammanföll deras modells förutsägelser med faktiska utfall? Mycket av tiden, Dumas säger, "Vi var ganska nära."
Så nära att Dumas börjar fundera på var och när modellen bäst kan användas. Det är tillämpligt för alla organisationer, som militären, som behöver kanalisera arbetskraft och talang till yrkes- och karriärvägar, han säger. Utbildningssamfundet skulle utan tvekan välkomna en "dataanalys" som redogör för inlärningskapaciteten. Och studenter och potentiella anställda kan också heja över denna innovation, om så bara för att det minskar insatserna för ett test – säg SAT eller GRE.
För närvarande, Dumas säger, metodiken fortsätter att utvecklas. "Problemet är att det är mycket mer komplicerat än tidigare metoder, " förklarar han. Till exempel, att påskynda beräkningarna kräver teknik – tänk superdatorer – som sällan riktas till utbildningsarenan. Och dynamisk mätning kräver också massor av data som, när det är tekniskt tillgängligt, är inte alltid tillgänglig. Stater vill inte alltid släppa eller dela sina data, Dumas förklarar.
Detta är inte det enda bedömningsprojektet som upptar Dumas tid. Tillsammans med en annan Morgridge College-professor, Peter Organisciak, han har varit med och lanserat en gratis webbplats för att göra kreativitetsbedömningar. Det kan inte bara förändra hur skolpsykologer närmar sig sådana tester, men det borde göra det lättare för skoldistrikt med begränsade resurser att erbjuda detta alternativ till sina elever.
Precis som med det projektet, den dynamiska mätningsmodellen fokuserar på att ta itu med orättvisor i utbildning och på att undvika vad Dumas kallar "fällan" av standardiserade tester som den existerar för närvarande.
"Den här modellen är tänkt att ta oss ur den fällan, " säger han. "Vi vill skapa en modell som kvantifierar inte bara kunskap utan hur mycket potential någon har att växa."