I ett av de största utbildningsfältsexperiment som någonsin genomförts, ett team som leds av en Cornell-forskare fann att lovande insatser för att hjälpa elever att slutföra onlinekurser inte var effektiva i stor skala – vilket tyder på att riktade lösningar behövs för att hjälpa elever i olika omständigheter eller platser.

Forskare spårade 250, 000 studenter från nästan alla länder i 250 massiva öppna onlinekurser (MOOC) under 2 1/2 år i studien, "Uppskalning av beteendevetenskapliga interventioner i onlineutbildning, " publicerad 15 juni i Proceedings of the National Academy of Sciences .

"Beteendeinterventioner är inte en silverkula, " sa Rene Kizilcec, biträdande professor i informationsvetenskap och medförfattare.

"Tidigare studier visade att kort, lätta beröringsinterventioner i början av några utvalda kurser kan öka uthålligheten och slutförandegraden, " sa han. "Men när man skalat upp till över 250 olika kurser och en kvarts miljon studenter, interventionseffekterna var en storleksordning mindre."

Studien leddes tillsammans av Justin Reich från Massachusetts Institute of Technology och Michael Yeomans från Imperial College London. Forskningen utfördes på edX- och Open edX-plattformarna, och edX har engagerat sig i arbetet med att göra data tillgänglig för institutionella forskare för att främja utbildningsvetenskap i stor skala.

De 250 kurserna som forskarna studerade kom från Harvard University, MIT och Stanford University.

Att inte slutföra onlinekurser är ett välkänt och långvarigt hinder för virtuellt lärande, särskilt bland missgynnade samhällen och i utvecklingsländer – där onlineutbildning kan vara en nyckelväg till sociala framsteg. Fynden har lagt till relevans med så mycket utbildning runt om i världen som äger rum online under covid-19-pandemin.

"Mitt råd till instruktörer är att förstå och ta itu med de specifika utmaningarna i deras lärmiljö, " sa Kizilcec. "Om elever har problem med sin internetanslutning, du kan inte hjälpa dem att övervinna dem med ett självreglerande ingripande. Men om studenter behöver gå och lägga sig i tid för att vara vakna till en morgonföreläsning, eller de behöver planera i förväg när de ska börja arbeta med läxor för att ha dem redo att lämna in, då kan ett kort självregleringsingrepp faktiskt hjälpa eleverna att övervinna dessa hinder."

Tidigare, mindre skala forskning, framförd av Kizilcec och hans medförfattare samt andra forskare, fann att målsättningsinterventioner som att skriva ut en lista över avsikter i början av klassen förbättrade elevernas kursavslutande.

I den här studien, forskarna undersökte effekterna av fyra interventioner:

• planering, där eleverna uppmanas att utveckla detaljerade planer för när, var, och hur de slutför kurser;
• en relaterad aktivitet där eleverna reflekterar över fördelarna och hindren för att nå sina mål, och planera i förväg om hur man ska svara på utmaningar;
• socialt ansvar, där de väljer någon att hålla dem ansvariga för deras framsteg i kursen, och planera när och vad de ska berätta för dem; och
• värderelevans, där de skriver om hur genomgången av kursen speglar och förstärker deras viktigaste värderingar.

För de tre första insatserna, involverar planering framåt, forskarna fann att metoden var effektiv för att öka engagemanget under de första veckorna av kursen, men effekten avtog allteftersom kursen fortskred. Interventionen med värderelevans var effektiv i utvecklingsländer där studentresultaten var betydligt sämre än andra, men bara i kurser med en global prestationsklyfta; i andra kurser, det hade faktiskt en negativ inverkan i utvecklingsländerna.

Forskarna testade om de kunde förutsäga i vilka kurser en prestationsgap skulle uppstå, för att bestämma var insatsen ska läggas till, men fann det extremt svårt att förutse.

"Att inte veta om det kommer att hjälpa eller skada studenter i en viss kurs är ett stort problem, " han sa.

Forskarna försökte använda maskininlärning för att förutsäga vilka interventioner som kan hjälpa vilka elever, men fann att algoritmen inte var bättre än att tilldela samma intervention till alla elever.

"Det ifrågasätter potentialen hos AI att tillhandahålla personliga insatser till kämpande studenter, "Kizilcec sa. "Tillvägagångssätt som fokuserar på att förstå vad som fungerar bäst i individuella miljöer och sedan skräddarsy insatser till dessa miljöer kan vara mer effektiva."

Forskarna sa att deras resultat tyder på att framtida studier bör utformas för att överväga och avslöja skillnaderna mellan studenter, utöver studier som bedömer övergripande effekter.