2019 års Nobelpris har tilldelats tre forskare för banbrytande senaste försök att besvara mikroekonomiska frågor i utveckling med hjälp av randomiserade experiment.

Under de senaste tre decennierna har randomiserade prövningar blivit ett alltmer populärt sätt att testa interventioner utformade för att hantera utvecklingsutmaningar.

Men de är kontroversiella. En rad forskare har kritiserat användningen av metoden i utvecklingsforskning. Kritiken har berört ett antal dimensioner. Dessa inkluderar frågor om etik, metodologiska begränsningar och faran att politiska insatser omorienteras till små insatser. Det finns heller inga bevis för att tillvägagångssättet leder till bättre utvecklingsresultat.

Akademiskt arbete som vi har varit involverade i har pekat på problem med informerat samtycke och farorna med intressekonflikter i experiment med stora politiska och ekonomiska insatser. Och visat att det finns grundläggande metodologiska motsägelser i hjärtat av betoningen på randomiserade prövningar för politik.

Metodiska problem

Argumentet för att använda randomiserade experiment är att de ger tillförlitliga uppskattningar av orsakseffekterna av potentiella politiska interventioner. Och att de därför också är den bästa källan till bevis för politik.

Men forskare inom ekonomi har motsatt sig båda dessa påståenden. Denna kritik går tillbaka till mitten av 1990-talet.

Först, till experimenten. En viktig kritik är att sätta upp en intervention i sig kan påverka resultatet. Till exempel, individuellt beteende kan påverka vem som deltar i ett experiment. Det kan också påverka hur deltagare och icke-deltagare reagerar på interventionen.

Ta ett experiment där slumpmässigt utvalda skolbarn får extra undervisning. En konsekvens kan bli att föräldrar till icke utvalda elever kommer att kompensera genom att betala för handledning. Eller så kan de lägga mer tid på att hjälpa till med läxor. För deras del, föräldrar till utvalda elever kan minska sådana ansträngningar.

I situationer som denna har idén om att fastställa en enkel orsakseffekt visat sig vara mycket tveksam.

Dessutom, de flesta experiment tillåter bara forskare att beräkna genomsnittliga effekter över grupper. Men i politiska syften, det är ofta nödvändigt att ha en känsla för hur insatser påverkar olika människor.

Kopplad till detta är det faktum att den faktiska effekten av en intervention kan förändras väsentligt (på gott och ont) när det implementeras i stor skala.

Experiment genomförs vanligtvis av forskargrupper eller deras partner i icke-statlig organisation. Men uppskalad politik genomförs av regeringar. Detta introducerar ytterligare en uppsättning dynamik som kan påverka implementeringen.

Det kanske största problemet är att det finns många andra faktorer som kan påverka resultaten av interventioner:forskare vet ofta inte vad dessa är och mäter dem inte. Så att i förväg avgöra om en intervention som verkade ha positiva resultat på ett ställe kommer att göra samma sak någon annanstans blir en fråga om att gissa.

Detta undergräver påståenden från förespråkare för dessa metoder att randomiserade experiment leder till mer "rigorösa" politiska beslut än andra tillvägagångssätt.

Etiska problem

Bland de etiska problemen, en oro är att sociala experiment i utvecklingsländer möter allvarliga problem med informerat samtycke. Många experiment fördelar slumpmässigt interventioner till hela kluster, som skolor eller sjukhus, vilket gör det mycket svårt för deltagarna att välja bort.

Och de flesta experiment involverar också människor som är mycket fattiga. De är mer benägna att inte kunna göra meningsfulla val om att delta, särskilt om det är i utbyte mot desperat nödvändiga inkomster eller tjänster.

Bristen på informerat samtycke ökar också risken för oavsiktlig skada. Om deltagarna är medvetna om att de är med i ett experiment, då kan de uppmärksamma försökspersoner på oavsiktliga negativa konsekvenser. Detta är viktigt när experiment allokerar kritiska resurser, såsom inkomst eller sjukvård, till fattiga människor. Att undanhålla eller tillhandahålla resurser till vissa grupper kan skada utsatta grupper eller leda till stridigheter som är socialt destabiliserande.

Dessa och andra etiska farhågor har fått en respekterad ekonom att begära ett moratorium för sociala experiment tills effektiva etiska garantier har införts.

En distraktion

Utvecklingsekonomins pionjärer förstod utveckling som grundläggande omvandling på samhällsnivå. Detta krävde att gå längre än marginella förbättringar av status quo. I denna uppfattning, Utvecklingen var till stor del resultatet av hållbara ökningar av inkomstnivåerna i samhället. Genom den detaljerade studien av de nu utvecklade ländernas historia, pionjärerna drog slutsatsen att en sådan omvandling var resultatet av industrialiseringen.

En mängd forskning under de senaste 20 till 30 åren pekar också på industrialiseringens företräde i de östasiatiska och kinesiska utvecklingens "mirakel".

Den experimentella vändningen inom utvecklingsekonomi har tyvärr distraherat forskning och policyarbete från sådana urgamla utvecklingsprioriteringar. Och i alla fall, några av de gynnade mikrointerventionerna från de nya utvecklingsekonomerna (prissättning av myggnät, tillhandahållande av blädderblock i skolan, och så vidare) skulle vara resultat – snarare än orsaker – av transformativ utveckling.

Angus Deaton, Nobelpristagaren för ekonomi 2015, har hävdat att i Storbritanniens fall följde spektakulära förbättringar av välbefinnandet i slutet av 1700- och början av 1800-talet i hälarna på ökningar av den allmänna inkomstnivån i ekonomin. Ökade samhälleliga inkomster gjorde det möjligt för det brittiska samhället att samla de resurser som behövdes för att investera i, till exempel, storskalig offentlig sanitetsinfrastruktur.

Förespråkarna för randomiserade experiment under utveckling är, därför, utan tvekan skyldig till att sätta vagnen framför hästen.

En sista kritisk oro är att det inte finns några historiska bevis som stödjer påståendet, upprepas i årets Nobelpris för ekonomi, att det experimentella förhållningssättet till utvecklingspolitik faktiskt ger snabbare tillväxt eller utveckling.

Många länder har växt sina ekonomier och utvecklats på olika sätt utan att politiska beslut är beroende av, eller prioritera, randomiserade experiment.

Som vi har noterat, sådana experiment tar bara upp en begränsad uppsättning möjliga utvecklingsmekanismer som är mottagliga för randomiserade experiment och som sammanfaller med forskarnas egna redan existerande uppfattningar. Till exempel, lärarfrånvaro reduceras till en grov fråga om incitament, snarare än en uppsättning komplexa systemfaktorer, och gjordes till föremål för ett experiment där närvaro övervakas. Och dessa experiment har sällan någon grund, antingen i teorin eller i praktiken, för att skalas upp eller tillämpas i andra sammanhang.

Ett område av särskilt intresse, som har varit föremål för mycket av Nobelpristagarnas arbete, är utbildning. Vårt tidigare och kommande arbete ger upphov till många bekymmer med utbildningsexperiment. Den metodologiska grunden för att hävda politisk relevans av även populära experiment som att randomisera skolklassstorleken är djupt misstänkt. Vissa sådana experiment har visat sig vara olagliga och författningsstridiga. Och en sidoeffekt av detta synsätt på lokal forskning har varit att ignorera eller förneka den roll som otillräckliga samlade offentliga resurser för utbildning spelar.

Med tanke på alla dessa faktorer, vi föreslår att istället för att främja utveckling och fattigdomsminskning, det tillvägagångssätt som förespråkas av årets ekonominobelvinnare skulle faktiskt kunna hålla tillbaka framsteg i utvecklingsländerna.

Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.