I slutet av förra året (2021) var det mycket spänning inför den första omfattande analysen av tidigare forskning om tekniker utformade för att förändra människors beteende (känd som "nudging"), som med tillförsikt visar att de fungerar. Detta var goda nyheter för forskare, men också för regeringar över hela världen som har investerat i "nudge-enheter" som använder sådana metoder.

Nudges syftar till att påverka människor att fatta bättre beslut. Till exempel kan myndigheter ställa in ett "bättre" val, som att donera dina organ, som standard. Eller så kan de göra ett hälsosamt alternativ mer attraktivt genom märkning.

Men ny forskning som granskar den här artikeln - som hade tittat på 212 publicerade artiklar som involverade mer än 2 miljoner deltagare - och andra varnar nu att knuffar kanske inte har någon effekt på beteendet alls.

För att förstå varför måste vi gå in på några detaljer om statistik, och hur experimentella fynd analyseras och tolkas. Forskare börjar med en hypotes att det inte finns någon effekt (nollhypotes). De frågar sedan, vad är sannolikheten att få en faktisk effekt av en slump?

Så om det i mitt experiment finns en grupp människor som utsätts för en specifik nudge-teknik och en kontrollgrupp som inte nudges, är min utgångspunkt att de två grupperna inte kommer att skilja sig åt. Om jag sedan hittar en skillnad använder jag statistik för att räkna ut hur troligt det är att detta skulle ha skett enbart av en slump. Detta kallas P-värdet, och ju lägre det är desto bättre. Ett stort p-värde skulle innebära att skillnaderna mellan de två grupperna till stor del kan förklaras av slumpen.

Det motsatta är sant för effektstorlekar. Det är också viktigt att mäta effektens storlek för att bedöma det praktiska värdet av ett experiment. Föreställ dig att jag testar en nudge som är tänkt att hjälpa överviktiga människor att minska sin vikt, och jag observerar att personer i nudged-gruppen tappar ett halvt kilo under loppet av sex månader. Även om denna skillnad kan vara signifikant (jag får ett lågt p-värde), kan jag med rätta fråga om denna effekt är tillräckligt stor för några praktiska ändamål.

Så medan p-värden ger oss en indikation på hur sannolikt en observerad skillnad är av en slump, säger effektstorlekar oss hur stor – och därmed hur relevant – effekten är.

En bra studie måste visa en måttlig eller stor effektstorlek, men den måste också beskriva hur mycket av den som var resultatet av "publiceringsbias". Detta är körsbärsplockningen av resultat för att visa en vinst för nudge, vilket innebär att studier som visar att nudges inte fungerar inte ingår eller ens publiceras i första hand. Det kan bero på att redaktörer och recensenter vid vetenskapliga tidskrifter vill se resultat som visar att ett experiment fungerade – det gör det trots allt mer intressant läsning.

Författarna till den ursprungliga studien från 2021, som rapporterade en måttlig effektstorlek av nudging på beteende, uteslöt publikationsbias som var tillräckligt allvarlig för att ha ett stort inflytande på den rimliga effektstorlek de fann.

Problem för knuffar

Två saker har dock hänt sedan dess. I år betonade jag och en kollega att det, oavsett resultaten från 2021, fortfarande finns allmänna problem med nudge-vetenskap. Till exempel litar forskare alltför mycket på vissa typer av experiment. Och de överväger ofta inte fördelarna i förhållande till de faktiska kostnaderna för att använda nudges, eller räknar ut om nudges faktiskt är den faktiska orsaken till positiva effekter på beteendet.

Många forskare började också bli alltmer misstänksamma mot den rapporterade effektstorleken för 2021-studien. Vissa krävde att uppsatsen skulle dras tillbaka efter att ha fått reda på att de analyserade uppgifterna verkade innehålla studier som hade använt förfalskade data.

Och nu en ny studie, publicerad i PNAS , har omprövat den uppskattade effekten av publikationsbias i 2021 års studie. Författarna till den nya artikeln använde sina egna statistiska metoder och bedömde svårighetsgraden av publikationsbias såväl som dess inverkan på den faktiska effektstorleken. De visade att den ursprungliga effektstorleken för alla 212 studier faktiskt inte var måttlig – den var noll.

Hur illa är allt detta? Ur ett vetenskapligt perspektiv är detta utmärkt. Forskare startar en process för att samla in data för att informera allmänna antaganden om effektiviteten av nudges. Andra forskare granskar samma data och analyser och föreslår sedan en revidering av slutsatserna. Allt går framåt på det sätt som vetenskapen borde.

Hur dåligt är detta för nudge? Investeringarna i det är enorma. Forskare, regeringar, såväl som organisationer som Världshälsoorganisationen använder nudges som en standardmetod för beteendeförändringar. Så en enorm börda har lagts på nudgers axlar. Detta kan också ha resulterat i den allvarliga publikationsbias, eftersom så många satsade på att visa att det fungerar.

Just nu är den bästa vetenskapen vi har att på allvar ifrågasätta effektiviteten av nudging. Men många, inklusive jag själv, har länge vetat detta – de har spenderat många år på att noggrant kommentera de olika sätt som forskning om nudging behöver förbättras och har till stor del ignorerats.

Som sagt, ansträngningar att använda beteendeinsatser behöver inte överges. En bättre väg framåt skulle vara att fokusera på att bygga en evidensbas som visar vilka kombinationer av nudges och andra tillvägagångssätt som fungerar tillsammans. Till exempel, som jag har visat, har kombinationer av nudging-metoder tillsammans med förändringar i beskattning och subventioner en starkare effekt på hållbar konsumtion än att båda genomförs ensamma.

Detta tar bort bördan av att knuffa att vara ensam ansvarig för beteendeförändringar, särskilt eftersom det ensamt inte gör så mycket. Hur kunde det egentligen? Med tanke på hur komplext mänskligt beteende är, hur skulle ett enda tillvägagångssätt någonsin kunna hoppas på att förändra det? Det finns inte ett enda exempel på att detta har gjorts framgångsrikt i historien, åtminstone inte utan att inkräkta på mänskliga rättigheter.

Som jag har visat tidigare, om vi är ärliga om möjligheten att misslyckas, då kan vi använda den för att lära oss vad vi ska göra bättre. + Utforska vidare

Nudges:Fyra skäl att tvivla på populär teknik för att forma människors beteende

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.