En enda förändring av en hundraårig statistisk standard skulle dramatiskt förbättra kvaliteten på forskningen inom många vetenskapliga områden, minska antalet så kallade falska positiva, enligt en kommentar publicerad 1 september in Naturen Mänskligt beteende .

Argumentet, medförfattare av University of Chicagos ekonom John List, representerar konsensus mellan 72 forskare från institutioner över hela världen och discipliner som sträcker sig från neurobiologi till filosofi. Deras rekommendationer kan ha stor effekt på publiceringen av akademiska arbeten och på den allmänna politiken.

"Vi annonserar insatser som fungerande eftersom vi statistiskt tror att de fungerar. Men de fungerar faktiskt inte. Det här håller på att bli en kris inom vetenskapen, "sa List, Kenneth C. Griffin Distinguished Service Professor i ekonomi.

List och hans medförfattare föreslår att forskare måste återställa ett statistiskt riktmärke som kallas p-värdet eftersom bevisstandarderna för att hävda nya upptäckter inom många områden helt enkelt är för låga. Tillvägagångssättet skadar trovärdigheten för vetenskapliga påståenden, sa de.

En p-värdestandard antogs med början på 1920-talet, när den brittiska statistikern Ronald Fisher föreslog ett värde under 0,05 som en tröskel för att fastställa giltigheten av forskningsresultat. Om p-värdet faller under detta tröskelvärde-vilket innebär att sannolikheten för att en undersöknings slutsatser beror på slumpmässig slump är under 5 procent-anses forskningen generellt vara statistiskt signifikant.

Men tröskeln för p-värde har blivit ett mål för kritik som svar på en upplevd replikeringskris i vetenskapssamhällen. Vetenskapstidskrifter använder ofta statistisk signifikans – och p-värden – som ett test för att välja vilka artiklar som ska publiceras. List sa att den nuvarande tröskeln för p-värde på 0,05 tillåter många studier att publiceras och påverka ekonomiska och politiska beslut även om resultaten kanske inte är reproducerbara av andra forskare.

"Om Ronald Fisher hade vetat att nära 100 år senare skulle vi använda 0,05 -standarden religiöst för att fatta" informerade "politiska beslut, Jag tror inte att han skulle ha avancerat det, "Sa List.

Mer reproducerbara studier

För att vara säker på att en första upptäckt kommer att fungera när den praktiseras, Resultaten ska vara replikerbara. Tidigare studier har visat att endast 24 procent av psykologistudierna med ett p-värde på 0,05 kunde bekräftas av ytterligare experiment, vilket tyder på att tre av fyra studier gav falskt positiva resultat. Liknande, endast 44 procent av ekonomitidningarna med samma p-värde var reproducerbara.

Författarna beräknade att sänkning av p-värde tröskel till 0,005 skulle ungefär dubbla replikationsgraden inom psykologi och ekonomi, och andra områden skulle få liknande resultat. "Att ändra p-värdetröskeln är enkelt, anpassar sig till den utbildning som många forskare genomfört och kan snabbt uppnå bred acceptans, "sa författarna.

Lista håller med. "Du vill skapa en värld där du har fler människor som försöker replikera, och du vill att samhället ska belöna dessa människor, " sa han. "Och du vill också att fler resultat som går in i politiken ska vara sanna resultat, att vara replikerbar. Under 0,005 skulle fler av dem vara."

För att ytterligare uppmuntra publicering och replikering av studier, författarna till artikeln föreslår att nya fynd som för närvarande skulle kallas "signifikanta" men som inte uppfyller det reviderade 0,005 p-värdet bör kallas "suggestiva" istället.

List och hans medförfattare är noga med att påpeka att en ändring av p-värdet inte är det enda steget för att förbättra vetenskaplig forskning. "Vi har olika åsikter om hur man bäst kan förbättra reproducerbarheten, och många av oss tror att andra sätt att sammanfatta data... är att föredra framför p-värden, " sa de.