Vetenskapen är mitt i en kris:en överraskande del av publicerade studier misslyckas med att replikera när procedurerna upprepas.

Till exempel, ta studien, publicerades 2007, som hävdade att knepiga matematiska problem som kräver noggrann eftertanke är lättare att lösa när de presenteras i ett suddigt teckensnitt. När forskare i en liten studie fann att användningen av ett suddigt teckensnitt förbättrade prestandanoggrannheten, det stödde ett påstående att möten med perceptuella utmaningar kan få människor att reflektera mer noggrant.

Dock, 16 försök att replikera resultatet misslyckades, som definitivt visar att det ursprungliga påståendet var felaktigt. Ritade tillsammans på en graf, studierna bildade en perfekt klockkurva centrerad kring nolleffekt. Som ofta är fallet med misslyckanden att replikera, av de totalt 17 försöken, originalet hade både den minsta provstorleken och det mest extrema resultatet.

Reproducerbarhetsprojektet, ett samarbete mellan 270 psykologer, har försökt replikera 100 psykologistudier, medan en rapport från 2018 undersökte studier publicerade i de prestigefyllda vetenskapliga tidskrifterna Nature och Science mellan 2010 och 2015. Dessa ansträngningar visar att ungefär två tredjedelar av studierna i viss mån replikerar, men att styrkan i fynden ofta är svagare än vad som ursprungligen hävdades.

Är detta dåligt för vetenskapen? Det är verkligen obehagligt för många forskare vars arbete blir underskattat, och antalet misslyckanden kan för närvarande vara oacceptabelt hög. Men, som psykolog och statistiker, Jag tror att det är bra för vetenskapen som helhet att konfrontera replikeringskrisen.

Utövar god vetenskap

Först, dessa replikeringsförsök är exempel på bra vetenskap som fungerar som den ska. De är fokuserade tillämpningar av den vetenskapliga metoden, noggranna experiment och observationer i jakten på reproducerbara resultat.

Många människor antar felaktigt att på grund av "s <.05" tröskel för statistisk signifikans, endast 5 % av upptäckterna kommer att visa sig vara fel. Dock, 15 år sedan, läkaren John Ioannidis pekade på några felaktigheter i det antagandet, med argumentet att falska upptäckter utgjorde majoriteten av den publicerade litteraturen. Replikeringsansträngningar bekräftar att antalet falska upptäckter är mycket högre än 5 %.

Medvetenhet om replikeringskrisen verkar främja bättre beteende bland forskare. Tjugo år sedan, cykeln för publicering var i princip fullbordad efter att en vetenskapsman övertygat tre recensenter och en redaktör om att arbetet var bra. Ja, den publicerade forskningen skulle bli en del av litteraturen, och därför öppen för granskning – men det var en långsam process.

I dag, insatserna har höjts för forskare. De vet att det finns möjlighet att deras studie kan granskas av tusentals opinionsbildande kommentatorer på internet eller av en högprofilerad grupp som Reproducibility Project. Vissa tidskrifter kräver nu att forskare gör sin data och datorkod tillgänglig, vilket gör det mer troligt att andra upptäcker fel i sitt arbete. Vad mer, en del forskare kan nu "förregistrera" sina hypoteser innan de påbörjar sin studie – det motsvarar att ge dig ett försök innan du gör det.

I kombination med öppen delning av material och data, förregistrering förbättrar vetenskapens transparens och reproducerbarhet, förhoppningsvis säkerställer att en mindre del av framtida studier kommer att misslyckas med att replikera.

Även om det finns tecken på att forskare verkligen reformerar sina sätt, det är fortfarande en lång väg att gå. Av 1, 500 antagna presentationer vid årsmötet för Society for Behavioral Medicine i mars, endast 1 av 4 av författarna rapporterade att de använde dessa öppna vetenskapliga tekniker i det arbete de presenterade.

Förbättra statistisk intuition

Till sist, replikeringskrisen hjälper till att förbättra forskarnas intuitioner om statistisk slutledning.

Forskare förstår nu bättre hur svag design med hög osäkerhet – i kombination med att man väljer att publicera endast när resultaten är statistiskt signifikanta – ger överdrivna resultat. Faktiskt, det är en av anledningarna till att mer än 800 forskare nyligen argumenterade för att överge statistisk signifikanstestning.

Vi förstår också bättre hur isolerade forskningsresultat passar in i det bredare mönstret av resultat. I en annan studie, Ionnadis och onkolog Jonathan Schoenfeld undersökte epidemiologisk litteratur för studier som associerar 40 vanliga livsmedelsingredienser med cancer. Det fanns några breda konsekventa trender – föga förvånande, bacon, salt och socker har aldrig visat sig vara skyddande mot cancer.

Men att plotta effekterna från 264 studier gav ett förvirrande mönster. Storleken på de rapporterade effekterna var mycket varierande. Med andra ord, en studie kan säga att en given ingrediens var mycket dålig för dig, medan en annan kan dra slutsatsen att skadorna var små. I många fall, studierna var till och med oense om huruvida en given ingrediens var skadlig eller fördelaktig.

Var och en av studierna hade någon gång rapporterats isolerat i en tidning eller en webbplats som det senaste fyndet inom hälsa och kost. Men som helhet, bevisen från alla studier var inte alls så definitiva som varje enskild studie kan ha förekommit.

Schoenfeld och Ioannidis plottade också de 264 publicerade effektstorlekarna. Till skillnad från de luddiga teckensnittsreplikationerna, deras graf över publicerade effekter såg ut som svansarna på en klockkurva. Den var centrerad på noll med alla icke-signifikanta fynd utskurna. Det omisskännliga intrycket av att se alla publicerade näringsresultat presenterade på en gång är att många av dem kan likna resultatet av luddiga teckensnitt – imponerande isolerat, men anomal under replikering.

Den hisnande möjligheten att en stor del av publicerade forskningsrön bara kan vara serendipita är exakt varför folk talar om replikeringskrisen. Men det är egentligen ingen vetenskaplig kris, eftersom medvetenheten ger förbättringar i forskningspraktiken, nya förståelser om statistisk slutledning och en uppfattning om att enstaka fynd måste tolkas som en del av ett större mönster.

Istället för att undergräva vetenskapen, Jag anser att detta bekräftar de bästa metoderna för den vetenskapliga metoden.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.