Några år sedan, två forskare tog de 50 mest använda ingredienserna i en kokbok och studerade hur många som hade kopplats till en cancerrisk eller fördel, baserat på en mängd olika studier som publicerats i vetenskapliga tidskrifter.

Resultatet? Fyrtio av 50, inklusive salt, mjöl, persilja och socker. "Är allt vi äter associerat med cancer?" undrade forskarna i en artikel från 2013 baserat på deras resultat.

Deras undersökning berörde ett känt men ihållande problem i forskningsvärlden:för få studier har tillräckligt stora prover för att stödja generaliserade slutsatser.

Men press på forskare, konkurrens mellan tidskrifter och medias omättliga aptit för nya studier som tillkännager revolutionära genombrott har inneburit att sådana artiklar fortsätter att publiceras.

"Majoriteten av tidningar som publiceras, även i seriösa tidskrifter, är ganska slarviga, "sa John Ioannidis, professor i medicin vid Stanford University, som specialiserat sig på studier av vetenskapliga studier.

Denna svurna fiende till dålig forskning publicerade en allmänt citerad artikel 2005 med titeln:"Varför de flesta publicerade forskningsresultaten är falska."

Sedan dess, han säger, endast begränsade framsteg har gjorts.

Vissa tidskrifter insisterar nu på att författare förregistrerar sitt forskningsprotokoll och tillhandahåller sina rådata, vilket gör det svårare för forskare att manipulera fynd för att nå en viss slutsats. Det gör det också möjligt för andra att verifiera eller replikera sina studier.

För när studier replikeras, de kommer sällan med samma resultat. Endast en tredjedel av de 100 studier som publicerats i tre topppsykologiska tidskrifter kunde framgångsrikt replikeras i ett stort 2015 -test.

Medicin, epidemiologi, befolkningsvetenskap och näringsstudier går inte bättre, Ioannidis sa, när försök görs att replikera dem.

"Över biomedicinsk vetenskap och bortom, forskare utbildas inte tillräckligt i statistik och metodik, "Sa Ioannidis.

För många studier baseras enbart på ett fåtal individer, gör det svårt att dra bredare slutsatser eftersom provtagningarna har så lite hopp om att vara representativa.

Kaffe och rött vin

"Diet är ett av de mest hemska områdena inom biomedicinsk undersökning, "tillade professor Ioannidis - och inte bara på grund av intressekonflikter med olika livsmedelsindustrier.

"Att mäta kost är extremt svårt, "betonade han. Hur kan vi exakt kvantifiera vad människor äter?

Inom detta område, forskare letar ofta efter korrelationer inom enorma databaser, utan så mycket som en starthypotes.

Även när metoden är bra, med guldstandarden en studie där deltagarna väljs slumpmässigt, utförandet kan bli kort.

En berömd studie från 2013 om fördelarna med Medelhavsdieten mot hjärtsjukdomar måste återkallas i juni av de mest prestigefyllda medicinska tidskrifterna, de New England Journal of Medicine , eftersom inte alla deltagare rekryterades slumpmässigt; resultaten har reviderats nedåt.

Så vad ska vi ta bort från översvämningen av studier som publiceras varje dag?

Ioannidis rekommenderar att du ställer följande frågor:är detta något som har setts bara en gång, eller i flera studier? Är det en liten eller en stor studie? Är detta ett randomiserat experiment? Vem finansierade det? Är forskarna transparenta?

Dessa försiktighetsåtgärder är grundläggande inom medicin, där dåliga studier har bidragit till antagandet av behandlingar som i bästa fall är ineffektiva, och i värsta fall skadligt.

I sin bok "Ending Medical Reversal, "Vinayak Prasad och Adam Cifu erbjuder skrämmande exempel på metoder som antagits på grundval av studier som fortsatte att ogiltigförklaras, som att öppna en hjärnartär med stenter för att minska risken för en ny stroke.

Det var först efter 10 år som en robust, randomiserad studie visade att övningen faktiskt ökade risken för stroke.

Lösningen ligger i den kollektiva skärpningen av standarder för alla aktörer i forskningsvärlden, inte bara tidskrifter utan också universitet, offentliga finansieringsorgan. Men dessa institutioner verkar alla i konkurrenskraftiga miljöer.

"Incitamenten för alla i systemet pekar åt fel håll, "Ivan Oransky, medgrundare av Retraction Watch, som omfattar indragning av vetenskapliga artiklar, säger till AFP. "Vi försöker uppmuntra en kultur, en atmosfär där du belönas för att vara transparent. "

Problemet kommer också från media, som enligt Oransky måste förklara de osäkerheter som finns i vetenskaplig forskning, och motstå sensationalism.

"Vi pratar mest om de oändliga fruktansvärda studierna om kaffe, choklad och rött vin, " han sa.

"Varför skriver vi fortfarande om dem? Vi måste sluta med det."

© 2018 AFP