Reproducerbarhet av vetenskapliga rön har länge varit en viktig indikator på giltigheten av data från forskning, en process som anses vara ännu mer kritisk i denna tid av ständigt föränderliga teknologier och metoder.

Vid Sackler Colloquium fokuserade på "Reproducerbarhet av forskning:Issues and Proposed Remedies, " David B. Allison, dekanus vid Indiana University School of Public Health-Bloomington, och medarrangörerna Richard Shiffrin, IU Distinguished Professor och Luther Dana Waterman Professor i psykologi och hjärnvetenskap; Victoria Stodden från University of Illinois och framlidne Stephen Fienberg från Carnegie Mellon University bjöd in till diskussion om huvudämnena att definiera reproducerbarhet i olika forskningssammanhang och tillhandahålla lösningar som bidrar till större reproducerbarhet och transparens.

Ett dussin artiklar som formar kollokviet publicerades i mars 2018 specialnummer av Proceedings of the National Academy of Sciences och täckte ett omfattande spektrum av ämnen från insamling av data till spridning av resultat från både vetenskapliga och icke-vetenskapliga samfund.

Bland dem finns "Scientific Progress Despite Irreproducibility:A seeming paradox, " av Shiffrin; Katy Börner, IU Distinguished Professor of Engineering and Information Science och Stephen M. Stigler vid University of Chicago. I en tid då vetenskapliga framsteg sker dagligen och styr stora delar av det moderna samhället, det verkar motsägelsefullt att sättet som vetenskapen utövas gör en hel del rapporterade fynd svåra eller omöjliga att återskapa. Dock, vetenskaplig praxis har fortsatt att utvecklas och avancera trots elementära problem, inte minst att det kan behöva gå ett antal år innan giltigheten, betydelse och användbarhet av fynden kan fastställas korrekt.

Forskarna erkänner att det ofta är möjligt att även ogiltiga fynd och slutsatser kan reproduceras men noterar att upprepningen av grundläggande – och ofta undvikbara – fel vanligtvis är kärnan i ett sådant resultat. Därför, för att maximera framsteg, de rekommenderar att en balans görs mellan att dela lovande resultat i tidiga skeden och att upprätthålla strikt vaksamhet för att säkerställa kvalitetsrapporteringen. Delad data måste inte bara vara tillförlitlig och viktig, men också av verkligt vetenskapligt värde med förmågan att generalisera till liknande miljöer.

Författarna undersöker föreslagna nya botemedel utformade för att minska graden av irreproducerbarhet - som att kräva förregistrering av studier för att förhindra "körsbärsplockningsdata" - och rekommenderar reformer som är skräddarsydda för forskningstyp och mål. Denna hållning förstärks av de varierande konsekvenser som är möjliga om ogiltiga resultat publiceras:fynd som samlats in under utforskningsprocessen skulle sannolikt inte orsaka skada, även om en felaktig tillämpning av slutsatser i verkligheten kan orsaka allvarlig skada. De varnar, dock, att alla botemedel och reformer kan få oavsiktliga konsekvenser som kan bromsa snarare än påskynda vetenskapliga framsteg.

Också framhävd i PNAS frågan är en rapport av Andrew Brown, biträdande professor i tillämpad hälsovetenskap vid IU School of Public Health-Bloomington; Kathryn A. Kaiser, biträdande professor i hälsobeteende vid University of Alabama i Birmingham och Allison, med titeln "Problem med data och analyser:fel, Underliggande teman, och potentiella lösningar, " som fokuserar på fel som kunde tänkas ha undvikits genom tillämpning av god etablerad praxis.

Forskarna diskuterar sådana influenser som citering och publikationsbias, matematiska felräkningar, fel i tolkning och arbete med dåliga data som erhållits genom tvivelaktiga metoder, mönster eller tekniker. Felaktig hantering och lagring av data kan också påverka förmågan att bekräfta fynd, liksom fel i kommunikation och logik. De betonar att konsekvenserna av ogiltig tolkning och rapportering sträcker sig från förlust av allmänhetens förtroende till potentiell förlust av liv.

Fördelarna och nackdelarna med peer review-processen som en pålitlig upprätthållare av vetenskaplig integritet i litteraturen diskuteras också. Trots sådana utmaningar som vad författarna kallar "ett okänt okänt" - vilket betyder att granskare läser vad som presenteras i manuskript utan att ha ytterligare information (eller kanske till och med fullständig information) för att utvärdera potentiella fel - är det inneboende i denna process, Brown och teamet hävdar att det finns vissa handlingar och metoder som välutbildade forskare borde och skulle kunna känna igen som felaktiga och/eller bristande noggrannhet.

Anteckningar Brown, "Hela kollokviet fokuserade på forskning rigor och reproducerbarhet. I synnerhet, we were interested in identifying challenges and limitations to rigor and reproducibility, men, more importantly we were interested in identifying paths forward to make science more rigorous and reproducible. We need to start from a position that scientific thinking is still our best way of coming to have objective knowledge of the world. I think we as a scientific enterprise have done a thorough job noting that reproducibility is a problem, even if more work needs to be done to determine underlying causes, more rigorously catalog errors and pitfalls, and identify the best interventions for reinforcing scientific rigor. Dock, we know that there are incremental and structural changes we can make now to improve the present condition of scientific investigations and publications to fulfill the mantra that science is self-correcting."