Medan beräkningsreproducerbarhet i vetenskaplig forskning i allmänhet förväntas när originaldata och kod är tillgängliga, brist på förmåga att replikera en tidigare studie – eller få konsekventa resultat genom att titta på samma vetenskapliga fråga men med olika data – är mer nyanserad och kan ibland hjälpa till i processen för vetenskaplig upptäckt, säger en ny rapport från kongressens mandat från National Academies of Sciences, Teknik, och medicin. Reproducerbarhet och replikerbarhet inom vetenskapen rekommenderar sätt som forskare, akademiska institutioner, tidskrifter, och finansiärer bör bidra till att stärka rigoriteten och transparensen för att förbättra reproducerbarheten och replikerbarheten för vetenskaplig forskning.

Definiera reproducerbarhet och replikerbarhet

Termerna "reproducerbarhet" och "replikerbarhet" används ofta omväxlande, men rapporten använder varje term för att referera till ett separat begrepp. Reproducerbarhet innebär att erhålla konsekventa beräkningsresultat med samma indata, beräkningssteg, metoder, koda, och analysvillkor. Replikerbarhet innebär att få konsekventa resultat över studier som syftar till att svara på samma vetenskapliga fråga, var och en har fått sina egna uppgifter.

Att reproducera forskning innebär att man använder originaldata och kod, medan replikerande forskning involverar ny datainsamling och liknande metoder som använts i tidigare studier, säger rapporten. Även när en studie utfördes noggrant enligt bästa praxis, korrekt analyserad, och öppet redovisat, det kanske inte går att replikera.

"Att kunna reproducera beräkningsresultaten från en annan forskare som börjar med samma data och replikerar en tidigare studie för att testa dess resultat underlättar vetenskapens självkorrigerande natur, och nämns ofta som kännetecken för god vetenskap, sa Harvey Fineberg, ordförande för Gordon and Betty Moore Foundation och ordförande för kommittén som genomförde studien. "Dock, faktorer som bristande transparens i rapporteringen, brist på lämplig utbildning, och metodiska fel kan hindra forskare från att kunna reproducera eller replikera en studie. Forskningsfinansiärer, tidskrifter, akademiska institutioner, beslutsfattare, och forskare själva har var och en en roll att spela för att förbättra reproducerbarheten och replikerbarheten genom att se till att forskarna följer de högsta standarderna för praxis, förstå och uttrycka osäkerheten i deras slutsatser, och fortsätta att stärka det sammanlänkade nätet av vetenskaplig kunskap - den främsta drivkraften för framsteg i den moderna världen."

Reproducerbarhet

Kommitténs definition av reproducerbarhet fokuserar på beräkning eftersom de flesta vetenskapliga och tekniska forskningsdiscipliner använder beräkning som ett verktyg, och överflöd av data och utbredd användning av beräkningar har förändrat många discipliner. Dock, denna revolution återspeglas ännu inte enhetligt i hur forskare använder programvara och hur vetenskapliga resultat publiceras och delas, säger rapporten. Dessa brister har konsekvenser för reproducerbarhet, eftersom forskare som vill reproducera forskning kan sakna den information eller utbildning de behöver för att göra det.

När resultat produceras av komplexa beräkningsprocesser som använder stora datamängder, metodavsnittet i en vetenskaplig artikel är otillräckligt för att förmedla den information som behövs för att andra ska kunna reproducera resultaten, säger rapporten. Ytterligare information relaterad till data, koda, modeller, och beräkningsanalys behövs.

Om tillräcklig ytterligare information finns tillgänglig och en andra forskare följer de metoder som beskrivits av den första forskaren, man förväntar sig i många fall att få samma exakta numeriska värden – eller bitvis reproduktion. För några forskningsfrågor, bitvis reproduktion kanske inte kan uppnås och reproducerbara resultat kan erhållas inom ett accepterat variationsområde.

Evidensbasen för att fastställa förekomsten av icke-reproducerbarhet i forskning är ofullständig, och att fastställa omfattningen av frågor relaterade till beräkningsreproducerbarhet inom eller inom vetenskapsområden skulle vara ett enormt företag med låg sannolikhet för framgång, kommittén fann. Dock, ett antal systematiska ansträngningar för att återskapa beräkningsresultat inom en mängd olika områden har misslyckats i mer än hälften av de försök som gjorts – främst på grund av otillräcklig information om data, koda, och beräkningsarbetsflöde.

Replikerbarhet

Ett viktigt sätt att bekräfta eller bygga vidare på tidigare resultat är att följa samma metoder, skaffa nya data, och se om resultaten överensstämmer med originalet. En framgångsrik replikering garanterar inte att de ursprungliga vetenskapliga resultaten av en studie var korrekta, dock, inte heller motbevisar en enda misslyckad replikering de ursprungliga påståendena, säger rapporten.

Icke-replikabilitet kan uppstå från ett antal källor. Kommittén klassificerade källor till icke-replikerbarhet i sådana som potentiellt kan vara till hjälp för att få kunskap, och de som är ohjälpsamma.

Potentiellt användbara källor till icke-replikabilitet inkluderar inneboende men okarakteriserade osäkerheter i det system som studeras. Dessa källor till icke-replikerbarhet är en normal del av den vetenskapliga processen, på grund av den inneboende variationen eller komplexiteten i naturen, omfattningen av aktuell vetenskaplig kunskap, och gränserna för nuvarande teknik. I sådana fall, ett misslyckande att replikera kan leda till upptäckten av nya fenomen eller nya insikter om variabilitet i det system som studeras.

I andra fall, rapporten säger, icke-replikerbarhet beror på brister i designen, uppträdande, och kommunikation av en studie. Oavsett om det beror på bristande kunskap, perversa incitament, slarv, eller partiskhet, dessa ohjälpsamma källor till icke-replikerbarhet minskar effektiviteten i vetenskapliga framsteg.

Ohjälpsamma källor till icke-replikabilitet kan minimeras genom initiativ och praxis som syftar till att förbättra forskningsdesign och metodik genom utbildning och mentorskap, upprepa experiment innan publicering, rigorös peer review, använda verktyg för att kontrollera analys och resultat, och bättre transparens i rapporteringen. Ansträngningar för att minimera undvikbara och ohjälpsamma källor till icke-replikerbarhet kräver fortsatt uppmärksamhet, säger rapporten.

Forskare som medvetet använder tvivelaktiga forskningsmetoder i avsikt att lura begår tjänstefel eller bedrägerier. Det kan i praktiken vara svårt att skilja mellan ärliga misstag och avsiktliga missförhållanden, eftersom den underliggande handlingen kan vara densamma medan avsikten inte är det. Vetenskapliga oredligheter i form av felaktiga framställningar och bedrägerier är ett ständigt bekymmer för hela vetenskapen, även om det står för en mycket liten andel av publicerade vetenskapliga artiklar, kommittén fann.

Förbättra reproducerbarhet och replikerbarhet inom forskning

Rapporten rekommenderar en rad åtgärder som intressenter i forskningsföretaget bör vidta för att förbättra reproducerbarhet och replikerbarhet, Inklusive:

• Alla forskare bör inkludera en tydlig, specifika, och fullständig beskrivning av hur de rapporterade resultaten nåddes. Rapporterna bör innehålla detaljer som är lämpliga för typen av forskning, som en tydlig beskrivning av alla metoder, instrument, material, procedurer, mått, och andra variabler involverade i studien; en tydlig beskrivning av analysen av data och beslut om uteslutning av vissa uppgifter eller inkludering av andra; och diskussion om mätningarnas osäkerhet, resultat, och slutsatser.
• Finansieringsorgan och organisationer bör överväga att investera i forskning och utveckling av öppen källkod, användbara verktyg och infrastruktur som stödjer reproducerbarhet för ett brett utbud av studier över olika domäner på ett sömlöst sätt. Samtidigt investeringar skulle vara till hjälp i uppsökande verksamhet för att informera och utbilda forskare om bästa praxis och hur man använder dessa verktyg.
• Tidskrifter bör överväga sätt att säkerställa beräkningsreproducerbarhet för publikationer som gör påståenden baserade på beräkningar, i den utsträckning det är etiskt och juridiskt möjligt.
• National Science Foundation bör vidta åtgärder för att underlätta transparent delning och tillgänglighet av digitala artefakter, såsom data och kod, för NSF-finansierade studier – inklusive utveckling av en uppsättning kriterier för tillförlitliga öppna förråd som ska användas av forskarvärlden för vetenskapsobjekt, och stödja eller överväga skapandet av kod- och datalager för långsiktig arkivering och bevarande av digitala artefakter som stödjer påståenden som gjorts i den vetenskapliga journalen baserat på NSF-finansierad forskning, bland andra åtgärder.

Förtroende för vetenskap

Replikerbarhet och reproducerbarhet, användbara som de är för att bygga upp förtroende för vetenskaplig kunskap, är inte de enda sätten att få förtroende för vetenskapliga resultat. Forskningssyntes och metaanalys, till exempel, är värdefulla metoder för att bedöma tillförlitligheten och giltigheten hos forskningsorgan, säger rapporten. Ett mål för vetenskapen är att förstå den övergripande effekten från en uppsättning vetenskapliga studier, att inte strikt avgöra om någon studie har replikerat någon annan.

Bland andra relaterade rekommendationer, rapporten säger att människor som fattar personliga eller politiska beslut baserat på vetenskapliga bevis bör vara försiktiga med att ta ett seriöst beslut baserat på resultaten, hur lovande det än är, av en enda studie. Av samma skäl, de ska inte ta en ny, enda motsatt studie som vederläggning av vetenskapliga slutsatser som stöds av flera rader av tidigare bevis.

Studien – genomförd av kommittén för reproducerbarhet och replikerbarhet inom vetenskapen – sponsrades av National Science Foundation och Alfred P. Sloan Foundation. National Academies är privata, ideella institutioner som tillhandahåller oberoende, objektiv analys och råd till nationen för att lösa komplexa problem och informera offentliga politiska beslut relaterade till vetenskap, teknologi, och medicin. De verkar under en kongressstadga från 1863 till National Academy of Sciences, undertecknad av president Lincoln. För mer information, besök nationalacademies.org.