I sex välrenommerade hydrologi- och vattenresurstidsskrifter som publicerades 2017, den uppskattade andelen studier vars resultat helt kunde återges var endast mellan 0,06 och 6,8 procent. Denna låga reproducerbarhet är inte ovanlig i hydrologiska studier - ett faktum som många forskare medger. Dock, ett team av forskare vid Utah State University kan ha hittat en lösning för att göra dessa studier mer reproducerbara.

I deras tidning, "Bedömning av datatillgänglighet och forskningens reproducerbarhet inom hydrologi och vattenresurser, " publicerad 26 februari i Nature's Vetenskapliga data , David Rosenbergs medförfattare utvecklade ett online-enkätverktyg för att bedöma reproducerbarheten av publicerad forskning. Teamet granskade 360 ​​artiklar från sex tidskrifter för vattenresurser som publicerades 2017. Av 360 artiklar de kunde bara helt återge resultat från fyra artiklar.

"Vårt undersökningsverktyg bryter ner konceptet med vetenskaplig reproducerbarhet i specifika komponenter av datatillgänglighet, reproducerbarhet av resultat och replikerbarhet av resultat, sa Rosenberg, en docent i civil- och miljöteknik vid USU. "Vi föreslår sedan hur författare, tidskrifter, finansiärer och institutioner kan använda undersökningsverktyget för att öka den låga reproducerbarheten."

Författarna säger att reproducerbarhet kan delas upp i tre komponenter:

• Är uppgifterna, modeller, koda, bruksanvisningar och andra artefakter som används i det tillgängliga verket?
• Kan artefakter användas för att återge publicerade resultat?
• Kan fynden replikeras med nya datamängder?

Teamets online-enkätverktyg består av 15 frågor och ger en checklista över de väsentliga artiklar som behövs för artefakters tillgänglighet och resultatreproducerbarhet. Artefakter är ett paraplybegrepp för all data, programvara, modeller, koda, anvisningar och annat material som behövs för att reproducera resultat inom en studie.

Teamet fann att cirka 70 procent av artiklarna i urvalet angav att visst material var tillgängligt, men att endast cirka 48 procent av materialet kunde nås online. Endast cirka sex procent av artiklarna i urvalet gjorde artefakter offentligt tillgängliga, och endast en procent av provtagna artiklar gjorde artefakter tillgängliga och kunde reproduceras fullt ut.

Författarna sa att många artiklar saknade anvisningar för att generera resultat. Om författare ger anvisningar, de säger, antalet artiklar som kan testas för reproducerbarhet skulle fördubblas. Artiklar som gjorde alla artefakter tillgängliga hade en sex av tio chanser att få några eller alla av deras resultat reproducerade. Två tidskrifter som undersöktes av teamet krävde artiklar för att ange hur artefakter kan nås, och fyra tidskrifter uppmuntrade uttalanden. Inga tidskrifter krävde författare för att göra alla artefakter tillgängliga.

Enkätverktyget kan hjälpa till att känna igen och uppmuntra författare att uppnå vissa reproducerbarhetsnivåer. Till exempel, författare kan använda undersökningsverktyget för att själv bedöma reproducerbarheten av deras resultat. Rosenberg och hans team rekommenderar också ett medaljsystem för att känna igen olika nivåer av reproducerbarhet:

• Bronsmedalj:Alla artefakter görs tillgängliga i artikeln eller i öppna förråd
• Silvermedalj:Alla artefakter görs tillgängliga och resultaten är fullt reproducerbara
• Guldmedalj:Resultaten är fullt reproducerbara och övergripande fynd kan replikeras i olika miljöer med samma eller olika artefakter

Rosenberg rekommenderar att medaljikoner läggs upp bredvid onlineartiklar för att erkänna författare för deras reproducerbarhetsarbete och göra det lättare för läsare att hitta bästa reproducerbarhetsmetoder. Rosenberg och hans team tilldelade fyra silvermedaljer och sex bronsmedaljer av de 360 ​​artiklar de granskade. Att tilldela guldmedaljer för replikerbarhet av fynd är fortfarande en viktig linje i framtida arbete.

"Vi hoppas att undersökningsverktyget kommer att hjälpa till att knuffa författare, tidskrifter, finansiärer och institutioner för att göra vetenskapligt arbete mer reproducerbart, ", sa Rosenberg. "Vi välkomnar diskussioner för att förbättra undersökningsverktyget och för att förbättra reproducerbarheten av vår vetenskap."