Lorena Barba, docent i maskin- och rymdteknik vid School of Engineering and Applied Science, presenterade nyligen en kongressmeddelande rapport för federala lagstiftare och experter som kommer att vägleda framtida nationell politik om vetenskap och ingenjörsforskning.

Dr Barba är medlem av National Academies of Sciences Engineering and Medicine (NASEM) Reproducerbarhet och replikerbarhet i vetenskaplig studiekommitté, som bildades 2017. Kommittén höll en serie genomgångar inför publiceringen av deras rapport den 7 maj med Vita husets kontor för vetenskap och teknikpolitik, National Science Foundation (NSF) och andra intressenter.

Kommittén syftade till att identifiera alla frågor om replikering och reproducerbarhet inom vetenskaplig och teknisk forskning. Rapporten gav rekommendationer för att förbättra noggrannhet och transparens inom vetenskaplig och teknisk forskning, och identifierade och belyste god praxis.

GW Today talade nyligen med Dr. Barba om rapporten:

F:Varför tror du att det var viktigt att ha en kommittéstudiefrågor kring forskningsreplikering och reproducerbarhet?

A:Studien gjordes på uppdrag av National Science Foundation, som svar på kongressens mandat. Public Law 114-329 hänvisar till "växande oro för att vissa publicerade forskningsresultat inte kan reproduceras eller replikeras ..." och uppmanar NSF att ta fram en rapport med en bedömning och rekommendationer i frågan. Jag vet inte vad som föranledde detta lagdirektiv, men jag vet att under de senaste åren, olika medierapporter har publicerat framträdande misslyckanden med att replikera fynd. På samma gång, en rörelse för öppen vetenskap och reproducerbarhet har vuxit inom forskningsområden. Det var därför dags att göra en fördjupad studie som tittar på hela vetenskapen.

F:Hur kom du in i den här kommittén?

A:Jag nominerades av anonyma medlemmar i det vetenskapliga samfundet, som en erkänd myndighet i reproducerbarhet. National Academies kontaktade mig om studiekommittén i september 2017, och efter en telefonintervju och skicka ytterligare bakgrund om mitt arbete, Jag blev formellt inbjuden i november 2017. Vi har arbetat med denna studie i nästan ett och ett halvt år.

F:Vilka är de viktigaste resultaten från rapporten?

A:Det övergripande fyndet kan sammanfattas i fyra ord:ingen kris, ingen självgodhet. Budskapet är tvåfaldigt:krisberättelsen som har utvecklats under de senaste åren är mest retorik:reproducerbarhet och replikerbarhet är en del av hur vetenskapen självkorrigerar, men är inte det enda problemet. Å andra sidan, förbättringar behövs - mer transparens i beräkningsflöden, kod och data, till exempel, och anpassa incitamentsstrukturen för att värdera reproducerbar forskning. Andra fynd inkluderar behovet av större flytande statistik, och utbildning av tidiga karriärforskare i beräkningsverktyg och metoder.

F:Varför försökte kommittén definiera vad begreppen replikering och reproducerbarhet betyder?

A:Avsaknaden av en standardanvändning för dessa termer hindrar framsteg, så ofta är det oklart vad forskare menar och därmed hur man ska hantera oron. Både reproducerbarhet och replikerbarhet är ord som används i relation till en forskares allmänna problem eller en studie som bekräftar resultaten från en tidigare publicerad studie. Ibland används orden som en paraplyterm för alla relaterade problem. Men vissa fält har gjort skillnad mellan de två termerna, och det är viktigt att komma överens om vad den skillnaden är för att föra samtalet framåt. Studien definierar reproducerbarhet som att uppnå konsekventa beräkningsresultat med samma ingångsdata, beräkningssteg, metoder, kod och analysvillkor. En replikationsstudie, å andra sidan, samlar in nya data och genomför ny analys för att bekräfta resultaten från en tidigare studie.

F:Vad ska studenter som är intresserade av att forska i framtiden ta ifrån denna rapport?

A:Rapporten betonar datorns allestädes närvarande och viktiga roll i modern vetenskap, och behovet av förbättrad utbildning i statistiska metoder. Studenter som är intresserade av forskning skulle få en fördel genom att söka utbildning i beräkningskunskaper-inklusive verktyg för öppen källkod, mjukvaruutveckling, datahantering och hur man automatiserar repetitiva uppgifter. Att bedriva forskning reproducerbart blir mindre utmanande om du använder rätt verktyg.

F:Nu när rapporten släpps, vilken typ av vidare arbete tror du behöver göras i samband med dessa frågor?

A:Rapporten ger en rad rekommendationer som kommer att innebära fortsatt arbete, av olika människor och institutioner. Utbildning och utbildning i både statistik och beräkningsmetoder kräver viss förstärkning. Tidskrifter och yrkessamhällen måste arbeta med initiativ för att främja beräkningsbar reproducerbarhet och publicering av replikationer. Rapporten rekommenderar också att finansieringsorgan införlivar reproducerbarhet och replikerbarhet i sina meritgranskningskriterier för nya förslag.