Kan företag lita på resultaten från en eller två vetenskapliga studier för att designa en ny industriell process eller lansera en ny produkt? Inom minst ett område av materialkemi, svaret kan vara ja – men bara 80 procent av tiden.

Replikerbarheten av resultat från vetenskapliga studier har blivit en stor källa till oro i forskarvärlden, särskilt inom samhällsvetenskap och biomedicin. Men många forskare inom teknik och hårda vetenskaper har inte känt samma oro för oberoende validering av sina resultat.

En ny studie som jämförde resultaten som rapporterats i tusentals artiklar publicerade om egenskaperna hos material för metallorganiska ramverk (MOF) - som är framstående kandidater för koldioxidadsorption och andra separationer - tyder på att replikerbarhetsproblemet borde vara ett problem för materialforskare, för.

En av fem studier av MOF-material som undersökts av forskare vid Georgia Institute of Technology bedömdes vara "outliers, " med resultat långt bortom de felstaplar som normalt används för att utvärdera studieresultat. De tusentals forskningsartiklarna gav bara nio MOF-föreningar för vilka fyra eller fler oberoende studier möjliggjorde lämplig jämförelse av resultat.

"På en grundläggande nivå, Jag tror att människor inom materialkemi känner att saker är reproducerbara och att de kan räkna med resultaten från en enda studie, sa David Sholl, en professor och John F. Brock III skolordförande vid Georgia Tech School of Chemical and Biomolecular Engineering. "Men det vi hittade är att om du drar ut något experiment på måfå, det finns en av fem chanser att resultaten är helt felaktiga - inte bara lite mindre, men inte ens i närheten."

Huruvida resultaten kan tillämpas mer brett på andra områden av materialvetenskap väntar ytterligare studier, sa Sholl. Resultaten av studien, som fick stöd av det amerikanska energidepartementet, publicerades den 28 november i ACS-tidskriften Materialkemi .

Sholl valde MOF för att de är ett område av intresse för hans labb - han utvecklar modeller för materialen - och för att National Institute of Standards and Technology (NIST) och Advanced Research Projects Agency-Energy (ARPA-E) redan hade satt ihop en databas som sammanfattar egenskaperna hos MOF:er. Medförfattarna Jongwoo Park och Joshua Howe använde metaanalystekniker för att jämföra resultaten av enkomponentadsorptionsisotermtestning - hur mycket CO2 som kan avlägsnas vid rumstemperatur.

Den mätningen är enkel och det finns kommersiella instrument tillgängliga för att göra testerna. "Folk i samhället skulle betrakta detta som ett nästan idiotsäkert experiment, sa Sholl, som också är en Georgia Research Alliance Eminent Scholar in Energy Sustainability.

Forskarna ansåg att resultaten var definitiva när de hade fyra eller flera studier av en given MOF vid jämförbara förhållanden.

Konsekvenserna för fel inom materialvetenskap kan vara mindre än inom andra forskningsområden. Men företag kan använda resultaten av bara en eller två studier för att välja ett material som verkar vara mer effektivt, och i andra fall, forskare som inte kan replikera ett experiment kan helt enkelt gå vidare till ett annat material.

"Nettoresultatet är åtminstone en icke-optimal användning av resurser, "Sholl sa. "Och varje rapport som använder ett experiment för att dra slutsatsen att ett material är 15 eller 20 procent bättre än ett annat material bör ses med stor skepsis, eftersom vi inte kan vara särskilt exakta på dessa mätningar i de flesta fall."

Varför varierande resultat? Vissa MOF:er kan vara petiga, snabbt absorberande fukt som påverkar adsorption, till exempel. En av fem "avviker" kan vara ett resultat av materialförorening.

"Ett av materialen vi studerade är relativt enkelt att göra, men det är instabilt i en omgivande atmosfär, "Sholl förklarade. "Exakt vad du gör mellan att göra det i labbet och testa det kommer att påverka egenskaperna du mäter. Det kan förklara en del av det vi såg, och om ett material är så känsligt, vi vet att det kommer att bli ett problem i praktisk användning."

Andra faktorer som kan förhindra replikering inkluderar detaljer som av misstag lämnades utanför en metodbeskrivning - eller som de ursprungliga forskarna inte insåg var relevanta. Det kan vara så enkelt som den exakta atmosfären i vilken materialet hålls, eller materialen som används i apparaten som producerar MOF:erna.

Sholl hoppas att uppsatsen kommer att leda till fler replikering av experiment så att forskare och ingenjörer kan veta om deras resultat verkligen är signifikanta.

"Som ett resultat av detta, Jag tror att min grupp kommer att titta på alla rapporterade data på ett mer nyanserat sätt, inte nödvändigtvis misstänker att det är fel, men om man tänker på hur tillförlitlig denna data kan vara, " sa han. "Istället för att tänka på data som en siffra, vi måste alltid tänka på det som en siffra plus ett intervall."

Sholl föreslår att mer rapportering av andra, tredje eller fjärde försök att replikera ett experiment skulle bidra till att öka förtroendet för data om MOF-materialegenskaper. Det vetenskapliga publiceringssystemet ger för närvarande inte mycket incitament för rapporteringsvalidering, även om Sholl hoppas att det kommer att förändras.

Han anser också att frågan måste diskuteras inom alla delar av forskarsamhället, även om han medger att det kan leda till "obekväma" samtal.

"Vi har presenterat denna studie några gånger på konferenser, och folk kan bli ganska defensiva om det, " Sa Sholl. "Alla i fältet känner alla andra, så det är alltid lättare att bara inte ta upp den här frågan."

Och, självklart, Sholl skulle vilja se andra replikera det arbete han och hans forskargrupp gjorde. "Det kommer att bli intressant att se om detta en-av-fem-tal håller för andra typer av experiment och material, ", tillade han. "Det finns säkert andra områden inom materialkemi där den här typen av jämförelse kan göras."