En studie från University of Toronto om osäkerhet i vetenskaplig forskning kan belysa avvikelser som uppstod i tidiga försök att upptäcka Higgs -bosonet och till och med hur mätningar misslyckades med att förutsäga resultatet av att Donald Trump vann presidentvalet i USA.

Publicerad nyligen i tidningen Royal Society Open Science , studien tyder på att forskning inom några av de mer komplexa vetenskapliga disciplinerna, såsom medicin eller partikelfysik, eliminerar ofta inte osäkerheter i den utsträckning vi kan förvänta oss.

"Detta beror på en tendens att underskatta risken för betydande avvikelser i resultaten." sa studieförfattaren David Bailey, professor i U vid T:s fysiska institution.

Tittar på 41, 000 mått på 3, 200 mängder - från massan av en elektron till kolets datering av ett prov - fann Bailey att avvikande observationer hände upp till 100, 000 gånger oftare än förväntat.

"Chansen för stora skillnader sjunker inte exponentiellt som du förväntar dig i en normal klockkurva, sa Bailey.

En lång svans av osäkerhet

"Studien visar att forskare inom många områden gör ett bra jobb med att uppskatta storleken på typiska fel i sina mätningar, men vanligtvis underskatta risken för stora fel, "sa Bailey, noterar att den större än förväntade frekvensen av stora skillnader kan vara en nästan oundviklig följd av den komplexa karaktären av vetenskaplig forskning.

"När mätningarna blir mer och mer exakta, de minsta sakerna spelar mer och mer roll, "Sa Bailey.

"Om två mätningar överensstämmer, du är glad. Om inte, du ser att det är något du behöver undersöka, "sa han." Du spårar orsaken till variationen och rapporterar orsaken eller så säger du att du inte vet orsaken och detta minskar förtroendet för ditt resultat. "

Men med begränsad tid och ekonomiska resurser, forskare måste ofta välja mellan att ha ett stort urval av data, som tiotusentals människor i en undersökning, och med ett stort antal variabler du vill förstå.

"Du börjar med ett mycket stort urval som bara slår ihop alla. Du kan då behöva fråga om ditt resultat är detsamma för både män och kvinnor. Är det samma för olika bakgrunder, Kanadensare kontra amerikaner, till exempel, "säger Bailey." Då, du måste fråga om dina resultat håller för den mindre datamängden. Ditt prov blir mindre och fler kan gå fel. "

Omöjligt att inte ha lite fel?

Fysikstudierna gick inte signifikant bättre än den medicinska och andra forskningen som observerats. Dock, det mycket kvantifierbara sättet på vilket värden och osäkerheter rapporteras, kan göra fysiken mer användbar när det gäller graden av reproduktionskapacitet för resultat som forskare rimligen borde förvänta sig.

"Forskare kommer fortfarande att sträva efter de mest exakta resultaten, men deras förväntningar på hur väl dessa mål uppfylls kan mildras mot bakgrund av denna forskning, sa Bailey.

Han tror att hans studie kan hjälpa forskare att bättre analysera sina data, motivera mer omsorg med nya resultat, och uppmuntra till mer realistiska förväntningar från både forskare och allmänheten om noggrannheten i vetenskaplig forskning.

"Dessa insikter kan vara fördelaktiga med tanke på den naturligt komplexa karaktären av vetenskaplig forskning, "säger Bailey." Men chansen att undvika att ha fel på något sätt på någon nivå är nästan omöjlig. "