Ny forskning försöker förstå vad som driver beslut i dataanalyser och processen genom vilken akademiker testar en hypotes genom att jämföra analyser från olika forskare som testade samma hypoteser på samma datauppsättning. Analytiker rapporterade radikalt olika analyser och spridda empiriska resultat, Inklusive, i vissa fall, betydande effekter i motsatta riktningar från varandra. Beslut om variabla operationaliseringar förklarade bristen på konsekvens i resultaten bortom statistiska val (d.v.s. vilken analys eller kovariater som ska användas).

"Våra resultat illustrerar vikten av analytiska val och hur olika statistiska metoder kan leda till olika slutsatser, " säger Martin Schweinsberg. "En akademisk forskningsfråga kan ibland undersökas på olika sätt, även om svaren härrör från samma datauppsättning och av analytiker utan några incitament att hitta ett visst resultat, och den här forskningen belyser detta."

För att genomföra forskningen, Professor Schweinsberg rekryterade en skara analytiker från hela världen för att testa två hypoteser om effekterna av forskarnas kön och yrkesstatus på aktivt deltagande i gruppsamtal. Med hjälp av det akademiska onlineforumet Edge, forskare analyserade gruppdiskussionsdata från vetenskapliga diskussioner från mer än två decennier (1996-2014). Datauppsättningen innehöll mer än 3 miljoner ord från 728 bidragsgivare och 150 variabler relaterade till konversationen, dess bidragsgivare, eller avskriftens textnivå. Sedan, med den nya plattformen DataExplained, utvecklad av medförfattarna Michael Feldman, Nicola Staub, och Abraham Bernstein, forskare analyserade data i R för att identifiera om det fanns en koppling mellan en vetenskapsmans kön eller yrkesstatus med deras nivåer av utförlighet.

Analytiker använde olika uppsättningar av provstorlekar, statistiska metoder, och kovariater, vilket ledde till flera olika resultat i förhållande till hypoteserna. Detta, därför, resulterade i olika, men ändå försvarbara resultat från de olika analytikerna. Genom att använda DataExplained, Professor Schweinsberg och kollegor kunde förstå exakt hur dessa analytiska val skilde sig åt, trots att uppgifterna och hypoteserna är desamma. En kvalitativ studie av R-koden som används av analytiker avslöjade en processmodell för psykologin bakom dataanalyser.

Professor Schweinsberg säger att deras "studie illustrerar fördelarna med transparenta och öppna vetenskapsmetoder. Subjektiva analytiska val är oundvikliga, och vi bör omfamna dem eftersom en samling olika analytiska bakgrunder och tillvägagångssätt kan avslöja den sanna konsekvensen av ett empiriskt påstående."

Denna forskning visar den avgörande roll subjektiva forskarbeslut spelar för att påverka rapporterade empiriska resultat. Enligt forskarna, dessa fynd betonar vikten av öppna data, som är allmänt tillgänglig, systematiska robusthetskontroller i akademisk forskning, och så mycket transparens som möjligt när det gäller både analytiska vägar som tagits och inte tagits, för att säkerställa att forskningen är så korrekt som möjligt. De föreslår också ödmjukhet när de kommunicerar forskningsresultat och försiktighet i att tillämpa dem på organisatoriskt beslutsfattande.