Du vet den kollegan som alltid vandrar över till ditt skrivbord och högljutt berättar att de hittade ett fel i rapporten du skickar in? Å ena sidan, det är bra - ingen anledning för chefen att se dig fortfarande blanda ihop "deras/där". Å andra sidan ... vilken smärta.

Under de senaste månaderna, forskare har känt samma blandade känslor som statcheck, en ny applikation som skannar psykologiska studier efter fel, har presenterats. Och precis som den "hjälpsamma" kollegan, det är sättet att avslöja som har drabbat några nerver.

Låt oss börja med vad statcheck exakt gör. Sam Schwarzkopf, en neurovetenskaplig forskare vid University College London som skriver vetenskapliga bloggen NeuroNeurotic, liknar det med en stavningskontroll för statistik. "De flesta fel som flaggats upp av statcheck är sannolikt obetydliga, "förklarar han via e -post." Så det är lite smärtsamt att se felet, men det gör egentligen inte så mycket skada. ”Ett stavfel, till exempel. Bra att fånga, men inte hemskt.

Dock, när statcheck flaggar fel som "potentiellt ändrar slutsatserna, "det är ungefär som att hitta ett stavfel som" skulle ändra meningen med meningen, "Säger Schwarzkopf. Men det betyder inte att dessa statistiska misstag definitivt förändrar resultat, antingen.

"Jag skulle satsa på att de flesta sådana fel förmodligen är stavfel och faktiskt inte ändrar slutsatserna, "Schwarzkopf säger." I många fall kan du se på resultaten, antingen siffrorna eller graferna, att slutsatserna är korrekta och det statistiska testet helt enkelt felrapporteras. "

Självklart, det kommer att finnas fall där det finns ett verkligt fel, vilket skulle innebära att det var ett misstag med en faktisk beräkning, eller att siffrorna är bedrägliga. Hur som helst, det skulle innebära faktisk manual, gammaldags kontroll.

Så det låter jättebra, höger? Ett sätt för akademiker att kontrollera sin forskning före inlämning och hjälpa till att arbeta för mer exakta resultat. Men den stora utbyggnaden av statcheck var lite mer dramatisk:50, 000 papper på PubPeer (en online -plattform som tillåter forskare att dela och diskutera publicerade artiklar) analyserades med hjälp av statcheck, och därmed flaggades med automatiskt genererade rapporter - även om rapporten bara sa att det inte fanns några fel.

Inte alla var glada över att få sitt arbete analyserat och kommenterat oönskat, särskilt i ett forum där en kommentar på ett papper i allmänhet innebär att ett fel hittas. En flagga som noterar att papperet har skannats av statcheck kan leda till misstolkningar, med andra ord.

Och det är viktigt att komma ihåg att statcheck ingalunda är en perfekt bit artificiell intelligens. "Eftersom statcheck är en automatiserad algoritm, det kommer aldrig att vara så exakt som en manuell kontroll, "säger Michéle Nuijten via e -post. Nuijten är doktorand vid Tilburg University i Nederländerna och hjälpte till att skapa statcheck." På grund av de misstag statcheck gör, du måste alltid manuellt kontrollera eventuella inkonsekvenser som statcheck flaggats, innan du drar starka slutsatser. "

Både Nuijten och Chris Hartgerink (forskaren som skannade och rapporterade om PubPeer -tidningarna), var tydliga med att statcheck hade buggar och misstag. Statcheck -manualen innehåller också detaljerade listor över vad statcheck inte kan göra.

Vilket återgår till det Schwarzkopf också påpekar:Att hitta fel i statistik är en bra inriktning, men det behöver inte nödvändigtvis berätta historien om data. Tidningen rapporterar att en av åtta papper innehöll ett fel som Maj har påverkat den statistiska slutsatsen, vilket kan få oss alla att få panik över att vetenskapen har fel, upp är ner, och ingen är att lita på. Men statcheck berättar inte hur många fel faktiskt påverkade slutsatserna av studierna. Det markerar bara potentiella grova inkonsekvenser.

Schwarzkopf varnar för att vi inte behöver få panik att alla dessa fel innebär falska slutsatser. "Den överväldigande majoriteten även av dessa var åtta misstag är förmodligen obetydliga eftersom de beror på stavfel snarare än på grund av faktiska felberäkningar av resultaten, "säger han." Det är definitivt bra att upptäcka sådana fel men de ogiltigförklarar inte tolkningarna av resultaten. Det enda sättet att skilja om ett fel beror på ett stavfel eller en verklig felberäkning är att titta på själva data och återge statistiken. "

Med andra ord, vi måste se till att författare och publikationer kontrollerar (och sedan kontrollerar) statistik före publicering och - avgörande - också replikerar resultat.

Och även om vissa forskare inte var glada över att få sitt arbete analyserat eller flaggat på PubPeer, det är rättvist att säga att forskare kommer att finna det en lättnad att använda statcheck-tekniken för att dubbelkolla sitt eget arbete, vilket de nu enkelt kan göra på http://statcheck.io.

Det är viktigt att notera att statcheck endast är utformat för att fungera för psykologiska papper. Nuijten och hennes kollegor arbetar för närvarande med finansiering för att utöka statcheck till andra områden, som biomedicinsk vetenskap och ekonomi.