Plocka eller dölja resultat av körsbär, exkludera data för att möta statistiska trösklar och presentera oväntade fynd som om de förutspåddes hela tiden – det här är bara några av de "tvivelaktiga forskningsmetoder" som är inblandade i replikeringskrisen som psykologi och medicin har stått inför under det senaste halvt decenniet eller så.

Vi undersökte nyligen mer än 800 ekologer och evolutionsbiologer och fann höga andelar av många av dessa metoder. Vi tror att detta är den första dokumentationen av dessa beteenden inom dessa vetenskapsområden.

Våra pre-print-resultat har ett visst chockvärde, och deras släpp väckte stor uppmärksamhet på sociala medier.

• 64 % av de tillfrågade forskarna rapporterade att de hade åtminstone en gång misslyckades med att rapportera resultat eftersom de inte var statistiskt signifikanta (körsbärsplockning)
• 42 % hade samlat in mer data efter att ha inspekterat om resultaten var statistiskt signifikanta (en form av "p-hacking")
• 51 % rapporterade ett oväntat fynd som om det hade antagits från början (känd som "HARKing, " eller hypotes efter att resultaten är kända).

Även om dessa resultat är mycket lika de som har hittats inom psykologi, reaktionerna tyder på att de är överraskande – åtminstone för vissa ekologi- och evolutionsforskare.

författarna rapporterar att användningen av tvivelaktiga forskningsmetoder inom ekologi och evolution överlag är ungefär lika utbredd som inom psykologi.
Vi har alla tittat på Psych, vrider våra händer över de stackars älsklingarna, men NI ÄR VI OCKSÅ I TRÅD

— Andrew MacDonald (@polesasunder) 21 mars, 2018

Det finns många möjliga tolkningar av våra resultat. Vi förväntar oss att det också kommer att finnas många missuppfattningar om dem och omotiverade extrapolationer. Vi pratar om några av dessa nedan.

Det är bedrägeri!

Det är inte bedrägeri. Vetenskapligt bedrägeri inbegriper tillverkning av data och medför stränga straffrättsliga påföljder. De tvivelaktiga forskningsmetoder vi fokuserar på är per definition tvivelaktiga:de ligger i en gråzon mellan acceptabel praxis och vetenskapligt oredlighet.

Vi ställde en fråga om tillverkning av data och svaret på den gav ytterligare bevis på att det är mycket sällsynt, överensstämmer med rön från andra områden.

Forskare saknar integritet och vi borde inte lita på dem

Det finns några anledningar till varför detta inte borde vara hembudskapet i vår tidning.

Först, reaktioner på våra resultat hittills tyder på en engagerad, moget forskarsamhälle, redo att erkänna och ta itu med dessa problem.

Jag är tyvärr inte förvånad över detta - när jag "utbildades" var många av dessa tvivelaktiga metoder normen. Vi måste börja utbilda studenter tidigare men också se till att portvakterna till bidrag och publikationer också är utbildade om dessa frågor. Njut av ditt kaffe!

— Matthew Grainger (@Ed_pheasant) 21 mars, 2018

Om något, denna typ av engagemang borde öka vårt förtroende för dessa forskare och deras engagemang för forskningsintegritet.

Andra, resultaten berättar mycket mer om strukturerade incitament och institutioner än om individer och deras personliga integritet.

Till exempel, dessa resultat berättar om institutionen för vetenskaplig publicering, där negativa (icke statistiskt signifikanta resultat) nästan förvisas från de flesta tidskrifter inom de flesta vetenskapsområden, och där replikationsstudier praktiskt taget aldrig publiceras på grund av obeveklig fokus på roman, "banbrytande" resultat.

Enkätresultaten berättar om vetenskaplig finansiering, igen där "roman" (betyder positiv, betydande) fynd värderas mer än noggrant, försiktiga procedurer och replikering. De berättar också om universitet, om anställnings- och befordranspraxis inom akademisk vetenskap som fokuserar på publiceringsmått och övervärderar kvantitet på bekostnad av kvalitet.

Så vad menar de, dessa tvivelaktiga forskningsmetoder som forskarna medger i vår undersökning? Vi tror att de bäst förstås som det oundvikliga resultatet av publikationsbias, finansieringsprotokoll och ett ständigt ökande tryck att publicera.

Vi kan inte basera viktiga beslut på aktuella vetenskapliga bevis

Det finns en risk att våra resultat kommer att ge insikten att vår vetenskap inte är redo för policy. På många områden, såsom hälsa och miljö, detta kan vara mycket skadligt, till och med katastrofalt.

En anledning till att det är obefogat är att klimatvetenskap är en modellbaserad vetenskap, och det har förekommit många oberoende replikeringar av dessa modeller. På samma sätt med immuniseringsförsök.

Vi vet att all kritik av vetenskaplig praxis löper en risk i samband med antivetenskaplig känsla, men sådan kritik är grundläggande för vetenskapens framgång.

Att förbli öppen för kritik är vetenskapens mest kraftfulla självkorrigeringsmekanism, och i slutändan vad som gör den vetenskapliga evidensbasen trovärdig.

Forskare är människor och vi behöver skydd

Detta är en tolkning som vi helhjärtat stöder. Forskare är människor och föremål för samma uppsättning kognitiva fördomar – som bekräftelsebias – som resten av oss.

När vi lär oss mer om kognitiva fördomar och hur vi bäst kan mildra dem under olika omständigheter, vi måste återföra detta till normerna för vetenskaplig praxis.

Detsamma gäller vår kunskap om hur människor fungerar under olika incitamentsstrukturer och förutsättningar. Detta är grunden för många av de initiativ som syftar till att göra vetenskapen mer öppen och transparent.

Open science-rörelsen handlar om att utveckla initiativ för att skydda mot påverkan av kognitiv fördom, och ändra incitamentstrukturerna så att forskning som använder dessa tvivelaktiga forskningsmetoder slutar belönas.

Vissa av dessa initiativ har entusiastiskt antagits av många vetenskapsmän och tidskriftsredaktörer. Till exempel, många tidskrifter publicerar nu analyskod och data tillsammans med sina artiklar, och många har skrivit på riktlinjerna för transparens och öppenhetsfrämjande (TOP).

Andra initiativ lovar också mycket. Till exempel, registrerade rapportformat erbjuds nu av vissa tidskrifter, mestadels inom psykologi och medicinska områden. I en registrerad rapport, artiklar granskas på styrkan av deras underliggande utgångspunkt och tillvägagångssätt, innan data samlas in. Detta tar bort frestelsen att bara välja positiva resultat eller att tillämpa olika strikthetsnormer på negativa resultat. Kortfattat, det omintetgör publikationsbias.

Vi hoppas att genom att uppmärksamma förekomsten av tvivelaktiga forskningsmetoder, vår forskning kommer att uppmuntra stöd till dessa initiativ, och viktigare, uppmuntra institutioner att stödja forskare i deras egna ansträngningar att anpassa sin praktik till sina vetenskapliga värderingar.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.