Orden "publicerad i en peer reviewed journal" anses ibland vara guldstandarden inom vetenskapen. Men vilken professionell vetenskapsman som helst kommer att berätta att det faktum att en artikel har genomgått referentgranskning är långt ifrån en järnklädd garanti för kvalitet.

För att veta vilken vetenskap du borde verkligen lita på att du behöver väga de subtila indikatorer som forskare överväger.

Tidningsrykte

Statusen för tidskriften där en artikel publiceras är det första.

För varje vetenskapligt område, breda tidskrifter (som Nature, Vetenskap och Proceedings of the National Academy of Science ) och många fler specialtidskrifter (som Journal of Biological Chemistry ) finns tillgängliga. Men det är viktigt att inse att hierarkier finns.

Vissa tidskrifter anses vara mer prestigefyllda, eller ärligt talat, bättre än andra. "Påverkansfaktorn" (som återspeglar hur många citat uppsatser i tidskriften lockar) är en enkel, om kontroversiell åtgärd, om vikten av en journal.

I praktiken har varje forskare en mental lista över de bästa relevanta tidskrifterna i sitt huvud. När du väljer var du vill publicera, Varje forskare gör sin egen bedömning av hur intressanta och tillförlitliga deras nya resultat är.

Om författare siktar för högt med sin måltidning, då kommer redaktören troligen genast avvisa tidningen på grund av "intresse" (innan ens överväger vetenskaplig kvalitet).

Om en författare siktar för lågt, då skulle de kunna sälja sig själva kort – detta kan representera ett missat tillfälle för en troféuppsats i en topptidskrift som alla skulle känna igen som betydelsefull (om så bara på grund av var den publicerades).

Forskare pratar ibland sitt papper i ett personligt brev till redaktören, och sikta på en tidskrift en rang över där de förväntar sig att manuskriptet så småningom kommer att hamna. Om deras papper accepteras är de nöjda. Om inte, de lämnar in till en lägre rankad, eller i standardeufemismen, en "mer specialiserad tidskrift". Detta slösar tid och ansträngning, men är livets verklighet inom vetenskapen.

Varken redaktörer eller författare gillar att få saker fel. De väger upp trycket att bryta en berättelse med en stor rubrik mot rädslan för att göra ett misstag. Ett misstag i detta sammanhang innebär att man publicerar ett resultat som snabbt blir inblandat i kontroverser.

För att skydda mot det, tre eller fyra referentgranskare (erfarna experter på området) utses av redaktören för att hjälpa till.

Peer review -processen

Vid tidpunkten för inlämning av ett papper, författarna kan föreslå granskare som de anser är lämpligt kvalificerade. Men redaktören kommer att göra det slutgiltiga valet, baserat på deras förståelse av området och även på hur bra och hur snabbt granskare svarar på uppgiften.

Peer reviewers identitet hålls vanligtvis hemlig så att de kan kommentera fritt (men ibland betyder det att de är ganska hårda). Referentbedömarna kommer att upprepa jobbet som redaktör, och ge råd om huruvida uppsatsen är av tillräckligt intresse för tidskriften. Viktigt, de kommer också att utvärdera vetenskapens robusthet och om slutsatserna stöds av bevisen.

Detta är det kritiska "peer review"-steget. I praktiken, fastän, granskningsnivån förblir kopplad till tidningens status. Om arbetet övervägs för en topptidning, granskningen kommer att bli intensiv. De bästa tidskrifterna accepterar sällan papper om de inte anser att de inte bara är intressanta utan också är vattentäta och skottsäkra – det vill säga att de tror att resultatet är något som kommer att stå sig över tiden.

Om, å andra sidan, arbetet går in i en lite läst journal med låg påverkan, ibland är recensenterna mer förlåtande. De kommer fortfarande att förvänta sig vetenskaplig noggrannhet men kommer sannolikt att acceptera vissa uppgifter som otydliga, förutsatt att forskarna pekar på begränsningarna i deras arbete.

Att veta att det är så processen går, när en forskare läser en uppsats noterar de var arbetet publicerades.

Journal impact factor

De flesta tidskrifter är pålitliga. Men längst ner på listan när det gäller inverkan ligger två typer av tidskrifter:

1. respektabla tidskrifter som publicerar referentgranskade resultat som är solida men av begränsat intresse – eftersom de kan representera återvändsgränder eller mycket specialiserade lokala ämnen
2. så kallade "predatoriska" tidskrifter, som är mer olycksbådande – i dessa tidskrifter är peer review-processen antingen ytlig eller obefintlig, och redaktörer tar i huvudsak betalt av författare för privilegiet att publicera.

Professionella forskare kommer att skilja mellan de två delvis baserat på förlaget, och till och med namnet på tidningen.

De Public Library of Science (PLOS) är en välrenommerad utgivare, och erbjuder PLOS ONE för gedigen vetenskap – även om den kanske bara tilltalar en begränsad publik.

Springer Nature har lanserat en liknande tidskrift som heter Vetenskapliga rapporter . Andra tidskrifter av god kvalitet med lägre påverkningsfaktorer inkluderar tidskrifter från akademiska specialistföreningar i länder med mindre befolkningar - de kommer aldrig att nå en stor publik men arbetet kan vara stenhårt.

Rovtidskrifter å andra sidan är ofta breda i skala, publicerad av onlineförlag som hanterar många titlar, och ibland har ordet "internationellt" i titeln. De försöker skörda ett stort antal papper för att maximera vinsten. Så namn som International Journal of Science ska behandlas med försiktighet, medan Journal of the Australian Bee Society kan mycket väl vara pålitlig (obs, Jag uppfann dessa namn bara för att illustrera poängen).

Värdet av en tidskrift kontra ett enda papper

Effektfaktorer har blivit kontroversiella eftersom de har överanvänts som en proxy för kvaliteten på enskilda papper. Dock, strikt tillämpade återspeglar de bara det intresse som en tidskrift lockar, och kan bero på några "jackpot" -papper som "går virala" när det gäller ackumulering av citat.

Dessutom, medan papper i tidskrifter med högre effekt kan ha genomgått mer granskning, det är mer press på redaktörerna och på författarna till dessa topptidskrifter. Detta innebär att genvägar kan tas oftare, den sista, avgörande kontrollexperiment kanske aldrig görs, och tidskrifterna blir mindre tillförlitliga än vad deras rykte antyder. Denna frånkoppling skapar ibland prickskytte om hur vissa tidskrifter inte är så bra som de påstår sig vara – vilket faktiskt håller alla på tårna.

Även om alla kontroverser kring påverkningsfaktorer är verkliga, varje forskare känner till och tänker på dem eller andra tidskriftsrankningssystem (SNP – Source Normalized Impact per Paper, SJR - Scientific Journal Rankings, och andra) när de väljer vilken tidskrift de ska publicera i, vilka tidningar att läsa, och vilka papper man kan lita på.

Inget är perfekt

Även om allt är gjort ordentligt, peer review är inte ofelbart. Om författare förfalskar sin data mycket smart, till exempel, då kan det vara svårt att upptäcka.

Att medvetet fejka data är, dock, relativt ovanligt. Inte för att forskare är helgon utan för att det är dumt att fejka data. Om resultaten är viktiga, andra kommer snabbt att försöka reproducera och bygga vidare på dem. Om ett falskt resultat publiceras i en toppjournal är det nästan säkert att det upptäcks. Detta händer då och då, och det är alltid en skandal.

Fel och slarv är mycket vanligare. Detta kan vara relaterat till den ökande angelägenheten, tryck att publicera och förekomsten av stora team där ingen kanske förstår all vetenskap. På nytt, dock, endast obetydliga misstag kommer att överleva – de viktigaste felen kommer snabbt att plockas upp.

Kan du lita på den byggnad som är modern vetenskap?

Vanligtvis, man kan få en känsla för hur troligt det är att en del av peer reviewed vetenskap är solid. Detta kommer genom att förlita sig på kombinationen av stolthet och författarnas rykte, och tidskriftsredaktörerna, och av referentbedömarna.

Så jag litar på kombinationen av peer review -system och det inneboende faktum att vetenskap bygger på tidigare grunder. Om de är skakiga, sprickorna kommer snabbt och saker kommer att ställas till rätta.

Jag blir också glad av nya möjligheter för ännu bättre och snabbare system som uppstår till följd av framsteg inom informationsteknik. Dessa inkluderar modeller för kollegial granskning efter publicering (snarare än före publicering). Kanske skapar detta ett sätt att formalisera diskussioner som annars skulle hända på Twitter, och det kan väcka tvivel om giltigheten av publicerade resultat.

Tidskriften eLife vänder peer review på huvudet. Det erbjuder att publicera allt som det anser vara av tillräckligt intresse, och sedan låta författare välja att svara eller inte svara på punkter som tas upp i referentgranskning efter att manuskriptet accepterats. Författare kan till och med välja att avstå från att gå vidare om de tror att peer-reivewers poäng avslöjar arbetet som bristfälligt.

ELife har också ett system där granskare träffas och ger en enda modererad recension, till vilka deras namn är fogade och som publiceras. Detta förhindrar problemet med anonymitet som möjliggör alltför hård behandling.

Allt som allt, vi bör känna oss säkra på att viktig vetenskap är solid (och perifer vetenskap ovaliderad) på grund av peer review, genomskinlighet, granskning och återgivning av resultat i vetenskaplig publikation. Icke desto mindre inom vissa områden där reproduktion är sällsynt eller omöjlig – långtidsstudier beroende på komplexa statistiska data – är det troligt att den vetenskapliga debatten kommer att fortsätta.

Men även inom dessa områden, den oändliga granskningen av andra forskare, tillsammans med det stolt bevakade ryktet hos författare och tidskrifter, betyder att även om det aldrig kommer att bli perfekt, den vetenskapliga metoden förblir mer tillförlitlig än alla andra.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.