Tjugo år sedan, det var svårt att hitta information om lokala restauranger, förutom från restaurangerna själva. Nu, tack vare internet, oberoende utvärderingar är lätta att hitta. Det är förfluten tid att vi gör det fallet för vetenskaplig forskning, för.

Vid dess gräns, vetenskapen är opolerad och ojämn. Fynden kommer från nya maskiner eller procedurer. Ofta förstås dessa inte helt – som Einstein påstås ha sagt:"om vi visste vad vi gjorde, det skulle inte kallas forskning."

Ödmjukhet är därför viktig, men du hittar det inte alltid i de populära konton som basunerar ut nytt verk. I viss utsträckning, som speglar hur forskarna själva framställer sitt arbete. Vi forskare föredrar ibland att bortse från alla möjligheter att våra resultat återspeglar ett fel. Vi tenderar också att vara överoptimistiska att våra resultat är av bred allmänhet, snarare än att vara beroende av mycket specifika omständigheter.

Hos forskare, som människor i allmänhet, fördomar är oundvikliga. För att undvika att vara för säker i vetenskapliga slutsatser, sedan, vi måste se åsikterna på båda sidor av en fråga. Tyvärr, dock, många meningsskiljaktigheter mellan forskare döljs systematiskt snarare än avslöjas.

Nya resultat genomgår något som kallas "peer review". Den peer review avslöjar ofta komplexiteten, osäkerhet, och oenighet som är inneboende i banbrytande arbete, men den görs inte tillgänglig för allmänheten.

Som ett resultat, vetenskap som ses av allmänheten är mycket mer säker, universell, och okontroversiell än den faktiskt är.

Peer review-processen

Människor är partiska varelser. I hemlighet eller inte så hemligt, forskare kommer att heja över sina favoritteorier. Individuella vetenskapliga bedömningar, därför, ska man inte lita blint på.

Lyckligtvis, vi forskare är ofta i dialog med varandra. När jag presenterar mitt arbete, Jag finner mig ofta manad att ta en hårdare titt på mina egna idéer, och på mina metoders stränghet. Jag dras till insikten att mina kritiker faktiskt har rätt i vissa saker.

Mycket av detta fram och tillbaka händer i tidskrifter peer review. Efter att jag skickat in en artikel till en tidskrift, en redaktör skickar den till två eller tre andra forskare. Dessa "peer reviewers, "som ofta hämtas från världens främsta experter på artikelns ämne, har i uppdrag att utvärdera artikeln och de studier som den redovisar.

Experternas kommentarer kan vara en blandad blandning av kritik och beröm, med tankar om analyserna av data, de förfaranden som används, exakt hur resultaten jämförs med tidigare arbeten, och styrkan i de presenterade bevisen för min artikels slutsatser.

Även i de fall där referentgranskningarna är korta, de inkluderar experternas godkännande av särskilda aspekter av en artikel, vilket skulle vara mycket värdefullt för vissa läsare.

Ibland är recensionerna ganska långa, och kunskapen inom dem kan inte hittas någon annanstans. Till exempel, de tre senaste inbördes recensionerna som jag skrev var var och en över tusen ord, kommer in på sexton sidor med text. Många av de enskilda kommentarerna är av ringa intresse för alla som inte arbetar på fältet, men tillsammans kan de lägga till bredare konsekvenser för slutsatsernas trovärdighet.

Författare svarar vanligtvis på inbördes recensioner genom att inkludera några av sina punkter, åtgärda uppenbara fel, och flytta delar av deras argument för att minska all tillit till tvivelaktiga antaganden. Dock, forskarna undviker ibland att direkt ta upp några kontroversiella frågor, föredrar istället att sopa dem under mattan. Bekymmer från referentgranskarna kan då vara omöjliga att upptäcka för framtida läsare.

Att undvika narrativa omvägar för att diskutera skavanker eller tvivelaktiga antaganden kan vara viktigt för att komma över huvudpoängen i en studie. Detta är anledningen till att jag skapar mina egna artiklar som en snygg berättelse - eller så säger jag till mig själv. Jag vill att mina artiklar ska lysa. Jag måste erkänna, fastän, att jag också vill att läsarna ska förbise eventuella hopp på vägen som leder till min slutsats.

En sanerad version av vetenskap

Vetenskapliga tidskrifter betraktar peer reviews som konfidentiella, och tillåt endast artikelförfattarna, de två eller tre granskarna, och tidskriftsredaktören för att se dem. Vad läsare och världen ser, sedan, är en sanerad version av vetenskap. Konsumenterna av forskning – oavsett om det är andra forskare, ingenjörer, beslutsfattare, journalister, eller läkemedelsföretag—berövas informationen i referentgranskningarna.

När du skriver en artikel om ett nytt fynd, Det slutar med att journalister själva måste ombesörja extern utvärdering. De ringer upp alla experter de kan hitta och frågar dem om eventuella problem. Därvid, de försöker återskapa en granskningsprocess som redan har gjorts. Sällan kommer de att få kommentarer så omfattande som de i den formella referentgranskningen, och de får dessa kommentarer för bara en liten bråkdel av de nya rönen som publiceras varje dag.

Om utvärderingen som gjordes i den ursprungliga peer review-processen var offentlig, nyhetskonton skulle vara mindre godtrogna, och allmänhetens förståelse av vetenskap kan vara mer sofistikerad. Forskare, ha fördelen av att kunna läsa kommentarer från kollegor tillsammans med nytt arbete, skulle vara mindre sannolikt att anta att ett fynd är solid, en attityd som bidrog till replikeringskrisen.

Post-pandemi, en ny forskningsvärld

När utbrottet av coronaviruset spred sig förra året, Det fanns en bred insikt om att peer review av covid-forskning var för viktig för att hållas bakom stängda dörrar. Forskare utvärderade snabbt nytt arbete och publicerade sina kommentarer på internetforum som Twitter och forskningskommentarsajten PubPeer.

En del av denna kritik togs upp av journalister och bidrog till att en osund studie av hydroxiklorokin drog tillbaka såväl som snabba korrigeringar av studier av infektionsfrekvensen.

Twitter-diskussioner kan vara kaotiska, och twitteralgoritmen belönar inte nyanser. Excesserna som har resulterat är en anledning till att inte alla forskare har applåderat ökningen av öppna kommentarer, så med pandemins övergång, det finns en fara att vetenskapen kan krympa tillbaka i sitt skal. Lyckligtvis, offentliga peer review-initiativ utformade av forskare, snarare än av sociala medieföretag som vill tjäna pengar på upprördhet, har nu attraherat ett stort antal experter.

Under de senaste tjugo åren, tack vare något som kallas "open access"-rörelsen, vi har sett hur andelen vetenskapliga artiklar som kan läsas gratis går från en liten minoritet till nästan hälften. Under de kommande tjugo åren, att uppnå verklig allmän förståelse för karaktären av nya rön, vi måste också öppna för peer review.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.