När Einstein upptäckte peer-review-processen...

1935, en för snabb beräkning fick Einstein att tro att gravitationsvågor inte kunde existera inom ramen för den allmänna relativitetsteorin (dessa vågor, observerades endast 2016, är faktiskt en hörnsten i hans arbete). Berättelsen om hans första publicering är rikare än det subtila felet bakom...

För första gången, Einstein – som hade skickat sitt manuskript till de prestigefyllda Fysisk granskning – stod inför det anonyma peer-review-systemet. Den skarpsinnade recensenten, vars identitet avslöjades först 2005, påpekade ett fel. Einstein var starkt oense om tanken att en redaktör skulle kunna granska sitt arbete utan hans samtycke. Han skickade sedan sitt manuskript till en annan recension, som beslutade att publicera den. Men när det var dags att kontrollera manuskriptets bevis, Einstein reviderade sin papper totalt. Denna historia, både exemplariskt och exceptionellt, illustrerar det komplexa förhållandet mellan forskarna och publikationerna.

Det dagliga livet av expertis i vetenskapliga publikationer

De tyska tidskrifterna där Einstein publicerade hade en låg avvisningsfrekvens av inlämnat material, och var istället öppna för kontroverser och vetenskapliga debatter. Ändå, den enorma ökningen av vetenskaplig verksamhet tvingade alla vetenskapliga tidskrifter att följa exemplet Fysisk granskning , med en eller två (till och med tre ibland) anonyma granskare.

Istället för redaktören, vem är ansvarig för valet av publikationer, granskarna är de som bedömer om verket är giltigt och förtjänar det (ganska subjektiva) erkännandet som bifogas publicering i en given recension. Ytterligare kritik är fortfarande möjlig:kommentarer till papper kan publiceras efter godkännande av en granskningsprocess, eventuellt följt av ett författaresvar.

När forskare har kontaktats som möjliga granskare av redaktören, de har bara en kort tid på sig att acceptera. De kommer att ha några veckor – ibland till och med mindre – på sig att avge välgrundade åsikter om manuskriptets lämplighet. Detta obetalda arbete förblir anonymt (med vissa undantag).

Av min egen erfarenhet, tidsåtgången kan variera från en timme till tre dagar. Det ädla och spännande med att recensera är att processen med kritisk läsning och författarsvar ibland skapar en slags "samproduktion" för innehållet som slutligen dyker upp i tidskriften:Recensenten hjälper ofta till att förbättra tidningens läsbarhet och presentation, och ibland föreslår granskaren bredare öppningar som inte nämns av författarna. Granskaren kan också upptäcka små eller till och med allvarliga fel, även om de i allmänhet inte är kritiska för arbetets slutsats, som alltså är fri från fel när den slutligen publiceras.

Att hitta bra recensenter:den tuffa delen av en redaktörs jobb

Att hitta tillgängliga recensenter är en svår uppgift för tidskriftsredaktörer. Specialister med både den kompetens som krävs och en tillräckligt stor överblick över fältet är sällsynta. De är upptagna människor, och föredrar ofta att granska manuskript när de introducerar nya idéer snarare än att utvärdera riktigheten av en enbart inkrementell uppsats. Forskare i tidiga karriärer är ofta mer öppna, eftersom de kan njuta av att delta i peer-review-processen, som är kärnan i det akademiska system de vill ansluta sig till.

Ett problem är ökningen av antalet inlämnade manuskript, vilket i sin tur kräver fler och fler granskare. Redaktören kan inte riktigt veta – vare sig vetenskapligt eller för kvaliteten på deras etik – alla granskare han har i sin pool, och detta kan leda till ett antal fördomar.

Författare uppmuntras ofta eller till och med uppmanas att föreslå möjliga granskare av sina papper. För en bra dagbok, detta kan vara ett sätt att exakt identifiera manuskriptets underdomän och kommer att göra det lättare att hitta erkända experter. Det är helt klart bra när den ursprungliga granskaren vägrar att lämna in en rapport för att han eller hon inte är tillräckligt nära forskningsområdet, men kan fortfarande identifiera en eller flera experter som redaktören inte skulle ha kunnat identifiera. Med tidskrifter av lägre kvalitet, redaktören kan besluta sig för att lättjat följa författarnas förslag, med risk för att bli orienterad till vänner eller till människor från samma litet samhälle som försöker överdriva betydelsen av sitt eget område. Ännu värre, de föreslagna granskarna kan ibland vara författarna själva, gömd bakom ett elektroniskt alias som bär namnet på en förmodad specialist.

Den anonyma domarprocessen kan också ha andra nackdelar. Fler än ett fåtal forskare känner någon vars papper avvisades, men vars idé mirakulöst återkommer under namnet på en kollega som föreslogs som recensent. Problemet har minskat genom utvecklingen av webbplatser som publicerar förtryck. Praktiken med att "anonyma" granskare begär att en referens ska läggas till i deras egna verk är relativt vanligt, men ofta transparent.

Erkända tidskrifter, rovdjur, och andra dåliga metoder

Trycket att publicera – det berömda "publicera eller förgås" – och slumpens roll i någon expertis innebär att alla rimliga manuskript utan grova fel kommer att publiceras, även efter avslag från en eller flera tidskrifter. Istället för att vara onormal, detta förklarar hur en hierarki av tidskrifter kan upprättas. Eftersom onlinepublikationer är riktigt billiga jämfört med tryckta, "rovdjuriga" tidskrifter verkar nu påstå sig vara "peer-reviewed". Sådana publikationer, lätt igenkänd av sanna forskare, mot en avgift publicera alla verk som påstår sig vara för en vetenskaplig publik, och ge en vag "domarrapport".

Dessa bedrägliga metoder dyker upp eftersom det finns en avsevärd ökning av högre utbildning på världsnivå. I de flesta fallen, kostnaderna för publicering i sådana underfundiga recensioner kommer att faktureras universitetet självt, och för lärare från perifera institutioner, publicering kan vara lönsamt i termer av erkännande och karriäravancemang. Liknande metoder i domarprocessen förekommer också ibland inom humaniora och samhällsvetenskap, där nonsenstexter som liknar akademiskt arbete, ibland datorgenererad, kan klara "domarprocessen".

Några vägar till förbättring

"Peer-review" är avgörande för vetenskapens framsteg. Dock, standarden på publikationer med recensenter påverkas av utvecklingen av onlinepublikationer och det växande antalet tidningar. Några vägar är värda att överväga för att förbättra systemet:

• Granskarerapporter kan göras tillgängliga online, hjälpa läsarna att förstå sammanhanget för verket och dess publicering, som alla kritiker av ett verk, inom konst och vetenskap också. En sådan praxis testas nu av vissa tidskrifter. Det är också ett sätt att fastställa kvaliteten på en tidskrift genom dess förmåga att välja ut lämpliga och skarpa referenter.
• Vissa översyner på hög nivå har övervägt en tillfällig elektronisk insättning, öppen för kommentarer från forskare inom lämpligt område, innan man beslutar om valideringen som en publikation. Detta skulle endast vara tillgängligt för frivilliga läsare, och när kommentarerna är positiva. Mest troligt, Ett sådant system skulle bara fungera för topptidningar som sannolikt kommer att locka kända specialister som läsare.
• Att kräva att bidrag och kommentarerna de får spåras från tidskrift till tidskrift skulle begränsa publiceringen av arbeten av lägre kvalitet. För närvarande, ett manuskript som avvisats av en recension skickas fritt från kritik när det skickas till en annan, förutom när de två är inom samma redaktionsgrupp. Att visa att man förbättrade en forskning som svar på kritik är inte ett erkännande av misslyckande, men naturligt och lovvärt.

Som författare, Jag skulle vara mer säker på att få en rättvis utvärdering från en tidskrift för ett manuskript om jag kunde visa hur det förbättrades av kommentarerna som mottogs under en tidigare inlämning. Nuvarande, Jag har en känsla av att jag skulle göra intrång i den första tidskriftens och dess referents immateriella rättigheter, och därför avstå från att bifoga sådant material.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.