Ben Merriman har upplevt alla sidor av akademisk publicering som författare, tidskriftsredaktör och recensent. Den upplevelsen, tillsammans med hans forskning om administrativa strukturers roll för att lösa politiska konflikter, ledde University of Kansas biträdande professor public affairs &administration att utforska historien om peer review inom samhällsvetenskap i en studie för Den amerikanske sociologen. Merrimans studie utforskar den historiska uppkomsten av viktiga delar av redaktionell referentgranskning, dess inneboende problem och frustrationer, och hur en mer mångfacetterad publiceringsmodell skulle kunna hantera många av dessa frågor.

I sin studie, Merriman analyserade skrivna årsrapporter från redaktörerna för American Sociological Associations tidskrifter, som startade 1952. Dessa rapporter beskriver ansträngningar som gjorts för att hantera publiceringsprocessen och hur de ledde till att mycket av dagens modell för peer-review implementerades i början av 80-talet. Processen med blind granskning, extern granskning, exklusiv inlämning till en tidskrift, revidera och skicka in alla antogs under en period av 30 år av gradvis, mestadels oplanerad förändring dokumenterad i de årliga redaktionella rapporterna. tidskriftsredaktörer, som ursprungligen ledde innehållet och driften av sina publikationer, sökte hjälp med att se över stora mängder arbeten och kom så småningom till ett mycket annorlunda jobb.

"Rollen som redaktör verkar ha utvecklats till jobbet att leda recensenter, i motsats till att övervaka innehåll, " sade Merriman. "Det finns flera rådande sätt att hantera problemet med vilket innehåll som ska publiceras. Det vanligaste sättet är att begränsa mängden saker som ska granskas."

I studien, Merriman jämför den akademiska publiceringsmodellen med den för litterära och vetenskapliga bokutgivning, litterär tidskriftsutgivning, bevilja peer review och andra modeller för redigering av vetenskaplig tidskrift.

"Jämfört med dessa alternativ, framgången med redaktionell referentgranskning när det gäller att identifiera enastående arbete är öppen för debatt, och det är utan tvekan en synnerligen arbetsineffektiv utvärderingsmetod, " han skrev.

Granskningen tar ofta mer än ett år från inlämning till publicering och ofta längre. Det kan vara ett problem för unga författare som avlägger en doktorsexamen och hoppas få ett jobb, vilket kan bero på att ha en bra publikation till kandidatens namn. Det kan också vara ett hinder för unga forskare att avancera sin karriär där publikationer är en viktig prestation. Försök att påskynda processen har också lett till ett ökande antal avslag på inlagor utan granskning, känd som skrivbordsavslag. Redaktörer kan avvisa ett stycke av vilken anledning som helst, och granskningsprocessen kan leda till avvisande av idéer som inte stämmer överens med rådande tankar inom samhällsvetenskapen, ibland kväver oenighet och debatt och gör annars bra arbete opublicerbart, sa Merriman.

"Jag tror att det finns en icke-ideologisk konservatism i översynsprocessen som motverkar oenighet. Dessutom, det kallas peer review, men de som recenserar har ofta varit på fältet längre än författaren och är mer etablerade. Det har funnits forskning på Nobelnivå som också har avvisats. Jag tror att oenighet kan vara mycket hälsosamt för ett område, " han sa.

Medan Merriman sa att processen har flera andra problem, inklusive arbetsineffektivitet, långa förseningar med att få resultaten publicerade, svårigheter att upptäcka bedrägerier och förutsäga effekten av arbetet, Merriman påpekar att det också har flera fördelar, som att säkerställa forskningens grundläggande sundhet. Och till skillnad från andra modeller, modern peer review gör det möjligt för nästan alla att få sitt arbete övervägt utan hänsyn till status eller rykte.

"Det finns starka bevis för att blind granskning skyddar, åtminstone delvis, mot några av de största problemen, som könsfördomar, till exempel, " Sa Merriman. "Men du kan ha blind granskning utan den omfattande, lång process vi har nu. Denna grundmodell gör många saker ganska bra. Det har definitivt förbättrat mitt arbete. Det finns något med det moraliskt som jag också håller med om. Men det skulle vara hälsosamt om det fanns fler av en mängd olika granskningsmetoder."

Problem som presenteras av den nuvarande publiceringsmodellen inom samhällsvetenskapen skulle till stor del kunna lösas genom mer robusta och varierande sätt att publicera resultat, skrev Merriman. Att tillåta människor att argumentera i god tro och presentera resultat snabbt skulle vara fördelaktigt, och upptäckta fel kunde korrigeras senare. Dessutom, tillåta författares versioner av artiklar att visas online innan, eller samtidigt med granskade versioner, gör att fler idéer kan delas brett. Han förespråkar också att tidskrifter med öppen tillgång utökas för att demokratisera kunskap i motsats till privatiseringen av forskning.

Framför allt, att anta mer redaktionella tillvägagångssätt inom akademisk publicering inom samhällsvetenskap kan ta itu med många av de aktuella frågorna samtidigt som man behåller det som processen blir rätt, sa Merriman. Medan dubbelblind peer review är motiverad som en metod för att producera kunskap, förståelse för att det är en ny utveckling och inte en hundra år hedrad guldstandard kan hjälpa nya idéer för att dela stipendier att komma fram.

"Jag tror att det är lätt att vänja sig vid tanken att ofta utvärderas utan att reflektera över om det verkligen är den bästa metoden, eller varför det blev till, Merriman sa. "Att veta om de historiska olyckorna kan göra det klart att denna metod inte är oundviklig. Det finns delar värda att försvara, och jag tror åtminstone att ha fler redaktionella tillvägagångssätt kan hjälpa. Akademin är full av smarta människor som jag är säker på har utmärkta idéer om hur man delar kunskap med världen."