Alltför ofta inom ekonomi, där du publicerar kan vara viktigare än vad du publicerar.

Det är teorin som undersöktes i en ny studie som författades av den nobelvinnande ekonomen James J. Heckman och Sidharth Moktan, en predoktor vid Center for the Economics of Human Development. Forskare vid University of Chicago fann att besittnings- och priskommittéer ofta baserar beslut på hur ofta kandidater publicerar i "topp fem" tidskrifter inom området. Denna praxis koncentrerar inte bara karriärutvecklingen i händerna på en utvald uppsättning redaktörer-av vilka många tjänar länge-utan gör det på bekostnad av innovativ ekonomisk forskning.

"Att förlita sig på publikationsräkningar i" topprankade "tidskrifter uppmuntrar till krass karriärism bland unga ekonomer, "Heckman sa." Det avlägsnar deras uppmärksamhet från grundforskning mot blatant strategisering om forskningsområden och gynnade ämnen för tidningsredaktörer med lång tid.

"Att förlita sig på rankningar snarare än att läsa för att främja och belöna unga ekonomer undergräver den väsentliga processen att bedöma och belöna banbrytande originalforskning."

"De fem bästa" hänvisar till de ledande ekonomiska tidskrifterna som är mest avgörande för unga forskares akademiska och yrkesmässiga framgång:The American Economic Review , Econometrica, de Journal of Political Economy , De Quarterly Journal of Economics och Granskningen av ekonomiska studier . Dessa tidskrifter väljs genom en process som väger citeringsräkningar till alla papper i tidskriften; med andra ord, det bedömer ett papper av företaget det håller.

Arbetspapperet från Heckman och Moktan, släpptes 1 oktober i National Bureau of Economic Research, fann att forskare som har skrivit en "topp fem" -artikel är 90 procent mer benägna att få tjänstgöring under ett visst år. Dessa siffror ballong till 260 procent för två sådana artiklar och 370 procent för tre.

"Både junior- och seniorlärare tar ofta upp de fem bästa när de utvärderar någon, "Moktan sa." Även om det är i en tillfällig konversation, de kommer att säga, 'Åh, hur många "toppfemmor" har de? "

Mätning av rollen som partiskhet

Att skriva för en tidskrift "topp fem" innebär mer än att bara producera bästa möjliga forskning, enligt Heckman och Moktan. Deras studie hävdar att för att optimera chanserna för placering, forskare uppmuntras att skräddarsy sitt arbete för enskilda redaktörer - som, medvetet eller inte, styrs av sina egna fördomar.

Förutom att spåra besittningsgrader, Heckmans och Moktans studie spårar författartillhörigheten i "topp fem" tidskrifter från 2000-16. Till exempel, Heckman sitter i redaktionen för Journal of Political Economy , som publiceras av University of Chicago Press. Kanske överraskande, det drog 14,3 procent av sina artiklar under den ovannämnda tidsperioden från författare kopplade till University of Chicago. De Quarterly Journal of Economics , som är redigerad vid Harvard University's Department of Economics, tog nästan en fjärdedel av sina artiklar (24,7 procent) från sina egna dotterbolag, plus ytterligare 13,9 procent av sina artiklar från Massachusetts Institute of Technology -dotterbolag.

I kontrast, de Översyn av ekonomiska studier , som har en högre omsättningshastighet på sin redaktion, har mycket svagare band till enskilda universitet. Från 2000-16, publikationen var starkast kopplad till New York University och Northwestern University affiliates, från vilka den drog 7,3 procent och 7,0 procent av artiklarna.

Problemets omfattning expanderar när universiteten använder "topp fem" tidskrifter som en proxy för att bestämma anställningstid. Det här är inte längre bara en fråga om vem som publiceras i vissa tidskrifter, författarna hävdar; snarare, brister i den redaktionella processen förstärks till karriärhinder - sådana som kan vara svåra för utomstående att övervinna utan kopplingar till "topp fem" -redaktörer och de domare de väljer.

"De fem bästa" har inte heller monopol på arbete av hög kvalitet. Enligt Heckman och Moktan, några av de mest inflytelserika arbetena inom ekonomi publiceras av andra tidskrifter. Även om de "fem bästa" artiklarna ger fler citat i genomsnitt, dessa siffror är snedställda av outliers. Dessutom, de högre forskare som förlitar sig på "topp fem" för att bedöma sina kollegor publicerar ofta inte själva i dessa tidskrifter när de väl är tillsatta. Lita på tidskrifterna, Heckman sa, inger försiktighet snarare än kreativitet hos unga forskare som är angelägna om att få anställningstid.

De "topp fem" tidskrifterna stimulerar forskare att fokusera på uppföljnings- och replikeringsarbete-forskning som är lätt att bedöma för omedelbar publicering, men som inte går framåt inom den ekonomiska vetenskapens gränser. Ofta, den typ av innovativa projekt som skulle utmana accepterade idéer är för långa eller datakrävande för att passa in i formatet "topp fem" tidskrifter.

"Forskning är i sig riskfylld, för att du försöker hitta svar på frågor som inte har lösts, "Sa Moktan." Ibland är svaren inte spännande. Men allvarliga bedömningar kräver att högre forskare läser papper och förstår dem, och varför den forskningen är viktig. "

Potentiella lösningar

Heckman och Moktan föreslår att tillsynskommittéer ägnar mer resurser åt att noggrant läsa publicerade och opublicerade artiklar, snarare än att förlita sig på tidningens rykte som ett substitut för noggrann läsning. Den metoden kan få varje enskild institution att bedriva mer okonventionell forskning i stället för att luta sig mot papper som har funnits genom "topp fem" publikationer. Att utöka poolen av inflytelserika publikationer utöver fem tidskrifter kan också förbättra problemet.

De föreslår också en mer radikal lösning:Att gå bort från konventionella tidskrifter till förmån för öppna källformat som arXIV och PLOS ONE , som används i hårda vetenskaper. En sådan förändring skulle ge forskare en möjlighet att dela sina idéer tidigare och få peer review i realtid-ett tillvägagångssätt som kan vara mer välkomnande för out-of-the-box-idéer.

"Det nuvarande systemet för publicering och belöning uppmuntrar inte kreativitet, "Heckman sa." Det fördröjer publicering och spridning av nya idéer. Det centraliserar makten i händerna på en liten grupp redaktörer, förhindrar öppen diskussion och kväver oenighet och debatt. Det måste ändras. "