Ny forskning från Queen Mary University of London tyder på att när det gäller storskaliga forskningsutvärderingar som Research Excellence Framework (REF), Peer reviews skulle vara mer kostnadseffektivt om det riktades till publikationer som inte förekommer i framstående tidskrifter.

Forskningen visar att peer reviews och bibliometrisk analys bör ses som komplementära bedömningssätt. Forskarna föreslår att inriktning av peer reviews på publikationer vars kvalitet inte entydigt kan klassificeras med bibliometrisk analys skulle vara mer effektivt för att bedöma forskningsstandarder vid brittiska universitet och en bättre användning av offentliga medel.

Utvärdera forskning

Forskarna använde Storbritanniens REF-övning 2014 för att studera attributen för topbetyg (fyrstjärniga) publikationer inom Economics and Econometrics. Även om officiella dokument innehåller sammanlagda poäng för varje institution, forskarna visar hur dessa aggregat kan användas för att sluta sig till poängen som tilldelats av REF-panelister till varje publikation.

Resultaten visar att denna poäng svarar på tidskriftsprestige mätt med Thomson Reuters Article Influence Score. Även om användningen av just detta mått motiveras av dess attraktiva egenskaper, och av tidigare forskning, olika mått på tidskriftspåverkan, såsom impact factor, används också bland forskare.

Flera ekonometriska analyser bekräftar det begränsade bidraget från andra publikationsattribut, som citat, till poängen som tilldelats av REF-panelister, och att publikationer i de främsta generalist- och topp-fem Economics-tidskrifterna otvetydigt tilldelas fyra stjärnor.

Konsekvenser för framtida utvärdering

Resultaten har viktiga implikationer för utformningen av framtida forskningsutvärderingar, annat än att informera diskussionen om 2021 års REF-omgång som pågår. Användningen av bibliometri i forskningsutvärdering har diskuterats intensivt, och REF-reglering förlitar sig på granskningar av experter som återspeglar oro för ansvarsfull användning av mätvärden.

Resultaten visar att åtminstone inom ekonomi och ekonometri, ett index över tidskriftens inverkan exakt approximerar experternas bedömning, särskilt för utdata publicerade i framstående tidskrifter.

Dr Marco Ovidi, från Queen Mary's School of Economics and Finance, som var medförfattare till studien, säger att deras "forskning visar att, i ekonomi och ekonometri, klassificeringen av 2014 års REF-forskningsresultat gjorda av experter ligger mycket nära den klassificering som man skulle få genom att använda en bibliometrisk indikator för tidskriftseffekt."

"Skillnaderna är särskilt små för forskningsresultat som publicerats i tidskrifter inom ekonomi med stor genomslagskraft. Våra resultat tyder på att den kostsamma processen med referentgranskningar bör fokuseras på att hitta dolda pärlor i tidskrifter med relativt lägre anseende snarare än överskattade resultat i topprankade butiker. "

"Vi tror att våra resultat bör vara av intresse för akademiska institutioner och beslutsfattare inom forskningspolitiken som nästa forskningsbedömning, 2021 års REF, är på gång."