Forskare är vana vid att utvärderas utifrån index som effektfaktorerna för de vetenskapliga tidskrifter där de publicerar artiklar och deras antal citeringar. Ett team av 14 naturvetare från nio länder gör nu uppror mot denna praxis, hävdar att tvångsmässig användning av index skadar vetenskapens kvalitet.

"Vårt budskap är ganska tydligt:​​Akademiker bör sluta oroa sig för mycket om index. Istället, vi borde arbeta mer med stipendiet och forskningens kvalitet, säger professor Colin Chapman från institutionen för antropologi vid George Washington University i Washington.

"Det överdrivna beroendet av index tar uppmärksamheten bort från kvaliteten på vetenskapen. Systemet fungerar utmärkt för erfarna forskare som Colin Chapman och jag, men yngre forskare och deras karriärer lider på grund av hur index används idag, ", tillägger professor Nils Chr. Stenseth vid universitetet i Oslo.

Index mäter inte kvalitet

Chapman och Stenseth är två av författarna bakom en uppmärksammad artikel i den vetenskapliga tidskriften Proceedings of the Royal Society B , om "spelen akademiker spelar" och konsekvenserna för akademins framtid. Ett av problemen med index är att folk kan spela spel med dem för att förbättra sina poäng, enligt den nya tidningen.

Grunden för upproret är att forskningen är ett starkt konkurrensutsatt yrke där utvärdering spelar en central roll. När ett team av forskare - forskare vanligtvis inte arbetar ensamma nu för tiden - har gjort en ny upptäckt, de skriver en utförlig akademisk artikel om metoden och resultaten. Nästa steg är att skicka artikeln till en vetenskaplig tidskrift, som kan acceptera eller förkasta papperet.

Tidskriftens redaktörer skickar vanligtvis artikeln till en liten grupp oberoende vetenskapliga experter. Baserat på deras recensioner, redaktionen avgör om tidningen ska accepteras eller avvisas. Granskarna och redaktörerna kan också föreslå ändringar innan tidningen accepteras.

När den vetenskapliga artikeln äntligen publiceras, andra forskare inom närliggande områden kan börja citera artikeln i sina egna verk. Ett stort antal citeringar uppfattas ofta som ett mått på vetenskaplig kvalitet.

Processen är inte bara bra

Sett från utsidan, denna process verkar bara bra. Men under de senaste 10 eller 15 åren, processen har börjat nystas upp. Vetenskapens kvalitet har blivit mindre viktig, enligt Chapman, Stenseth, och deras medförfattare. Istället, den allmänna uppmärksamheten fokuserar för mycket på en liten uppsättning lättmätbara index:effektfaktorer och individuella h-index, utöver antalet citeringar.

Det finns många vetenskapliga tidskrifter där ute, och en handfull av dem är så prestigefyllda att deras namn är kända för allmänheten. Tidskrifterna Natur , Vetenskap , och The Lancet är bland de mest kända. Om en ung forskare inom naturvetenskap eller medicinsk vetenskap kan publicera en artikel i någon av dessa tidskrifter, hans eller hennes karriär kan få ett enormt uppsving.

De mest prestigefyllda tidskrifterna har också höga påverkansfaktorer, som definieras som genomsnittligt antal citeringar per tidning publicerad under de föregående två åren. En enskild forskares h-index tar hänsyn till forskarens bäst citerade artiklar och antalet citeringar som de har fått.

"Poäng för dessa index har stora konsekvenser. T.ex. i vissa länder och discipliner, publicering i tidskrifter med påverkansfaktorer lägre än 5,0 anses officiellt sakna värde, " enligt Royal Societys handlingar papper. Författarna påpekar också att det inte är ovanligt att höra att de enda artiklarna som räknas är de i tidskrifter med en impact factor som ligger över ett godtyckligt värde. Eller värre, att publicering i lägre tidskrifter försvagar CV:n.

Även ett fel kan skapa citat

Ett generellt problem är att indexen kan manipuleras på sätt som gör dem näst intill värdelösa som ett mått på vetenskaplig prestation eller kvalitet. Professor Stenseth var med i en utvärderingskommitté för Europeiska forskningsrådet för cirka 10 år sedan, och han är fortfarande förvånad över upplevelsen.

"Vi diskuterade användningen av index och delade snart upp oss i två grupper. du var tvungen att göra mycket manuellt arbete för att beräkna antalet citeringar. De av oss som inte ansåg antalet citat som mycket viktigt och läste de faktiska artiklarna istället, " berättar professor Stenseth.

Det blev en vattendelare för Stenseth, eftersom de citeringsskeptiska forskarna snart upptäckte att några av de mest citerade artiklarna var kommentarer. En kommentar innehåller som regel inga nya upptäckter, självklart.

"Men det värsta var att vi upptäckte att vissa tidningar var mycket citerade eftersom det fanns ett fel i dem! Många tidningar identifierade felet i tidningen, men det var fortfarande listat som ett citat! Det är en av anledningarna till att jag insisterar på att ett stort antal citeringar inte är ett bevis på utmärkt vetenskaplig kvalitet, tillägger Stenseth.

Professor Chapman i Washington, pratar med professor Stenseth i Oslo via Skype, bekräftar att han har haft liknande upplevelser.

"Så här fungerar systemet. Sådana observationer kan verka nästan roliga, men de är också hemska. Och ledsen, " kommenterar Chapman.

Index som surrogatmått

Författarna till den nya Royal Societys handlingar tidningen är inte ensamma om sin kritik. San Francisco-deklarationen om forskningsutvärdering (DORA) kom från ett möte med American Society for Cell Biology 2012, och rekommenderar att tidskriftseffektfaktorer inte bör användas som ett surrogatmått på en enskild forskningsartikel, att bedöma en enskild forskares bidrag, inte heller vid anställning, befordran eller finansieringsbeslut. Ett 15-tal, 000 individer och 1, 550 organisationer över hela världen har skrivit under denna upprop, men förändring har ännu inte kommit.

"Även om det finns en omfattande litteratur som kritiserar dessa index och deras användning, de används fortfarande i stor utsträckning på viktiga och karriäravgörande sätt. Detta måste stoppas, säger Colin Chapman.

Vetenskapen är avgörande

Colin Chapman och Nils Chr. Stenseth betonar att vetenskap och vetenskap är av största vikt i ett modernt samhälle.

"Det var därför vi gick in i den här branschen, för att upptäcka nya saker. Men vad som händer istället, är att vi hela tiden blir krossade av systemet. Systemet säger att vi inte ska bry oss om att förbättra vår vetenskap, vi borde istället bry oss om att öka våra index. Det är inte ett incitament för att skapa utmärkt vetenskap, " insisterar Chapman.

Uppsatsen innehåller en lista över möjliga spel akademiker kan spela – och kan behöva spela – för att förbättra sina index.

"Ett av de vanligaste spelen är att skriva ett papper med en lång lista med författare, som en slags ynnest. Tanken är att du kan vara på mitt papper, även om du inte gjorde ett riktigt bidrag, så kanske jag kan vara med på din tidning härnäst. Du kliar mig på ryggen, och jag ska skrapa din, " förklarar Chapman.

Ett annat spel är att forskare kan komma överens om att citera varandra:"Jag kan citera ditt papper om du citerar mitt." Förläggare har till och med organiserat "citationskarteller" där författare rekommenderas att citera artiklar från andra tidskrifter i kartellen.

"Jag skickade en artikel till en tidskrift för tillämpad ekologi för några år sedan. Uppsatsen accepterades, och redaktören sa till oss att vi skulle citera ytterligare fyra eller fem tidningar, allt från den journalen. Det ökar förstås tidskrifternas påverkansfaktor, eftersom det ökar citeringen av tidningar i den tidskriften. Detta har varit fallet för många tidskrifter och anses nu vara en dålig praxis, " förklarar Stenseth.

Colin Chapman och Nils Chr. Stenseth har fått en del stöttande reaktioner på sin tidning.

"En av mina kollegor skrev en blogg, kritiserar oss för att vi skriver något som kan vara nedslående för unga vetenskapsmän. Men vad vi verkligen försökte göra, var att göra unga forskare medvetna om det faktum att detta är ett felaktigt system som bör lagas, " kontrar Chapman.

"Min åsikt är att index, och hur de används, ta bort uppmärksamheten från vetenskapen. På vissa små fält, som av nödvändighet kommer att ha ett mycket lågt index, det är nästan omöjligt att få mycket höga citeringar även om forskningen är utmärkt och viktig, säger Stenseth.

"Istället, uppmärksamheten handlar om var din tidning publicerades, hur många citat det genererade, och tidskriftens påverkansfaktor, " han lägger till.

Författarna har också förslag på hur vi kan förbättra systemet.

"Det korta svaret är att akademiker borde sluta titta på index och återgå till att läsa tidningarna, " säger Chapman. Men akademiker kan inte göra det ensamma, om forskningsråd och andra finansiärer fortsätter att använda indexen som underlag för beslut om finansiering. Ett enkelt sätt att förbättra systemet är att forskningsråd inte ska fråga forskare om antalet citeringar när de lämnar ett forskningsförslag.

"Vi skulle vilja se förändringar i incitamentssystemen, belöna kvalitetsforskning och garantera insyn. Senior fakultet bör fastställa de etiska standarderna, mentorskap och institutionella utvärderingskriterier för att skapa de nödvändiga förändringarna, Chapman och Stenseth insisterar båda.

"Vi hoppas kunna väcka en diskussion som kommer att forma framtiden för akademin och flytta den i en mer positiv riktning. Forskare representerar några av de mest kreativa hjärnorna som kan ta itu med samhällets behov. Det är nu dags att skapa den framtid vi vill ha, avslutar de 14 forskarna som skrev artikeln i Royal Societys handlingar .