h -index, g -index, i 10 index, m -kvot, Journal Impact Factor, Altmetrics … det har länge varit en svårlöst fråga som plågar forskarsamhället – hur man bedömer de relativa meriter av forskning objektivt över discipliner och gör rättvisa jämförelser mellan tidiga karriärer och etablerade forskare, olika kön, och även olika forskningsdiscipliner.

Nu, Ekolog Professor Corey Bradshaw från Flinders University och kollegor har utvecklat ett verktyg för att bedöma forskningsresultat mer rättvist; en som kommer att jämna ut villkoren inte bara mellan olika discipliner, men över kön och karriärvägar, stryka ut rynkorna för störningar som mammaledighet.

Ringde Epsilon Index , uppkallad efter den grekiska bokstaven ε används för att symbolisera rester i statistik, den tar hänsyn till de många skillnaderna i forskningsutrymmet för att leverera en mer rättvis jämförelse.

En själverkänd statistik vinkade, Professor Bradshaw har publicerat arbetssättet ε-index i journalen med öppen tillgång PLoS One .

"En av de bestående utmaningarna för forskare är strävan att mäta kvantiteten och kvaliteten på deras produktion rättvist, säger professor Bradshaw.

"Det finns ingen enkel process för att jämföra de relativa styrkorna hos forskare inom olika discipliner - vissa tenderar bara att ha färre citat än andra.

Sedan är det kön. Forskningspublikationer för kvinnor kan sjunka under mammaledigheten till exempel, påverkar upplevd prestation, även om deras förmåga – och deras forskning – inte är mindre lysande. Kvinnor tenderar inte heller att erbjudas samma möjligheter som män än idag, så de är orättvist rankade mot män för de flesta befintliga mätvärden.

"Där forskare befinner sig i sin karriär, oavsett om det är spännande nykomlingar eller framstående professorer, kan också ha en stark effekt på aktuella mätvärden.

'De Epsilon Index är ett nytt sätt att minska systemiska fördomar vid bedömning av forskarkvalitet via citeringar genom att tillhandahålla karriärstadiet, kön, och möjlighetskorrigeringar av citeringsbaserade prestationsstatistik, ' han säger.

Verktyget är fritt tillgängligt som en färdig app – slå helt enkelt in lite data för ett urval av forskare från databaser med öppen källkod som Google Scholar, och det gör det tunga lyftet för att producera resultatet, möjliggör jämförelse av forskare i alla skeden av deras karriär och från alla discipliner i samma skala.

Det är en välsignelse för alla som vill använda ett objektivt mått för att rangordna forskare, oavsett om det gäller bidragsansökningar, jobbintervjuer, kampanjer och utmärkelser, eller till och med som en personalprestationsindikator.

Metoden att utveckla och testa ε-index var i sig en övning i multidisciplinaritet och speciellt utformad för att säkerställa en jämn könsfördelning.

Verktyget testades och förfinades genom samarbete om provdata med en arkeolog – biträdande professor Dr. Stefani Crabtree (Utah State University/Santa Fe Institute), en geolog och paleontolog för ryggradsdjur – professor Kate Trinajstic (Curtin University), en kemist – professor Justin Chalker, en mikrobiolog - professor Bart Eijkelkamp, en paleontolog – professor John Long, en ögonläkare – professor Justine Smith, och en evolutionsbiolog – professor Vera Weisbecker (alla Flinders University).

Urvalet bestod av 480 forskare med Google Scholar-profiler, stratifierad jämnt i åtta discipliner (arkeologi, kemi, ekologi, evolution och utveckling, geologi, mikrobiologi, oftalmologi, paleontologi), tre karriärstadier (tidig-, mitten-, sen karriär), och två kön.

Professor Justine Smith, som har varit en "superstar of STEM" som aktivt främjar kvinnors engagemang i vetenskap, teknologi, teknik och matematik, hoppas att ε-index kommer att göra skillnad för hur kvinnor i vetenskapen uppfattas, och i sin tur uppmuntra fler kvinnor att börja vetenskapen.

”Att mer exakt bedöma kvinnors bidrag till vetenskapen och fira deras framgångar är avgörande för att uppmuntra framtida generationer flickor till vetenskapen; som man brukar säga, "du kan inte vara vad du inte kan se". De ε-index ger mer rättvisa och större synlighet åt kvinnors prestationer, och att det gör det inom en rad olika discipliner gör det särskilt fördelaktigt, säger professor Smith.

Hur det fungerar

Det nya indexet är en rankningsalgoritm som kan standardiseras över discipliner, kan korrigeras för karriäravbrott, och ger en provspecifik tröskel som kan avgöra om individuell prestation är större eller lägre än förväntat i förhållande till de andra forskarna i ett urval.

Använd antingen R-koden eller onlineappen, det krävs bara fyra uppgifter från offentliga databaser som Google Scholar eller Scopus för att beräkna en forskares ε -index:

• antalet förvärvade citeringar för forskarens toppciterade artikel
• de i 10-index (antal artiklar med minst 10 citat)
• de h -index, och
• året då forskarens första peer-reviewed artikel publicerades.

Verktyget tillhandahåller också en enkel metod för att skala index över discipliner med varierande citeringstrender ( ε ′-index) för att möjliggöra mer rättvisa jämförelser av forskare inom olika områden.

De ε -index tillåter enkelt benchmarking av undergrupper av forskare till endast kvinnor eller män för att justera tröskeln så att rangordningen är mer jämförbar mellan dessa två kön. Alternativt Att dela upp könen och jämföra dem separat följt av en kombinerad omrangering tar effektivt bort könsbias i ε -index, vilket är svårt eller omöjligt att göra med andra rankningsmått.

"Inget rankningsmått är perfekt, men ε-index är ett stort steg framåt när det gäller att övervinna fördomar och ge en tydligare, en mer rättvis bild av forskningsresultat över hela linjen, säger professor Bradshaw.