Tidigare i år, Den franske läkaren och mikrobiologen Didier Raoult skapade ett uppror i media över sin kontroversiella marknadsföring av hydroxiklorokin för att behandla COVID-19. Forskaren har länge pekat på hans växande publikationslista och höga antal citeringar som en indikation på hans bidrag till vetenskapen, allt sammanfattat i hans "h-index".

Kontroversen om hans senaste forskning ger en möjlighet att undersöka svagheterna i h-index, ett mått som syftar till att kvantifiera en forskares produktivitet och inverkan, används av många organisationer för att utvärdera forskare för befordran eller finansiering av forskningsprojekt.

Uppfanns 2005 av den amerikanske fysikern John Hirsch, Hirsch-index eller h-index, är en viktig referens för många forskare och chefer i den akademiska världen. Det främjas och används särskilt inom biomedicinska vetenskaper, ett område där det enorma antalet publikationer gör varje seriös kvalitativ bedömning av forskares arbete nästan omöjlig. Denna påstådda kvalitetsindikator har blivit en spegel framför vilken forskare beundrar sig själva eller hånar sina kollegors och rivalers ynka h-index.

Även om experter inom bibliometri - en gren av biblioteks- och informationsvetenskap som använder statistiska metoder för att analysera publikationer - snabbt har påpekat den tveksamma karaktären hos denna sammansatta indikator, de flesta forskare verkar inte alltid förstå att dess egenskaper gör det till ett långt ifrån giltigt index för att seriöst och etiskt bedöma publikationers kvalitet eller vetenskapliga inverkan.

Promotorer av h-index begår ett elementärt logiskt fel. De hävdar att eftersom Nobelpristagare i allmänhet har ett högt h-index, måttet är en giltig indikator på forskarnas individuella kvalitet. Dock, om ett högt h-index verkligen kan associeras med en nobelpristagare, detta bevisar inte på något sätt att ett lågt h-index nödvändigtvis är förknippat med en forskare med dålig status.

Verkligen, ett till synes lågt h-index kan dölja en hög vetenskaplig inverkan, åtminstone om man accepterar att den vanliga måttenheten för vetenskaplig synlighet återspeglas i antalet mottagna citeringar.

Gränser för h-index

Definierat som antalet artiklar N av en författare som var och en har fått minst N citat, h-indexet begränsas av det totala antalet publicerade artiklar. Till exempel, om en person har 20 artiklar som var och en citeras 100 gånger, hennes h-index är 20 – precis som en person som också har 20 artiklar, men var och en citerade endast 20 gånger. Men ingen seriös forskare skulle säga att de två är lika eftersom deras h-index är detsamma.

Det mest ironiska i h-indexets historia är att dess uppfinnare ville motverka påståendet att antalet publicerade artiklar representerade en forskares inverkan. Så, han inkluderade antalet citeringar som artiklarna fick.

Men det visar sig att en författares h-index är starkt korrelerat (upp till cirka 0,9) med hans totala antal publikationer. Med andra ord, det är antalet publikationer som driver indexet mer än antalet citeringar, en indikator som fortfarande är det bästa måttet på vetenskapliga publikationers synlighet.

Allt detta är välkänt för experter inom bibliometri, men kanske mindre för forskare, chefer och journalister som låter sig imponeras av forskare som paraderar sitt h-index.

Raoult mot Einstein

I en nyligen genomförd undersökning av Raoults forskningsverksamhet av den franska tidningen Médiapart , en forskare som hade varit medlem i utvärderingskommittén för Raoults laboratorium sa:"Det som slog henne var Didier Raoults besatthet av sina publikationer. Några minuter innan utvärderingen av hans enhet började, det första han visade henne på sin dator var hans h-index." Raoult hade också sagt in Le Point tidskriften 2015 att "det var nödvändigt att räkna antalet och effekterna av forskarnas publikationer för att bedöma kvaliteten på deras arbete."

Så låt oss ta en titt på Raoults h-index och se hur det kan jämföras med, säga, det av en forskare som anses vara den största vetenskapsmannen under förra seklet:Albert Einstein.

I Web of Science-databasen, Raoult har 2, 053 artiklar publicerade mellan 1979 och 2018, efter att ha fått totalt 72, 847 citat. Hans h-index beräknat från dessa två siffror är 120. Vi vet, dock, att värdet av detta index kan ökas på konstgjord väg genom självciteringar av författare – när en författare citerar sina egna tidigare artiklar. Databasen indikerar att bland de totala citat som tillskrivs artiklarna som är medförfattare av Raoult, 18, 145 kommer från artiklar som han är medförfattare till. Dessa självciteringar uppgår till totalt 25 procent. subtrahera dessa, Raoults h-index sjunker 13 procent till ett värde av 104.

Nu, låt oss undersöka fallet med Einstein, som har 147 artiklar listade i Web of Science-databasen mellan 1901 och 1955, hans dödsår. För hans 147 artiklar, Einstein har fått 1, 564 citat under hans livstid. Av detta totala antal citeringar, bara 27, eller ynka 1,7 procent, är självcitat. Nu, om vi lägger till citaten som gjorts till hans artiklar efter hans död, Einstein har fått totalt 28, 404 citat mellan 1901 och 2019, vilket ger honom ett h-index på 56.

Om vi ​​måste förlita oss på den så kallade "objektiva" mätningen som tillhandahålls av h-index, vi tvingas sedan dra slutsatsen att Raoults arbete har dubbelt så hög vetenskaplig effekt som Einsteins, fotonens fader, begränsade och allmänna relativiteter, Bose-Einstein-kondensationen och fenomenet med den stimulerade emissionen vid lasrarnas ursprung.

Eller kanske är det enklare (och bättre) att dra slutsatser, som redan föreslagits, att denna indikator är falsk?

Man bör notera den betydande skillnaden i antalet totala citeringar som var och en av dessa forskare fått under sin karriär. De har uppenbarligen varit aktiva vid mycket olika tidpunkter, och storleken på forskarsamhällen, och därför antalet potentiella citerande författare, har vuxit avsevärt under det senaste halvseklet.

Även disciplinära skillnader och samarbetsmönster måste beaktas. Till exempel, teoretisk fysik har mycket färre bidragsgivare än mikrobiologi, och antalet medförfattare per artikel är mindre, vilket påverkar måttet på forskarnas produktivitet och inverkan.

Till sist, det är viktigt att notera att påståendet:"h-indexet för person P är X, "har ingen mening, eftersom indexets värde beror på innehållet i databasen som används för dess beräkning. Man borde snarare säga:"H-indexet för person P är X, i databasen Z." Därför enligt Web of Science-databasen, som endast innehåller tidskrifter som anses vara seriösa och ganska synliga inom det vetenskapliga området, Raoults h-index är 120. Å andra sidan, i den kostnadsfria och därför lättillgängliga databasen för Google Scholar, hans h-index – det som oftast upprepas i media – går upp till 179.

Talfetischism

Många vetenskapliga samfund dyrkar h-indexet och denna fetischism kan få skadliga konsekvenser för den vetenskapliga forskningen. Frankrike, till exempel, använder ett Système d'interrogation, de gestion et d'analyse des publications scientifiques för att bevilja forskningsmedel till dess biomedicinska vetenskapslaboratorier. Den baseras på antalet artiklar som de publicerar i så kallade high impact factor-tidskrifter. Som rapporterats av tidningen Le Parisien , den frenetiska takten i Raoults publikationer gör att hans heminstitution kan tjäna mellan 3, 600 och 14, 400 euro årligen för varje artikel som publiceras av hans team.

Sunt förnuft bör lära oss att vara försiktiga med förenklade och endimensionella indikatorer. Att bromsa den galna takten för vetenskapliga publikationer skulle säkerligen få forskare att tappa intresset för h-indexet. Mer viktigt, att överge det skulle bidra till att producera vetenskapliga artiklar som kommer att bli färre till antalet, men säkert mer robust.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.