Forskningseffekt mäts på olika sätt. Dock, dessa indikatorer är ofta baserade på tvivelaktiga beräkningar, säger Ludo Waltman.

Politiker försöker på olika sätt utvärdera hur väl forskare och forskningsinstitutioner presterar. Hur ofta citeras en forskare av kollegor inom området? Hur stor är hans eller hennes inverkan, mätt i h-index? Och hur bra presterar ett universitet i jämförelse med andra institutioner hemma och utomlands?

Dock, dessa indikatorer och rankningar är ofta baserade på tvivelaktiga beräkningar, säger Ludo Waltman i sin invigningsföreläsning. Denna professor i kvantitativa vetenskapsstudier hävdar att universitetsrankningar kombinerar inkompatibla indikatorer. "De här rankningarna mäter dels storleken på universiteten och dels deras relativa prestationer i förhållande till deras storlek. Dessa perspektiv slängs sedan i en hög. Då förstår ingen riktigt vad exakt rankingen säger oss." Andra rankningar jonglerar också med siffrorna.

Enligt Waltman, faran är att förenklade indikatorer får en negativ effekt på forskningspolitiken, till exempel om forskare eller forskningsinstitutioner bedöms utifrån dessa indikatorer. Han menar att det behövs en högre nivå av kvantitativ läskunnighet för att åstadkomma förändring. En bättre förståelse för kvantitativa analyser – såväl som för de slutsatser som dras från dessa analyser – skulle göra en värld av skillnad.

Waltman menar att kvantitativ forskning sätter för mycket värde på statistisk signifikans, "Vilket innebär att forskningsresultat presenteras på ett onaturligt, binärt sätt, så betydelsefull eller inte." Dessutom, i dessa beräkningar, korrelation förväxlas ofta med kausalitet. Mycket skulle kunna vinnas på utbildning som ökar nivåerna av kvantitativ läskunnighet, säger Waltman. "Användningen av datadrivna metoder i det specifika sammanhanget för policyutveckling verkar inte få den systematiska uppmärksamhet som den förtjänar."

"Vart som helst, möjlig, forskningspolitiken bör använda sig av kvantitativ vetenskaps resultat, " säger Waltman i sin invigningsföreläsning. "Men det är orealistiskt att tro att vi kan ge tydliga, kvantitativa svar på de många frågor som finns. Jag tycker att vi bör gå bort från tanken att vi kan svara på den här typen av komplexa frågor med ett enkelt ja eller nej."