Enligt de senaste forskningsresultaten, förekomsten av enkla bindestreck i titlarna på akademiska uppsatser påverkar citeringsstatistiken negativt, oavsett kvaliteten på artiklarna. Fenomenet gäller alla större ämnesområden. Således, citeringsantal och tidskriftspåverkansfaktorer, används ofta för professorsutvärderingar vid universitet över hela världen, är opålitliga.

Detta genombrottsfynd utgör en grundläggande utmaning för spelets regel när det gäller att fastställa bidragen från tidningar, tidskrifter, och professorer. Det avslöjas i en artikel med titeln "Metamorphic Robustness Testing:Exposing Hidden Defects in Citation Statistics and Journal Impact Factors, " av Zhi Quan Zhou, T.H. Tse, och Matt Witheridge, nyligen publicerad i IEEE-transaktioner på mjukvaruteknik , den bästa tidskriften på området.

T.H. Tse är hedersprofessor i datavetenskap vid University of Hong Kong (HKU). Zhi Quan Zhou fick en Ph.D. från HKU och är för närvarande docent i mjukvaruteknik vid University of Wollongong, Australien. Matt Witheridge är en Ph.D. student vid University of Wollongong.

Scopus och Web of Science är de två ledande citeringsindexeringssystemen. Scopus tillhandahåller citeringsstatistiken för att stödja Times Higher Education World University Rankings och QS World University Rankings. Web of Science tillhandahåller tidskriftens effektfaktor som stöder rankningen av stora tidskrifter. På grund av vikten av dessa två indexeringssystem, det är viktigt att säkerställa deras kvalitet. Särskilt, robusthetstestning avser verifiering av systemens förmåga att hantera felaktiga inmatningar eller oväntade situationer. Till exempel, kan indexeringssystemet hantera en hänvisning korrekt om det finns ett mindre stavfel när man citerar papperstiteln?

Professor Tse och teammedlemmar föreslog en innovativ metod som heter "metamorphic robustness testing" för att verifiera Scopus och Web of Science. Den djupgående studien avslöjade robusthetsdefekter i båda systemen som kan ge upphov till felaktiga citeringsräkningar för artiklar med bindestreck i titlarna, så att de journaleffektfaktorer som sedan beräknas är problematiska.

Tillbaka 2015, Letchford och kollegor genomförde en storskalig studie om Scopus, och fann att tidningar med kortare titlar tenderade att citeras mer än de med längre titlar.

Tvärtom, Professor Tse och det nuvarande teamet finner att det faktiskt är antalet bindestreck i titeln som fungerar som den mer dominerande faktorn för citeringsräkningar. Vanligtvis, antalet bindestreck är korrelerat till en artikels titellängd, vilket ger feltolkningen att citat räknas beror på titellängden.

Citeringsmetoder varierar mellan ämnesområden. Publikationer inom vissa områden kan ha systematiskt högre citeringsantal än inom andra områden. Till exempel, man kan hävda att tidningar inom kemi (där papperstitlar ofta bär bindestreck som en del av den kemiska nomenklaturen) endast får ett relativt begränsat antal citeringar, ger upphov till en falsk negativ korrelation mellan bindestreck och citat. Därav, teamet genomförde fokuserade studier på tidskrifter inom specifika ämnesområden. Resultaten indikerade att bindestreck negativt påverkar antalet citeringar i artiklar även om studien bara är begränsad till en viss disciplin.

För att bygga vidare på resultaten på artikel- och disciplinnivå, teamet undersökte effekten av bindestreck i papperstitlar på tidskriftsnivå. Journal impact factor (JIF) är ett vanligt mått för att bestämma citeringsfrekvensen för en akademisk tidskrift. Det används ofta för att representera den relativa betydelsen av en tidskrift inom sitt område. En fältövergripande studie inom mjukvaruteknik visar att de högre JIF-rankade tidskrifterna publicerar en lägre andel artiklar med avstavade titlar.

Teamet genomförde vidare en analys av forskningens giltighet för att undvika att hamna i fällan att likställa korrelation med orsakssamband.

"Våra resultat ifrågasätter den allmänna uppfattningen av akademin, regeringar, och finansieringsorgan som citering räknas är ett tillförlitligt mått på bidragen och betydelsen av papper. Faktiskt, de kan förvrängas helt enkelt av förekomsten av bindestreck i artikeltitlar, vilket inte har någon betydelse för forskningens kvalitet. Liknande, våra resultat utmanar också giltigheten av tidskriftspåverkansfaktorer, sade professor Tse.

"Dessa överraskande resultat är av intresse inte bara för professorer som söker tjänstgöring eller befordran, men också till ledande befattningshavare som presidenter, dekaner, och huvuden. De är tillämpliga på alla fakulteter på alla universitet, " han lade till.