(Phys.org) —Bedömning och rangordning av forskningsinstitut är viktigt för att bevilja bidrag, rekrytera medarbetare, marknadsföra institut, och andra skäl. Men att hitta en rättvis och korrekt metod för att bedöma forskningsinstitutens prestanda är utmanande på grund av de många faktorerna inblandade, till exempel antalet publicerade artiklar och citat, otillförlitligheten i vissa citat, och det faktum att många artiklar har flera författare från olika institut med ojämlika bidrag.

I en ny studie publicerad i EPL , ett team av forskare från Kina vars medlemmar studerar komplexa system, datavetenskap, och fysik har utvecklat ett nytt tillvägagångssätt som kallas credit allocation method (CAM) för rankning av forskningsinstitut som svarar för alla dessa faktorer genom att använda många tusentals riktade nätverk.

"Till skillnad från andra mätvärden baserade på citat, vårt arbete tar hänsyn till citeringsnätverksstrukturen och ger ett sätt att rangordna kreditinstitutet för forskningsinstitut för olika forskningsområden ur akademiskt rykte, "medförfattare Jian-Guo Liu, vid University of Shanghai för vetenskap och teknik, Shanghai University of Finance and Economics, och universitetet i Fribourg i Schweiz, berättade Phys.org .

Grundtanken är att varje riktat nätverk består av ett slumpmässigt valt papper som är länkat till alla papper som har citerat det papper. Sedan länkas var och en av dessa citerande papper till alla andra papper som den citerar, så länge som dessa artiklar har minst en författare från ett av samma forskningsinstitut som originalet. Genom att använda en formel som står för varje forskningsinstituts ordning (de som listas först i artikeln får mer kredit än de som listas senare), forskarna beräknade den kredit som tilldelades varje forskningsinstitut på grund av originalpapperet.

Efter att ha upprepat denna process för nästan en halv miljon papper inom fysik, med författare från cirka 19, 000 forskningsinstitut, forskarna övervägde ett annat problem som gör bedömningen av forskningsinstitut svår:citeringsdata är ofta opålitliga. Forskarna hänvisar till en nyligen genomförd studie som fann att mer än 30 % av forskningsartiklarna hade minst en felaktig citering, och att 10% av alla citat var felaktiga, vilket betyder att de citerade papper inte tydligt stödde de uttalanden de var tänkta att stödja. För att lösa detta problem, forskarna slumpmässigt omkopplade några av länkarna i nätverken, skapa en artificiell störning avsedd att modellera felaktigheterna i citeringsdata.

På den slutliga rankingen, många av de högst rankade fysikforskningsinstituten som identifierats med den nya metoden motsvarade institut med högt anseende. Topp fyra totalt var University of California, Bell Labs, Max Planck Institute, och MIT. De fyra bästa i Kina var University of Science and Technology of China, Nanjing universitet, Peking University, och Tsinghua University.

Även om forskarna visade att den nya metoden överträffar andra metoder för att bedöma forskningsinstitut, de konstaterar att den har vissa brister. Särskilt, det tar inte hänsyn till det faktum att äldre tidningar tenderar att ha fler citat än nyare papper, så forskningsinstitut med längre historia tenderar att rankas högre. Forskarna planerar att ta itu med denna detalj i framtiden genom att redogöra för institutionens ålder.

"I framtida arbete, vi planerar också att undersöka citatnätverk för vissa specifika forskningsområden, som managementvetenskap, komplexitet, statistisk fysik, och datavetenskap, för att rangordna forskningsinstitutets kreditvärdighet för dessa områden, ", sa Liu. "Vi planerar också att utveckla en webbplats för att publicera rankningsresultaten för forskare över hela världen."

© 2017 Phys.org