När det gäller att publicera den mest effektfulla vetenskapliga forskningen och identifiera de bästa kommande forskningsvägarna, det krävs en för att känna en.

Det är vad Northwestern University forskare fann när de analyserade nästan 6 miljoner citeringar bland mer än 156, 000 publicerade vetenskapliga artiklar.

Medan de flesta forskare citerar äldre, väletablerade tidningar inom sitt område, mycket citerade artiklar — artiklar som andra publicerade artiklar citerar oftast och därför anses framgångsrika — citerar också mer arbete som har publicerats relativt nyligen.

Faktiskt, det citerade verket fortsätter att bli mycket citerat självt, visar att toppforskare och ingenjörer är skickliga på att satsa på goda framtidsutsikter.

"Man kan säga att de bästa forskarna också har den bästa vetenskapliga smaken, sa Luís Amaral, Erastus Otis Haven professor i kemisk och biologisk teknik vid Northwesterns McCormick School of Engineering och huvudförfattare till forskningen.

Amaral och hans medförfattare publicerade dessa och andra resultat från analysen idag (15 april) i tidskriften Naturen Mänskligt beteende .

Förstå placeringen av citat

När forskare och ingenjörer publicerar vetenskapliga artiklar, de presenterar inte bara sina resultat, men även citera tidigare publicerade arbeten på området. När forskning citeras, det ses ofta som ett tecken på prestation för den citerade tidningen, tidskriften som den publicerades i och forskaren som utförde arbetet. Om det citeras tillräckligt många gånger, alla tre kan hänvisas till som "högt citerade".

Men att citera en forskningsartikel är inte nödvändigtvis ett stöd för det. Citat kan också användas för att ge bakgrund, identifiera metodik eller till och med erbjuda korrigering eller kritik av uppsatsen.

För att bättre förstå sammanhanget där artiklarna citeras, Amaral och hans medarbetare undersökte mer än 156, 000 artiklar i Public Library of Science (PLOS) tidskrifter mellan 2005 och 2016. Eftersom dessa tidskrifter är öppna, forskarna skulle kunna undersöka hela texten för att bättre förstå vad som citeras, och var i tidningen citaten förekommer. Det är viktigt, eftersom citat förekommer i alla fyra avsnitten av en standardforskningsuppsats:introduktion, metoder, resultat och diskussioner.

Forskarna fann att 74 procent av citaten dök upp i introduktions- och diskussionssektionerna, där sådana citat ofta inte nödvändigtvis är ett stöd. Inledningen ger ofta bakgrund om området och citerar äldre tidningar, medan diskussionen refererar till områdets framtid och ofta citerar yngre tidningar. Forskarna fann att citat i metodsektionen var de mest citerade, såväl som den äldsta. Det beror troligen på att det ofta finns bred enighet inom området om vilka experimentella metoder som är mest lämpliga.

"Papper som beskriver nya forskningsmetoder får vanligtvis mycket uppmärksamhet och kommer att få många citat, sa Julia Poncela-Casasnovas, postdoktor i Amarals grupp och medförfattare till forskningen.

Citerar den bästa forskningen tidigt

När forskarna spårade citaten från PLOS-artiklarna till deras ursprungliga artiklar med hjälp av Web of Science - en samling av 60 miljoner vetenskapliga artiklar - fann de att mycket citerade artiklar inte enhetligt citerade bara de klassiska artiklarna inom området. Istället, de citerade tidningar som var mycket yngre - 2 till 4 år yngre i genomsnitt, beroende på papperssektionen. Det betyder att författare till vetenskapliga artiklar i allmänhet är uppdaterade om den senaste vetenskapliga litteraturen inom sitt område.

Inte bara är referensartiklarna yngre - forskarna fann att de citerade artiklarna själva ofta skulle bli mycket citerade artiklar.

"Forskare av bra tidningar är bättre på att välja bra referenser, " sade Poncela-Casasnovas. "De verkar vara bra på att hitta den bästa forskningen tidigt, och alla andra kommer att följa efter."

Debatt om fördelarna med citat

Denna forskning skulle kunna bidra till debatten om fördelarna med att räkna citat, säger forskarna. Eftersom majoriteten av citaten förekommer i introduktions- och diskussionssektionerna – där deras meriter inte nödvändigtvis stöds – kanske dessa citat kan vägas mindre än de i metodavsnittet, där ett citat mer säkert är ett stöd.

Denna debatt kommer bara att fortsätta i framtiden, eftersom mer än 1 miljon vetenskapliga artiklar publiceras varje år. Nästa steg, kanske, skulle vara att använda naturlig språkbehandling för att bättre förstå de exakta sammanhangen där varje citat görs.

"Vi behöver ett bättre sätt att förstå hur meningsfull forskningen i dessa tidningar är, sa Martin Gerlach, en postdoktor i Amarals grupp och en medförfattare på tidningen.