I århundraden, vetenskapsmän och forskare har mätt inflytandet från individer och upptäckter genom citat, en grov statistik föremål för fördomar, politik och andra snedvridningar. En ny artikel ledd av Knowledge Lab vid University of Chicago beskriver ett annat sätt att hålla poäng inom vetenskapen – ett mer direkt mått på hur inflytelserika idéer sprider sig över stipendier och kultur.

Beräkningsmodellen kastar strålkastarljuset på arbete som förändrade vetenskapens väg men som har förblivit underskattat. Samma tillvägagångssätt kan också anpassas för att spåra inflytande i andra områden där det inte finns någon citeringskultur, som litteratur eller musik, sa författarna till tidningen som publicerades förra veckan i Proceedings of the National Academy of Sciences .

"Vi mäter hur mycket forskares och forskares skrifter påverkar diskussioner om idéer i framtiden, sa James Evans, chef för Knowledge Lab och professor i sociologi vid UChicago. "Inflytande är en politiserad process, de som får inflytande, få äran, och de som får äran får kapital för att göra nästa stora grej. Det här är första gången vi har en skärpt förmåga att identifiera inflytande, och även att diagnostisera sociala och strategiska influenser på citerande beteende."

Den nya artikeln kompletterar tidigare Knowledge Lab-forskning med hjälp av beräknings- och maskininlärningsmetoder för massiva textsamlingar, bidrag, recensioner, citat och vetenskapliga data för att studera hur upptäckter bildas, utvecklas och bli allmänt accepterad. Deras arbete presenterades nyligen i en recension i tidskriften Vetenskap , medförfattare av Evans, som beskrev hur datadrivna metoder har fördjupat förståelsen för den vetenskapliga processen och erbjudit nya insikter om hur man mer effektivt kan göra framtida viktiga upptäckter.

Går längre än citat

I teorin, referenser i en akademisk uppsats gör det möjligt för författare att kreditera sina föregångare, forskarna och arbetet som de byggde sin nya upptäckt på. Men i praktiken, citat väljs av många skäl - författare är mer benägna att citera sig själva, kraftfulla kollegor inom sitt område och forskare vid prestigefyllda institutioner, och är ofta partiska mot att citera nyare eller redan mycket citerade artiklar.

Trots dessa brister, många beräkningsstudier av vetenskapligt inflytande har använt citeringsposten som en användbar proxy. Den nya studien, ledd av tidigare Knowledge Lab-postdoktorn Aaron Gerow, visar en roman, djupare tillvägagångssätt, använda både den fullständiga texten i artiklar och extern information såsom författaridentitet, tillhörighet och tidskriftsrykte.

Genom att använda en beräkningsmetod känd som topic modeling – uppfunnen av medförfattaren David Blei från Columbia University – spårar modellen "diskursiv påverkan, "eller återkommande ord och fraser genom historiska texter som mäter hur forskare faktiskt pratar om ett område, istället för bara deras tillskrivningar. För att fastställa ett visst pappers inflytande, forskarna skulle statistiskt kunna ta bort det från historien och se hur den vetenskapliga diskursen skulle ha utvecklats utan dess bidrag.

"Vi kan inte bara ta reda på hur ämnen förändrades över tiden utan kan faktiskt simulera framtiden utan ett givet dokument från det förflutna, och titta på hur diskurs framåt var olika med och utan ett givet dokument, sa Gerow, nu biträdande professor vid Goldsmiths, University of London. "Citat är en typ av påverkan, och diskursiv påverkan är en annan sort. Ingen av dem är hela historien, men de arbetar tillsammans för att ge en bättre bild av vad som påverkar vetenskapen."

Att träna modellen på massiva textsamlingar från datorlingvistik, fysik, och över vetenskap och stipendium (JSTOR), författarna kvantifierar olika fördomar och urskiljer distinkta mönster av påverkan. Forskare som ihärdigt publicerade inom ett enda område var mer benägna att bli "kanoniserade" på ett sätt som tvingade andra att citera dem oproportionerligt i förhållande till deras tidningars diskursiva bidrag. Å andra sidan, upptäckter som korsade disciplinära gränser hade mer sannolikt överdriven diskursiv effekt men färre citeringar, troligtvis för att "ägaren" till idén och hennes allierade förblir socialt och institutionellt på avstånd från den citerande författaren.

Sleeping beautys och okända influencers

En intressant underkategori av papper som modellen upptäckte är känd som "sömniga skönheter, " eller tidningar som var relativt okända i flera år eller till och med decennier innan de upplevde ett sent antal citeringar. Till exempel, en uppsats från 1947 om grafen förblev obskyr och bortglömd fram till 1990-talet med ett återuppvaknande av forskningsintresse för materialet och ett eventuellt Nobelpris.

"Tidningar har en nyhetscykel, när många pratar om dem och citerar dem, och då är de inte längre nya nyheter, " sa Evans. "Vår modell visar att vissa tidningar har mycket mer inflytande än vad citat vanligtvis visar, som dessa 'sömniga skönheter, ' som inte hade mycket inflytande tidigt men som senare kommer att bli uppskattad och viktig."

Samma modell kan också användas för att spåra inflytande inom andra områden, som litteratur och musik, sa författarna. Text från dikter eller sångtexter, och även extratextuella egenskaper som strofstruktur eller ackordförlopp, skulle kunna matas in i modellen för att hitta underkända influencers och kartlägga spridningen av nya koncept och innovationer.

"Det finns en enorm mängd litterär kultur som slutar med att påverka alla möjliga saker, men som helt enkelt inte har en referensteknik som liknar citat, ", sa Evans. "Även om vi utvecklade och validerade denna modell på vetenskaplig text, nu kan vi använda den till allt, speciellt fall där det inte finns spår av påverkan utan mönster i själva innehållet. Det är som att trenda på Twitter, men där allt är Twitter. Det är det som är mest spännande för mig."