National Institutes of Health (NIH) investerade mer än 27 miljarder dollar i biomedicinsk forskning genom konkurrenskraftiga anslag under räkenskapsåret 2017. Dessa bidrag tilldelades baserat på poäng tilldelade av, och samtal mellan, expertgranskare.

Denna peer review-process är utformad för att fastställa de bästa förslagen att finansiera och är en grundfaktor för att dela ut dollar till vetenskapliga projekt med noggrant övervägande.

Men nya rön från University of Wisconsin-Madison forskare tyder på att granskare inte kan skilja de stora förslagen från de bara bra. I en detaljerad simulering av peer review-processen - register över verkliga recensioner är inte tillgängliga för studier - upptäckte forskare vid UW-Madisons Center for Women's Health Research och deras medarbetare att det inte fanns någon överenskommelse mellan olika granskare som gav samma förslag.

Resultatet är att, efter att ha eliminerat svagare förslag, skillnader i hur granskarna gav förslag gjorde det omöjligt att särskilja de återstående. Studien finansierades delvis av NIH för att analysera och förbättra hur miljarder dollar tilldelas av byrån.

Resultaten publiceras 5 mars i Proceedings of the National Academy of Sciences . Postdoktor Elizabeth Pier ledde analyserna av data som samlats in av en multidisciplinär grupp inklusive Molly Carnes, chef för Center for Women's Health Research, Cecilia Ford, emeritus professor i engelska och sociologi, kollegor inom psykologi och pedagogisk psykologi vid UW-Madison, och medarbetare vid West Chester University i Pennsylvania.

"Hur kan vi förbättra sättet att granska anslag så att det blir mindre subjektivitet i den slutliga finansieringen av vetenskap?" är frågan i centrum för detta arbete, säger Carnes. "Vi behöver mer forskning inom detta område och NIH investerar pengar för att undersöka denna process."

Peer review börjar med att experter separat analyserar och poängsätter ett antal förslag. Grupper av experter sammanträder sedan för att diskutera förslagen och gemensamt besluta om vilka som förtjänar finansiering. För att studera denna process, forskarna samlade erfarna NIH peer reviewers och fick dem att granska verkliga förslag som hade finansierats av NIH. Ett parti hade fått finansiering direkt - de utmärkta förslagen. Den andra gruppen fick så småningom finansiering efter att ha reviderats och ansågs vara "bra" förslag.

Tidigare publicerad forskning av samma grupp avslöjade att de samtal som äger rum efter initiala poäng inte leder till bättre finansieringsbeslut, eftersom de förstärker meningsskiljaktigheter mellan olika grupper av granskare.

"Samarbete kan faktiskt göra överenskommelser sämre, inte bättre, så en fråga som följer av det skulle vara:'Skulle det vara bättre för recensenterna att inte träffas?'" säger Pier, som doktorerade i pedagogisk psykologi vid UW-Madison samtidigt som hon slutförde arbetet.

För att ta upp den frågan i den nya studien, forskarna fokuserade på granskarnas initiala kritik och identifierade antalet och typen av svagheter och styrkor som tilldelats varje förslag, tillsammans med poängen som ges.

"När vi tittar på styrkorna och svagheterna de tilldelar de sökande, vad vi fann är att granskarna är internt mycket konsekventa, " säger Pier. "Det som förvånade oss var att även om folk är internt konsekventa, Det finns verkligen ingen konsekvens i hur olika människor översätter antalet svagheter till en poäng."

I genomsnitt, forskare poängsatte samma förslag så olika att det var som om de tittade på helt olika förslag. Denna skarpa oenighet, och de polariserande effekterna av gruppsamtal som tidigare forskning visat, föreslog för forskarna att den nuvarande peer review-processen inte är utformad för att skilja mellan bra och bra förslag.

"Vi försöker inte antyda att peer review är felaktig, men att det kan finnas lite utrymme att vara innovativ för att förbättra processen, säger Pier.

En potentiell förbättring som föreslås av forskargruppen är att skapa ett modifierat lotteri. I detta system, en första granskning skulle rensa bort svagare förslag, och de återstående skulle finansieras slumpmässigt. NIH undersöker också för närvarande sätt att förbättra objektiviteten och framgången för peer review.

Forskarna betonar att med miljarder dollar på spel, ytterligare forskning behövs om detta viktiga finansieringssystem och eventuella förbättringar av processen.

"Det gör mig stolt över att vara vetenskapsman, att vi inte bara finansierar forskning från celler till samhället, men att vi ständigt försöker förbättra processen genom vilken vi delar ut dessa dollar, säger Carnes.