Medan alla idag har en åsikt om vetenskap som påverkar oss alla, det klokaste tillvägagångssättet innebär fortfarande att konsultera med nyckelexperter på området. Det gäller även finansiering av forskning, enligt en ny artikel som bekräftar att peer review är den mest effektiva metoden för att hjälpa statliga myndigheter att förutsäga vilka idéer som bäst kan främja vetenskapliga framsteg.

"Per-review är ännu mer nödvändigt för biomedicin eftersom några av dessa fynd kan vara en fråga om liv och död, sa Donna Ginther, dekanens professor i ekonomi vid University of Kansas.

Ginther är medförfattare till "Administrativ diskretion i vetenskaplig finansiering:bevis från ett prestigefyllt postdoktoralt utbildningsprogram." Artikeln finns i det aktuella numret av Forskningspolicy .

"Du vill alltid ha en reality check för ditt arbete, " Hon sa.

Hennes studie använder data från National Institutes of Health (NIH) för att fastställa att kollegial granskning - jämfört med byråns programansvariges bedömning - "närmare förutsäger högkvalitativ vetenskap och framtida forskningsoberoende."

"Per-processen granskning är mycket kontroversiell. Många människor kräver en förändring, sa Ginther, som skrev artikeln tillsammans med Misty Heggeness från U.S. Census Bureau. "Men vi fann att peer review-processen för vetenskapliga anslag, vilket är vad vi studerar, är rigorös, strukturerad och väldefinierad. Vi ser att processen fungerar ganska bra."

De upptäckte också att "regressionsdiskontinuitetsdesign, " vilket är den metod som vanligtvis används för att undersöka effekten av finansiering, gäller inte alltid vetenskapliga finansieringsmodeller.

Hon förklarade hur varje bidrag som granskas får ett betyg. På NIH, låga poäng är bättre än höga poäng:Om du får ett, du är finansierad, och om du får 20, du är inte finansierad. Om peer review fungerar som annonserat, varje förslag finansieras baserat på denna poängordning.

"Men då vet vi att det är en paus där du inte har några pengar kvar, " sa hon. "Om du jämför det senaste förslaget som finansierades med det första förslaget som inte var det, det är en regressionsdiskontinuitetsdesign. Du tittar på dem precis ovanför och under den linjen och frågar, "Vad är effekten av de förslagen av liknande kvalitet?"

"När vi grävde i data, vi insåg, "Åh, de gör det inte som de säger att de gör det." Och eftersom de inte använder en regressionsdiskontinuitetsdesign, och de sträcker sig efter förslag som inte fick lika bra poäng och hoppar över förslag som borde ha finansierats om allt finansierats i ordning, du kan titta på effektiviteten av peer review i sig."

Även om denna speciella forskning involverar vetenskapens område, det väcker frågan om det är tillämpligt på andra områden. Till exempel, är peer review avgörande för humaniora?

"Akademien bygger mycket på peer review, ", sa Ginther. "Jag kan inte nödvändigtvis prata med humaniora eftersom de är mer bokfokuserade. Men det är alltid fördelaktigt att ha nya ögon på arbetet för att säkerställa att det har potential att göra en insats. Och jag tror att när du pratar om stora summor pengar som NIH ger ut, det är verkligen viktigt."

Nu när världen letar efter sätt att hantera covid-19 så snabbt som möjligt, Ginther sa att vetenskaplig peer review kan förändras i grunden. Det kan börja spegla hur andra fält närmar sig processen.

"Ekonomi är väldigt öppen, ", sa hon. "Yrket delar arbetsdokument. Resultaten av denna studie har cirkulerat i ett par år. Dock, livsvetenskap, fram till coronaviruset, höll allt hemligt innan det publicerades. Och vad vi ser just nu är att forskningsresultat läggs ut innan de har granskats av fackmän. Med tanke på krisens storlek, att göra förtryck tillgängliga för studier av coronaviruset är ytterst viktigt."

En 17-årig veteran från KU, Ginther är specialiserad på arbetsekonomi. Hon är också chef för Institutet för politik och social forskning, ett tvärvetenskapligt campuscentrum för lärare och studenter som utför finansierat arbete inom samhälls- och beteendevetenskap.

"Det är min pågående forskning för att se hur det påverkar vetenskapen att följa pengarna, " Hon sa.

Ginther hoppas att "Administrativ bedömning av vetenskaplig finansiering" kan hjälpa till att lösa eventuella kontroverser angående nödvändigheten och relevansen av peer review.

"Det finns mycket debatt om den här frågan i det vetenskapspolitiska samhället, ", sa hon. "Men nu är de vetenskapspolitiska människorna inte uppmärksamma eftersom de är i ett labb och försöker rädda världen."