Ett team av forskare ledda av en astronom från Michigan State University har funnit att en ny process för att utvärdera föreslagna vetenskapliga forskningsprojekt är lika effektiv – om inte mer så – än den traditionella peer-review-metoden.

I vanliga fall, när en forskare lämnar in ett förslag, finansiären ber sedan ett antal forskare inom just det området att utvärdera och ge finansieringsrekommendationer. Ett system som ibland kan vara lite skrymmande och långsamt – inte riktigt en exakt vetenskap.

"Som i alla mänskliga ansträngningar, den här har sina brister, sa Wolfgang Kerzendorf, en biträdande professor vid MSU:s institutioner för fysik och astronomi, och beräkningsmatematik, Vetenskap och teknik.

Detaljerad i publikationen Natur astronomi , Kerzendorf och kollegor testade ett nytt system som fördelar arbetsbelastningen med att granska projektförslag mellan förslagsställarna, känd som "distribuerad peer review"-metoden.

Dock, teamet förbättrade det genom att använda två andra nya funktioner:att använda maskininlärning för att matcha granskare med förslag och inkluderingen av en återkopplingsmekanism på granskningen.

Väsentligen, denna process består av tre olika funktioner som är utformade för att förbättra peer-review-processen.

Först, när en forskare lämnar in ett förslag för utvärdering, han eller hon uppmanas först att granska flera av sina konkurrenters papper, ett sätt att minska mängden papper man uppmanas att granska.

"Om du minskar antalet recensioner som varje person måste göra, de kanske spenderar lite mer tid med vart och ett av förslagen, sa Kerzendorf.

Andra, genom att använda datorer – maskininlärning – kan finansiärer matcha granskaren med förslag på områden där de är experter. Denna process kan ta mänsklig fördom ur ekvationen, vilket resulterar i en mer korrekt granskning.

"Vi tittar i huvudsak på de tidningar som potentiella läsare har skrivit och ger sedan dessa människor förslag som de förmodligen är bra på att bedöma, " sa Kerzendorf. "Istället för att en recensent själv rapporterar sin expertis, datorn gör jobbet."

Och för det tredje, teamet införde ett återkopplingssystem där den som lämnade in förslaget kan bedöma om den feedback de fick var till hjälp. I sista hand, detta kan hjälpa samhället att belöna forskare som konsekvent ger konstruktiv kritik.

"Denna del av processen är inte oviktig, " sa Kerzendorf. "En bra, konstruktiv recension är lite av en bonus, en belöning för det arbete du lagt ner på att granska andra förslag."

För att göra experimentet, Kerzendorf och hans team övervägde 172 inlämnade förslag som var och en begärde användning av teleskopen på European Southern Observatory, ett markbaserat observatorium med 16 länder i Tyskland.

Förslagen granskades både på traditionellt sätt och med hjälp av distribuerad peer review. Resultaten? Ur statistisk synvinkel, det var till synes omöjligt att skilja

Dock, Kerzendorf sa att detta var ett nytt experiment som testade ett nytt tillvägagångssätt för att utvärdera peer-review-forskning, en som kan göra skillnad i den vetenskapliga världen.

"Medan vi tänker mycket kritiskt om vetenskap, ibland tar vi oss inte tid att tänka kritiskt på att förbättra processen för att allokera resurser inom vetenskap, " sa han. "Detta är ett försök att göra det här."