Vetenskapen är samhällets bästa metod för att förstå världen. Ändå är många forskare missnöjda med hur det fungerar, och det finns en växande oro för att det är något "trasigt" i nuvarande vetenskaplig praxis. Många av de regler och förfaranden som är avsedda att främja innovativ forskning är inte mycket mer än historiska prejudikat med liten anledning att anta att de uppmuntrar effektiva eller tillförlitliga upptäckter. Värre, de kan ha perversa biverkningar som skadar både vetenskap och vetenskapsmän. Ett välkänt exempel är den allmänna preferensen för positiva resultat framför negativa, vilket skapar en "publiceringsbias" som ger ett felaktigt intryck av att vissa effekter existerar där de avvikande bevisen i verkligheten helt enkelt inte kan släppas.

Arizona State University forskare Thomas Morgan och Minhua Yan, arbetar med ASU-examinerade Leonid Tiokhin, nu vid University of Technology Eindhoven i Nederländerna, har utvecklat en ny modell, publiceras denna vecka i Naturen Mänskligt beteende , för att bättre förstå de utmaningar som den vetenskapliga processen står inför och hur vi kan göra den bättre. De fokuserade på "prioritetsregeln":tendensen för den första vetenskapsmannen att dokumentera ett fynd att bli oproportionerligt belönad med prestige, priser och karriärmöjligheter medan de på andra plats får lite eller inget erkännande.

Vinnaren tar allt

Många forskare har sömnlösa nätter och oroar sig för att bli "scooped" - rädsla för att deras arbete inte kommer att betraktas som "romantiskt" nog för de mest inflytande vetenskapliga tidskrifterna eftersom en annan grupp som arbetar med samma ämne lyckas publicera först. Prioritetsregeln har funnits i århundraden. På 1600-talet, Newton och Leibniz prutade om vem som uppfann kalkylen. Och på 1800-talet, Charles Darwin skyndade sig att publicera "The Origin of Species" för att undvika att bli spolad av Alfred Russel Wallace.

"Belöningsprioritering är förståeligt och har vissa fördelar. det kostar pengar, ", säger Tiokhin. "Belöningar för prioritet kan fresta forskare att offra kvaliteten på sin forskning och skära hörn."

"Tanken är att konkurrens uppmuntrar forskare att arbeta hårt och effektivt, så att upptäckter görs snabbt. Men om alla jobbar hårt, och du måste komma in först för att bli framgångsrik, då finns det en frestelse att skära ner för att maximera dina chanser, även om det betyder att vetenskapen lider, sa Morgan, en forskningsanknuten till Institute of Human Origins och docent vid School of Human Evolution and Social Change vid Arizona State University.

Det är delvis därför som vissa akademiska förlag, Till exempel PLOS och eLife , erbjuder nu "scoop skydd, " tillåta forskare att publicera resultat som är identiska med de som redan publicerats inom en viss tidsram. Problemet är att vetenskap och förlag för närvarande inte har en bra uppfattning om huruvida dessa reformer är vettiga.

Modellering av prioritetsregeln

För att ta reda på hur exakt preferensen för prioritet påverkar vetenskapen, och om de senaste reformerna erbjuder någon lösning för dess potentiella nackdelar, kollaboratörerna utvecklade en "evolutionär agentbaserad modell". Denna datormodell simulerar hur en grupp forskare undersöker eller överger forskningsfrågor, beroende på deras egna resultat och beteendet hos andra forskare de tävlar mot.

"Fördelen med en evolutionär simulering är att vi inte behöver specificera i förväg hur forskare beter sig. Vi skapar bara en värld där framgång belönas, och vi låter urval ta reda på vilken typ av beteende detta gynnar, " sa Morgan. "Vi kan då variera vad det innebär att lyckas – till exempel, oavsett om det är viktigt att komma först eller inte – och se hur urval förändrar vetenskapsmäns beteende som svar. Vi kan också mäta nyttan för samhället – är forskarna effektiva? Är deras resultat korrekta? Och så vidare."

Inget universalmedel

Forskarna fann att en kultur med överdrivna belöningar för prioritet kan ha skadliga effekter. Bland annat, det motiverar forskare att genomföra "snabba och smutsiga" studier, så att de kan vara de första att publicera. Detta minskar kvaliteten på deras arbete och skadar vetenskapens tillförlitlighet som helhet.

Modellen föreslår också att skopskydd, som introducerats av PLOS och eLife , Arbetar.

"Det minskar frestelsen att skynda på forskningen och ger forskarna mer tid att samla in ytterligare data, " sade Tiokhin. "Men, skopskydd är inget universalmedel."

Detta beror på att scoop-skydd motiverar vissa forskare att fortsätta med en forskningslinje även efter att flera resultat på det ämnet har publicerats, vilket minskar det totala antalet forskningsfrågor som vetenskapssamfundet kan ta itu med.

"Fördelen" med ineffektivitet

Skopa skyddsreformer i sig, samtidigt som det är till hjälp, är inte tillräckliga för att garantera högkvalitativ forskning eller en tillförlitlig publicerad litteratur. Modellen visar också att även med skopskydd, scientists will be tempted to run many small studies if new studies are cheap and easy to set up and the rewards for negative results are high. This suggests that measures that force scientists to invest more heavily in each study, such as asking scientists to preregister their studies or get their research plans criticized before they begin collecting data, can help.

"We also learned that inefficiency in science is not always a bad thing. On the contrary—inefficiencies force researchers to think twice before starting a new study, " said Tiokhin.

Another option is to make large-scale data collection so straightforward that there is less incentive to skimp on data, alternativt, reviewers and journals could be more vigilant in looking out for "underpowered" studies with small sample-sizes.

Metascience

This project is an example of metascience, the use of the scientific method to study science itself.

"It was a great pleasure to be part of this project. I got to use my modeling skills not only to make specific scientific discoveries, but also to shed light on how the scientific procedure itself should be designed to increase research quality and credibility. This benefits the whole scientific community and ultimately, the whole society, " said Yan, a graduate student in the School of Human Evolution and Social Change.