Vi ber experter om råd hela tiden. Ett företag kan fråga en ekonom om råd om hur man kan motivera sina anställda. En regering kan fråga sig vad effekten av en politisk reform kommer att bli.

För att ge råd, experter vill ofta dra nytta av resultaten av ett experiment. Men de har inte alltid relevanta experimentella bevis.

Att samla in expertförutsägelser om forskningsresultat kan vara ett kraftfullt nytt verktyg för att förbättra vetenskapen – och de råd som forskarna ger.

Bättre vetenskap

Under de senaste decennierna, akademisk rigor och transparens, särskilt inom samhällsvetenskap, har förbättrats avsevärt.

Än, som Australiens chefsforskare Alan Finkel nyligen hävdade, det finns fortfarande mycket att göra för att minimera "dålig vetenskap".

Han rekommenderar förändringar av hur forskning mäts och finansieras. Ett annat allt vanligare tillvägagångssätt är att genomföra randomiserade kontrollerade studier och förregistreringsstudier för att undvika bias i vilka resultat rapporteras.

Expertförutsägelser kan vara ännu ett verktyg för att göra forskningen starkare, som mina medförfattare Stefano DellaVigna, Devin Pope och jag argumenterar i en ny artikel publicerad i Vetenskap .

Varför förutsägelser?

Hur vi tolkar forskningsresultat beror på vad vi redan tror på. Till exempel, om vi såg en studie som påstår sig visa att rökning var hälsosamt, vi skulle nog vara ganska skeptiska.

Om ett resultat överraskar experter, det faktumet i sig är informativt. Det kan tyda på att något kan ha varit fel med studiedesignen.

Eller, om studien var väldesignad och fyndet replikerat, vi kanske tror att resultatet i grunden förändrade vår förståelse av hur världen fungerar.

Ändå samlar forskare för närvarande sällan in information som gör att de kan jämföra sina resultat med vad forskarvärlden trodde på tidigare. Detta gör det svårt att tolka nyheten och betydelsen av ett resultat.

Den akademiska publiceringsprocessen plågas också av partiskhet mot att publicera obetydliga, eller "null, " resultat.

Insamlingen av förhandsprognoser av forskningsresultat skulle kunna bekämpa denna snedvridning genom att göra nollresultat mer intressanta, eftersom de kan indikera ett avsteg från accepterad visdom.

Ändrar åsikter

Förutom att direkt förbättra tolkningen av forskningsresultat, att samla in förskottsprognoser kan hjälpa oss att förstå hur människor ändrar sig.

Till exempel, min kollega Aidan Coville och jag samlade in förhandsprognoser från beslutsfattare för att studera vilken effekt akademiska forskningsresultat hade på deras övertygelser. Vi fann i allmänhet att de var mer mottagliga för "goda nyheter" än "dåliga nyheter" och ignorerade osäkerheter i resultat.

Prognoser kan också informera oss om vilka potentiella studier som bäst skulle kunna förbättra politiska beslut.

Till exempel, anta att ett forskarlag måste välja en av tio interventioner att studera. För några av interventionerna, vi är ganska säkra på vad en studie skulle hitta, och en ny studie skulle sannolikt inte ändra oss. För andra, vi är mindre säkra, men det är osannolikt att de är det bästa ingreppet.

Om förutsägelser samlades in i förväg, de skulle kunna berätta för oss vilken intervention vi ska studera för att få störst politisk effekt.

Testar prognoser

I det långa loppet, om expertprognoser kan visas vara ganska korrekta, de skulle kunna ge visst stöd för politiska beslut där rigorösa studier inte kan genomföras.

Till exempel, Stefano DellaVigna och Devin Pope samlade in prognoser om hur olika incitament förändrar mängden ansträngning människor lägger på att slutföra en uppgift.

Som du kan se i grafen nedan, prognoserna var inte perfekta (en prick på den streckade diagonala linjen skulle representera en perfekt matchning av prognos och resultat). Men det verkar finnas en viss korrelation mellan de aggregerade prognoserna och resultaten.

En central plats för prognoser

För att få ut det mesta av prognoser av forskningsresultat, de bör samlas in systematiskt.

Över tid, detta skulle hjälpa oss att bedöma hur exakta enskilda prognosmakare är, lär oss hur man bäst aggregerar prognoser, och berätta för oss vilka typer av resultat som tenderar att vara väl förutspådda.

Vi byggde en plattform som forskare kan använda för att samla in prognoser om sina experiment från forskare, beslutsfattare, utövare, och andra viktiga målgrupper. Betawebbplatsen kan ses här.

Medan vi först fokuserar på vår egen disciplin – ekonomi – tycker vi att ett sådant verktyg borde vara allmänt användbart. Vi skulle uppmuntra forskare inom alla akademiska områden att överväga att samla in förutsägelser om forskningsresultat.

Det finns många potentiella användningsområden för förutsägelser av forskningsresultat utöver de som beskrivs här. Många andra akademiker utforskar också detta område, som replikeringsmarknaderna och replikeringsprojekt som ingår i ett stort forskningsinitiativ om replikering.

De många möjliga användningarna av forskningsprognoser ger oss förtroende för att en mer rigorös och systematisk behandling av tidigare föreställningar avsevärt kan förbättra tolkningen av forskningsresultat och i slutändan förbättra sättet vi gör vetenskap på.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.