• Home
  • Kemi
  • Astronomien
  • Energi
  • Naturen
  • Biologi
  • Fysik
  • Elektronik
  •  science >> Vetenskap >  >> Andra
    Var dessa experimentresultat verkligen så förutsägbara? Dessa forskare vill ta reda på det

    Forskare har lanserat en betawebbplats för att samla in förutsägelser om forskningsresultat. Kredit:socialscienceprediction.org

    De säger att efterklokhet är 20-20, och kanske ingenstans är det mer sant än i akademisk forskning.

    "Vi har alla haft erfarenheten av att stå upp för att presentera en ny uppsättning resultat, bygger ofta på år av arbete, och att någon i publiken utbröt "Men vi visste det här redan!, '" säger Prof. Stefano DellaVigna, en beteendeekonom med gemensamma utnämningar i ekonomiavdelningen och Berkeley Haas. "Men i de flesta av dessa fall, någon skulle ha sagt samma sak om vi hade hittat det motsatta resultatet. Vi är alla 20-20, i efterhand."

    DellaVigna har ett botemedel mot denna typ av akademisk quarterbacking på måndagsmorgonen:en förutsägelseplattform för att fånga den konventionella visdomen innan studier körs.

    Tillsammans med kollegorna Devin Pope från University of Chicagos Booth School of Business och Eva Vivalt från Research School of Economics vid Australian National University, han har lanserat en betawebbplats som tillåter forskare, Ph.D. studenter, och även medlemmar av allmänheten att granska föreslagna forskningsprojekt och göra förutsägelser om resultatet.

    Deras förslag, anges i en artikel i Vetenskap s policyforum, är en del av en våg av ansträngningar för att förbättra den samhällsvetenskapliga forskningens noggrannhet och trovärdighet. Dessa reformer utlöstes av replikeringskrisen – misslyckandet med att återskapa resultaten från många publicerade studier – och inkluderar massinsatser för att replikera studier samt plattformar för förhandsregistrering av forskningsdesigner och hypoteser.

    "Vi trodde att det fanns något viktigt att vinna genom att ha ett register över vad folk trodde innan resultaten var kända, och samhällsvetare har aldrig gjort det på ett systematiskt sätt, säger DellaVigna, som är meddirektör för Berkeley Initiative for Behavioral Economics and Finance. "Detta kommer inte bara att hjälpa oss att bättre identifiera resultat som verkligen är överraskande, men kommer också att bidra till att förbättra experimentell design och noggrannheten i prognoser."

    Eftersom vetenskapen bygger på sig själv, människor tolkar nya resultat utifrån vad de redan vet. En fördel med förutsägelseplattformen är att den skulle hjälpa till att bättre identifiera verkligt överraskande resultat, även i fall där det finns ett nullfynd – som sällan publiceras eftersom de vanligtvis inte ses som betydande, forskarna argumenterar.

    "Insamlingen av förhandsprognoser av forskningsresultat skulle kunna bekämpa denna partiskhet genom att göra nollresultat mer intressanta, eftersom de kan indikera ett avsteg från accepterad visdom, " skrev Vivalt i en artikel om förslaget i The Conversation.

    En forskningsprognosplattform kommer också att hjälpa till att mäta hur exakta experter faktiskt är inom vissa områden. Till exempel, DellaVigna och Pope samlade in förutsägelser från akademiska experter om 18 olika experiment för att fastställa effektiviteten av "nudges" kontra monetära incitament för att motivera arbetare att göra en onlineuppgift. De fann att experterna var ganska exakta, men det fanns ingen skillnad mellan högt citerade fakulteter och andra fakulteter, och att Ph.D. eleverna gjorde det bäst.

    Att förstå var det finns en allmän konsensus kan också hjälpa forskare att utforma bättre forskningsfrågor, för att komma till mindre välförstådda fenomen, påpekar författarna. Att samla in en kritisk massa av förutsägelser kommer också att öppna upp ett nytt potentiellt forskningsområde om huruvida människor uppdaterar sina övertygelser efter att nya resultat är kända.

    Att göra en förutsägelse på plattformen skulle kräva en enkel undersökning på 5 till 15 minuter, säger DellaVigna. Prognoserna skulle distribueras till forskaren efter att data har samlats in, och studieresultaten skulle skickas till prognosmakarna i slutet av studien.

    Berkeley Haas Prof. Don Moore, som har varit ledande i att förespråka mer öppenhet, rigorösa forskningsmetoder och utbildning av nästa generations forskare, säger förutsägelseplattformen "kan ge kraftfulla och konstruktiva förändringar i sättet vi tänker på forskningsresultat. En av dess stora styrkor är att den drar nytta av publikens visdom, potentiellt utnyttja den samlade kunskapen om ett område för att skapa en vetenskaplig konsensus som nya forskningsresultat kan bygga på."


    © Vetenskap https://sv.scienceaq.com