En ny Tel Aviv University-ledd studie publicerad den 20 maj i Natur ger nya bevis för att komplexiteten hos samtida analytiska metoder inom vetenskap bidrar till variationen i forskningsresultat.

Tidigare studier inom psykologi, cancerbiologi och beteendeekonomi avslöjade många misslyckanden i försöket att reproducera metoder och spegla resultat. TAU-forskarna använde en metod som kallas "Många analytiker, " där många forskare analyserade samma datauppsättning för att testa variationen i analysresultaten, förklarar studiens huvudförfattare Dr. Tom Schonberg vid institutionen för neurobiologi vid TAU:s George S. Wise fakultet för biovetenskap och TAU:s Sagol School of Neuroscience.

"Variabiliteten i resultat som visas i denna studie är en inneboende del av den komplexa processen att erhålla vetenskapliga resultat, och vi måste förstå det för att veta hur vi ska tackla det, " tillägger han. "Vetenskapen bedrivs av människor, och det finns inget sätt att undgå variation. Men vi måste erkänna detta för att själva korrigera och få de mest tillförlitliga svaren."

Neuroimaging analys, Replication and Prediction Study (NARPS) leddes också av Dr. Schonbergs tidigare Ph.D. student Dr. Rotem Botvinik-Nezer, idag postdoktor vid Dartmouth College, tillsammans med medutredarna prof. Russel Poldrack från Stanford University och prof. Thomas Nichols från Oxford University.

Övergripande, 180 forskare från 70 team av forskare runt om i världen analyserade samma datauppsättning för hjärnavbildning av 108 försökspersoner. Dessa försökspersoner deltog i en uppgift som testade deras beslutsfattande angående spel om potentiella vinster och förluster. Varje grupp valde en distinkt analysmetod, och de olika metoderna ledde till olika slutsatser.

"Vetenskapen kritiseras ofta, " säger Dr Schonberg. "Men det är inte en tro som en religion, som vissa har hävdat. Den har regler och en metod – den vetenskapliga metoden. Vi försöker ständigt förbättra denna metod i en process av självförhör. Vi tror att vår studie tar den här processen framåt."

Forskarteamen presenterades med samma data - fMRI-skanningar av försökspersoner som utför en värdebaserad beslutsfattande uppgift - och uppmanades att testa samma nio olika uppsättningar hypoteser.

Den stora neuroimaging-datauppsättningen hade samlats in under loppet av ett år vid Alfredo Federico Strauss Center for Computational Neuroimaging vid TAU av Roni Iwanir, en tidigare Sagol School MSc student från Schonbergs labb. Medan studiedeltagarna engagerade sig i det monetära beslutsfattandet, fMRI-skanningar användes för att testa om aktiviteten i specifika hjärnregioner som är involverade i värdebearbetning förändrades i förhållande till mängden pengar som vunnits eller förlorats på ett spel. Ett 70-tal internationella team analyserade oberoende av dessa datauppsättningar under tre månader.

"Bearbetningen du måste gå igenom från rådata till ett resultat med fMRI är verkligen komplicerad, ", tillägger professor Poldrack. "Det finns många val du måste göra på varje plats i analysarbetsflödet."

Varje team av forskare kom fram till sina egna slutsatser om data, med resultat som varierar avsevärt mellan teamen i fem av nio hypoteser.

"Vår nya studie visade hög analytisk flexibilitet som sker "i det vilda, '", säger Dr. Schonberg. "De deltagande forskarna modellerade hypoteserna på olika sätt och använde olika program för analysen. De använde också olika tekniker och definitioner i olika aspekter av analysen."

En annan del av studien involverade experter från fältet såväl som forskare från analysteamen som handlade med andra forskare på vad som kallas "prediction markets" om vad de trodde skulle bli resultatet av forskningen. Denna del av studien drevs av ekonomer och beteendeekonomiska experter, vem gav den första idén till studien, och avslöjade en markant överoptimism om förmågan att replikera tidigare fynd, även av forskare som själva analyserat datan.

"Medan de slutliga rapporterade resultaten varierade avsevärt, analysresultat i tidigare skede visade faktiskt en konsensus bland de flesta forskarlag, " säger Dr Schonberg. "Detta är mycket uppmuntrande, och var faktiskt ett något överraskande resultat. Trots den stora variationen i slutrapporterade resultat, den underliggande analysen var liknande, vilket betyder att vi måste hitta metoder för att uttrycka denna konvergens.

"Till exempel, studien tyder på att forskare skulle kunna utföra och rapportera flera analyser med samma data, för att hitta de resultat som olika tillförlitliga metoder konvergerar till."

Dr. Schonberg tror att resultaten kan hjälpa forskare att utveckla sin metodik och förbättra kvaliteten på sina analyser i framtiden.

"Jag skulle vilja att våra resultat skulle användas för att ta vetenskapen framåt - mot ett ännu mer utbyte av all studierelaterad information, om insyn i metoder, analyskoder och data, " säger Dr. Schonberg. Det är det enda sättet alla kan testa och "leka" med resultat för att se vad som håller. Vi har sett vikten och det stora behovet av att dela data under den senaste covid-19-pandemin för att förstå det optimala förloppet handling.

"Naturligtvis, nyheten i upptäckter betyder mycket för forskare. Men lika viktigt är strängheten i vår metodik, " avslutar Dr. Schonberg. "Vår studie speglar ambitionen hos en stor grupp av forskare att spendera tusentals timmar på att förbättra våra metoder för att få rätt slutsatser och nå tillförlitliga resultat."