Covid-19-pandemin har understrukit det kritiska behovet av robusta vetenskapliga bevis för att stödja politiska beslut, till exempel kring effektiviteten av olika sociala distansåtgärder och säkerheten för läkemedelsbehandlingar. Ändå uppstår detta behov i en tid av växande desinformation och dåligt granskade fakta som upprepas av inflytelserika källor. För att komma till rätta med denna klyfta, en grupp forskare ledd av Kai Ruggeri, professor vid Columbia University Mailman School of Public Health, och James Green, chefsforskare vid NASA, har infört ett nytt ramverk för att hjälpa till att sätta standarder för kvaliteten på bevis som används vid policyskapande.

Skisserat i Natur Beteende &Samhällsvetenskap , det teoretiska, Empirisk, Tillämplig, och REPLICERBAR Impact (THEARI) system rangordnar bevis i fem nivåer:(1) teoretiska (argument eller möjlig förklaring anges), (2) empirisk (begrepp beskrivet men inte utnyttjat), (3) tillämpligt (begreppet har använts för att framkalla effekt), (4) replikerbar (effekten har upprepats oberoende av varandra), (5) effekt (effekten har replikerats på lämpligt sätt i praktiken med mätbart värde i verkligheten). Till skillnad från andra bevisrankningssystem som används inom medicin eller teknik, THEARI gäller brett över discipliner.

Författarna säger att THEARI kommer att hjälpa till att hantera risker samtidigt som det ger en rimlig väg för att tillämpa genombrott i behandlingar och policylösningar i ett försök att stoppa den skada som redan påverkar välbefinnandet för befolkningar runt om i världen. De hoppas att systemet kommer att tillämpas på två nivåer:(1) en efterpublicering som ett märke som liknar Open Access, och (2) inom policyvägledningsmaterial. Som ett exempel, en täckkommentar till politiker kan säga, "vi rekommenderar att du använder x-metoden, som för närvarande har tre stjärnor i THEARI. Det betyder att det kan vara användbart, men fler tester är nödvändiga."

När bevis stämmer inte överens med policyn

Författarna citerar två exempel från covid-19-pandemin för att illustrera behovet av ett bevisvärderingssystem som THEARI. Först, de pekar på en artikel från 2007 av Cheng et al som varnade för en återuppkomst av SARS-liknande coronavirus; men trots att de tillhandahåller gott om bevis av hög kvalitet, varningen var obehörig. Andra, notera Storbritanniens beslut att skjuta upp sociala distanseringsåtgärder på grund av rädslan för "beteendetrötthet" som sprider sig över hela befolkningen - trots att det fanns få kvalitetsbevis som stödde konceptet.

När det gäller hydroxiklorokin, den kontroversiella potentiella terapin för covid-19, författarna säger att det finns en hel del bevis om läkemedlet som en terapi för andra sjukdomar, lite specifik för covid. Alla klassificeringssystem kan bara fungera om de tillämpas på det specifika sammanhanget, de noterar. Medan de två problematiska tidskriftsartiklarna om hydroxiklorokin drogs tillbaka, politiken bör inte förlita sig på en eller två studier om det inte är verkligt liv eller död i ögonblicket. Och alla klassificeringssystem kommer att fungera om tidskrifter har protokoll på plats för att förhindra publicering av felaktig forskning.

Utöver covid-19, författarna observerar att klimatförändringar, som är fast etablerat som ett faktum i det vetenskapliga samfundet, har fram till nyligen presenterats av mainstreammedia som en debatt – vilket bidrar till förseningar i politiken för att ta itu med problemet. Åsikter som presenteras som teori får bara det lägsta THEARI-betyget; åsikter utan teori får inget som helst betyg. Detta förenklar processen att förstå vad som har studerats (ibland extremt djupgående) kontra vad som helt enkelt är ett perspektiv, informerad eller inte.

Författarna beskriver flera orsaker utöver dessa typer av oöverensstämmelse mellan bevis och policy, inklusive den växande mängden vetenskapliga bevis och komplexiteten i politiska processer, snabb spridning av information och desinformation, och den höga graden av osäkerhet kring datas tillförlitlighet och jämförbarhet.

"Beteendevetenskapen tyder på att policytolkningen av befintlig information kan vara särskilt benägen till fördomar i detta sammanhang med brist på tid och resurser, " skriver författarna. "Att formulera evidensinformerade policyer verkar vara mest utmanande precis när vi behöver det som mest."

Författarna avslutar:"Genom att presentera THEARI, den ultimata fördelen vi föreställer oss är att sätta ett gemensamt ramverk som utgångspunkt för att använda bevis i politiska diskussioner, övervinna fördomar och effekterna av inkonsekventa definitioner eller opålitliga insikter. Detta uppmuntrar beslutsfattare att lägga mer värde på bevis genom att ge stöd för meningsfulla argument som annars kan ignoreras som oförenliga med nuvarande tänkande, även bland forskare."