En paleontolog återvänder till sitt labb från en sommargrävning och gör en studie som jämför tandlängd hos två dinosauriearter. Hon och hennes team arbetar noggrant för att undvika att deras resultat påverkas. De förblir blinda för arten medan de mäter, provstorlekarna är stora, och datainsamlingen och analysen är rigorös.

Forskaren är förvånad över att inte finna någon signifikant skillnad i hundtandslängd mellan de två arterna. Hon inser att dessa oväntade resultat är viktiga och skickar ett papper till lämpliga tidskrifter. Men journal efter journal avvisar tidningen, eftersom resultaten inte skiljer sig nämnvärt. Så småningom, vetenskapsmannen ger upp, och papperet med dess så kallade negativa resultat läggs i en låda och begravs under år av annat arbete.

Detta scenario och många andra liknande det har utspelat sig över alla vetenskapliga discipliner, leder till vad som har kallats "fillådans problem". Forskningstidskrifter och finansiärer är ofta partiska mot forskning som visar "positiva" eller väsentligt annorlunda resultat. Denna olyckliga partiskhet bidrar till många andra frågor i den vetenskapliga processen, såsom bekräftelsebias, där data tolkas felaktigt för att stödja ett önskat resultat.

En ny metod:Ekvivalens

Tyvärr, problem med publikationsbias har varit utbredd inom vetenskapen under lång tid. På grund av strukturen hos den vetenskapliga metoden, forskare fokuserar ofta bara på skillnader mellan grupper – som dinosaurietänder från två olika arter, eller en folkhälsojämförelse av två olika stadsdelar. Detta lämnar studier som fokuserar på likheter helt dolda.

Dock, läkemedelsprövningar har hittat en lösning på detta problem. I dessa försök, forskare använder ibland ett test som kallas TOST, två ensidigt test, att leta efter likvärdighet mellan behandlingar.

Till exempel, säg att ett företag utvecklar ett generiskt läkemedel som är billigare att tillverka än namnläkemedlet. Forskare måste visa att det nya läkemedlet fungerar på ett statistiskt likvärdigt sätt med namnet innan de säljs på marknaden. Det är där likvärdighetstester kommer in. Om testet visar likvärdighet mellan effekterna av de två läkemedlen, då kan FDA godkänna det nya läkemedlets lansering på marknaden.

Medan traditionella ekvivalenstestning är till stor hjälp för förplanerade och kontrollerade farmaceutiska tester, det är inte tillräckligt mångsidigt för andra typer av studier. Den ursprungliga TOST kan inte användas för att testa ekvivalens i experiment där samma individer är i flera behandlingsgrupper, Det fungerar inte heller om de två testgrupperna har olika urvalsstorlek.

Dessutom, TOST som används i farmaceutiska tester adresserar vanligtvis inte flera variabler samtidigt. Till exempel, en traditionell TOST skulle kunna analysera likheter i biologisk mångfald vid flera flodplatser före och efter en temperaturförändring. Dock, vår nya TOST skulle göra det möjligt att testa för likheter i flera variabler – som biologisk mångfald, vatten pH, vattendjup och klarhet – vid alla flodplatser samtidigt.

Begränsningarna i den traditionella TOST och den genomgripande "fillådans problem" ledde vårt team till att utveckla ett multivariat ekvivalenstest, kapabla att adressera likheter i system med upprepade mätningar och olika urvalsstorlekar.

Vårt nya ekvivalenstest, publicerades i oktober, vänder den traditionella nollhypotesramen på huvudet. Nu, snarare än att anta likhet, en forskare börjar med antagandet att de två grupperna är olika. Bevisbördan ligger nu på att utvärdera graden av likhet, snarare än graden av skillnad.

Vårt test tillåter också forskare att ställa in sin egen acceptabla marginal för att deklarera likhet. Till exempel, om marginalen var satt till 0,2, då skulle resultaten berätta om medelvärdet för de två grupperna var lika inom plus eller minus 2 procent.

Ett steg i rätt riktning

Vår modifiering innebär att ekvivalenstestning nu kan tillämpas inom ett brett spektrum av discipliner. Till exempel, vi använde det här testet för att demonstrera likvärdig akustisk struktur i sångerna av hanar och honor från östra blåfåglar. Ekvivalenstestning har också redan använts inom vissa områden inom teknik och psykologi.

Metoden skulle kunna tillämpas ännu bredare. Föreställ dig en grupp forskare som vill undersöka två olika undervisningsmetoder. I ett klassrum finns ingen teknik, och i en annan görs alla elevers uppgifter online. Ekvivalenstestning kan hjälpa ett skoldistrikt att avgöra om de ska investera mer i teknik eller om de två undervisningsmetoderna är likvärdiga.

Utvecklingen av ett brett tillämpbart ekvivalenstest representerar vad vi tror kommer att vara ett stort steg framåt i forskarnas långa kamp för att presentera verkliga och opartiska resultat. Detta test ger en annan väg för utforskning och tillåter forskare att undersöka och publicera resultaten från studier om likheter som inte har publicerats eller finansierats tidigare.

Förekomsten av publikationsbias, inklusive fillådans problem, bekräftelsebias och oavsiktliga falska positiva, är en stor stötesten för vetenskapliga framsteg. Inom vissa forskningsområden, upp till hälften av resultaten saknas i den publicerade litteraturen.

Ekvivalenstestning ger ett annat verktyg i verktygslådan för forskare att presentera "positiva" resultat. Om forskarsamhället tar tag i detta test och utnyttjar det till sin fulla potential, vi tror att det kan bidra till att mildra en av de största begränsningarna i det sätt på vilket vetenskap för närvarande utövas.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.