Statistisk signifikans är en objektiv indikator för huruvida resultaten av en studie är matematiskt "verkliga" och statistiskt försvarbara, snarare än bara en chans förekomst. Vanligtvis använda signifikanstester letar efter skillnader i sättet för dataset eller skillnader i skillnaderna i dataset. Den typ av test som tillämpas beror på vilken typ av data som analyseras. Det är upp till forskarna att bestämma hur stor betydelse de behöver för att resultaten ska vara - med andra ord, hur mycket risker de är villiga att ta av att vara felaktiga. Normalt är forskare villiga att acceptera en risknivå på 5 procent.

Typ I Fel: Felaktigt Avvisa Null-hypotesen

Experiment utförs för att testa specifika hypoteser eller experimentella frågor med en förväntad resultat. En nollhypotes är en som upptäcker ingen skillnad mellan de två uppsättningarna data som jämförs. I en medicinsk studie kan till exempel nollhypotesen vara att det inte finns någon skillnad i förbättring mellan patienter som får studiemedicin och patienter som får placebo. Om forskaren felaktigt avvisar denna nollhypotes när det faktiskt är sant, med andra ord om de "upptäcker" en skillnad mellan de två uppsättningarna av patienter när det verkligen inte var någon skillnad, har de begått ett typ I-fel. Forskare bestämmer i förväg hur mycket risken att begå ett typ I-fel de är villiga att acceptera. Denna risk är baserad på ett maximalt p-värde som de kommer att acceptera innan de avvisar nollhypotesen och kallas alfa.

Typ II Fel: Felaktigt Avvisa Alternativ Hypotesen

En alternativ hypotes är en som upptäcker en skillnad mellan de två uppsättningarna data som jämförs. När det gäller läkarundersökningen kan du förvänta dig att se olika förbättringsnivåer hos patienter som får studien och patienter som får placebo. Om forskare misslyckas med att avvisa nollhypotesen när de borde, med andra ord om de inte "upptäcker" någon skillnad mellan de två uppsättningarna av patienter när det verkligen var en skillnad, har de begått ett typ II-fel.

Bestämning av nivån av betydelse

När forskare utför ett test av statistisk signifikans och det resulterande p-värdet är mindre än risknivån anses acceptabel, anses testresultatet statistiskt signifikant. I detta fall är nollhypotesen - hypotesen att det inte finns någon skillnad mellan de två grupperna - avvisad. Med andra ord indikerar resultaten att det finns en skillnad i förbättring mellan patienter som får studiemedicin och patienter som får placebo.

Välja ett signifikanstest

Det finns flera olika statistiska tester att välja från. Ett standardtest jämförer medlen från två dataset, t.ex. vårdrogdata och våra placebodata. Ett parat t-test används för att upptäcka skillnader i samma dataset, såsom en före och efter studie. Envägsanalys av varians (ANOVA) kan jämföra medel från tre eller flera datasatser och en tvåvägs ANOVA jämför medlen för två eller flera datasatser som svar på två olika oberoende variabler, såsom olika styrkor hos studie läkemedel. En linjär regression jämför datasatsens medel längs en gradient av behandlingar eller tid. Varje statistiskt test kommer att resultera i betydelsefulla åtgärder, eller alfa, som kan användas för att tolka testresultaten