Forskare i de tidiga dagarna av vetenskaplig utredning använde ofta mycket enkla metoder för experiment. Ett gemensamt tillvägagångssätt var känt som "en faktor i taget" (eller OFAT) och involverade att ändra en variabel i ett experiment och observera resultaten och fortsatte sedan vidare till nästa enskilda variabel. Moderna forskare använder mer sofistikerade metoder för att utföra försök där de anser olika variationskällor som kan påverka resultatet.

Experiment Design

Processen för experimentdesign är ett sätt att sammanföra tester som ge största möjliga information. Typiskt är ett utformat experiment menat att hitta effekterna av olika olika faktorer på resultatet av en process. Forskare sammanställer experiment som visar om variationen mellan ämnen utsatta för olika faktorer är större än variationen inom grupper av ämnen som alla utsätts för samma faktor. Vissa utformade experiment kan också visa om det finns några interaktioner mellan olika faktorer.

Inom ämnen

Inom ämnesvariation i ett experiment avses variationen i en grupp ämnen som alla behandlas samma sätt. Om en läkare testar tre läkemedel för att leta efter en skillnad i deras effektivitet och är intresserad av skillnader mellan könen, kan hon separera manliga ämnen i tre grupper och behandla var och en med en annan medicin och göra detsamma med tre kvinnliga grupper. Även inom en grupp ämnen (samma kön, samma medicin) kommer olika patienter att ha olika svar. Det här är variationen inom ämnet.

Mellan ämnen

Den andra typen av variation i ett experiment ligger mellan ämnet. Detta är skillnaden mellan olika grupper som utsätts för olika faktorer. I exemplet av läkartestet skulle hon titta på skillnaden i genomsnittlig återhämtningstid mellan manliga och kvinnliga grupper och också mellan var och en av grupperna som tog en av de tre läkemedlen. I varje fall kommer det sannolikt att finnas skillnader mellan grupperna. Uppgiften med det utformade experimentet är att se om denna skillnad är statistiskt signifikant.

ANOVA

En forskare kommer att använda ANOVA, variansanalys, statistik för att jämföra inom och mellan ämnesvariation. ANOVA-testet förhåller sig "inom" till "mellan" variationerna. Om det finns betydande variationer inom samma grupper, antyder detta att testet själv tenderar att ha ett brett spektrum av resultat. Om "inom" variationen är lika med "mellan" variationen, kommer ANOVA-testet att dra slutsatsen att forskaren inte kan säga att faktorerna hade en effekt, eftersom några uppenbara effekter bara kan bero på den slumpmässiga variationen som sågs inom testgrupper. Ett mer sofistikerat tillvägagångssätt, kallat tvåvägs ANOVA, kan också upptäcka interaktioner mellan faktorer.