Pojkar presterar bättre än flickor i test som består av flervalsfrågor.

Flervalsfrågor anses vara objektiva och lätta att markera. Men min forskning visar att de ger män en fördel.

Jag jämförde runt 500, 000 testresultat av pojkar och flickor som deltog i samma internationella test, men vars tentamen skilde sig i detalj (även om det inte var svårighet). Skillnaden inkluderade en varierad andel flervalsfrågor i motsats till öppna frågor.

Jag fann att könsskillnaden i matematikpoäng ökade med andelen flervalsfrågor i provet – att gynna män.

Detta visar att mäns generellt sett bättre prestationer i matteprov har mer att göra med testets format än deras mattekunskaper.

Hur jag genomförde min forskning

Standardiserade prov används ofta för att testa studenter och screena jobbkandidater. Australiensare tar flera standardiserade test under hela utbildningen - som NAPLAN, High School Certificate (HSC) och OECD:s Program för International Student Assessment (PISA).

Sådana prov, speciellt när matematik är inblandat, inkluderar regelbundet flervalsfrågor.

Till exempel, mer än 70 % av NAPLANs sektion för räknekunskap 2016 bestod av flervalsfrågor. Varje år, HSC-testen i matematik innehåller ett avsnitt med flervalsfrågor.

Dessa uppmanar eleverna att identifiera det korrekta svaret från en uppsättning möjliga svar.

Jag analyserade data från PISA 2012 och 2015. PISA är det största internationella standardiserade testet i matematik, läsning och vetenskap. Vart tredje år, mer än 500, 000 elever i åldern 15, från mer än 60 länder, inklusive Australien, gör provet.

Varje elev som tar PISA får en annan uppsättning frågor som har liknande sammanhang och svårighetsgrad. Men det finns en slumpmässig variation i andelen flervalsfrågor varje elev får i sitt provhäfte.

Till exempel, under 2015, några elever fick ett prov som mestadels bestod av flervalsfrågor (70 %), medan andra studenters tentamensuppgifter bara innehöll 30 % flervalsfrågor.

Jag utnyttjade denna slumpmässiga variation i andelen flervalsfrågor för att undersöka hur könsskillnader i matematikprestationer varierar.

Vad jag hittade

Kvinnor presterade sämre än män på flervalsfrågor – detta var särskilt fallet när de fick ett provhäfte med 60 % eller fler flervalsfrågor.

En ökning av andelen flervalsfrågor med tio procentenheter (som från 50 % till 60 %) ökade könsskillnaden i matematikpoäng med 50 % till pojkars fördel.

Varför händer det här?

Jag analyserade också hur eleverna närmade sig svaren genom att spåra den tid det tog dem att svara på en fråga, samt antalet frågor varje elev hoppade över.

PISA-data gör att jag kan identifiera elever som svarar för snabbt på frågor (säg på under tre sekunder, vilket inte tillåter noggrann läsning av frågan).

Att besvara frågor för snabbt eller att hoppa över dem helt kan ses som ett tecken på låg ansträngning eller ouppmärksamhet.

Jag fann en könsskillnad i hur eleverna svarade på frågor.

Övergripande, pojkar var mindre engagerade i testet än flickor. De svarade på frågor snabbare och hoppade över fler av dem. Dock, denna skillnad började vända ju fler flervalsfrågor det fanns i testet.

Flickor som fick en tentamen med fler flervalsfrågor var mer benägna att visa bristande ansträngning än när det fanns fler öppna frågor.

Tidigare forskning stöder idén att tjejer kan vara mindre engagerade i flervalsfrågor. Flickor tenderar att föredra frågor som kräver mer analys och varierande lösningar medan pojkar är mer benägna att bara svara.

Förtroendet är också viktigt

En elevs förtroende för sina matematikkunskaper kan också spela en roll i deras prestationer. Till exempel, en högre nivå av självförtroende påverkar hur snabbt eleverna kan utesluta felaktiga svar.

PISA 2015 gav inget mått på elevernas nivåer av självförtroende.

Dock, Tidigare forskning har visat att flickor med mammor arbetar inom naturvetenskap, teknologi, ingenjörs- eller matematikyrken (STEM) är mer självsäkra i matematik och mindre benägna att tro på stereotyperna som pojkar är bättre än flickor.

Så, Jag använde moderns yrke som ett mått på flickors självförtroende och tro på sina matematiska förmågor. Jag fann att den negativa effekten av flervalsfrågor på flickors prestation faktiskt försvann hos flickor vars mammor arbetade i STEM-relaterade yrken.

Dessa resultat tyder på att flervalsprov kanske inte är det lämpligaste verktyget för att mäta elevernas kunskapsnivåer.

Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.