Hur säker ska man vara i valundersökningar? Inte alls lika självsäker som opinionsundersökningarna hävdar, enligt en ny Berkeley Haas-studie.

De flesta valundersökningar rapporterar en konfidensnivå på 95 %. Ändå en analys av 1, 400 undersökningar från 11 valcykler visade att resultatet hamnar inom undersökningens resultat bara 60 % av gångerna. Och det är för undersökningar bara en vecka före ett val – noggrannheten sjunker ännu längre ut.

"Om du är säker, baserat på omröstning, om hur valet 2020 kommer att se ut, Tänk om, " sa Berkeley Haas prof. Don Moore, som genomförde analysen med den tidigare studenten Aditya Kotak, BA 20. "Det finns många anledningar till att det faktiska resultatet kan skilja sig från undersökningen, och sättet att mätare beräknar konfidensintervall tar inte hänsyn till dessa problem."

Många människor blev förvånade när president Donald Trump slog Hillary Clinton 2016 efter att ha följt henne i opinionsmätningarna, och spekulerade i att undersökningar blir mindre exakta eller att valet var så ovanligt att det kastade dem av sig. Men Moore och Kotak fann inga bevis för minskande noggrannhet i deras urval av undersökningar tillbaka till 2008 – snarare, de hittade konsekvent översäkra påståenden från opinionsmätare.

"Kanske måste sättet vi tolkar undersökningar som helhet justeras, att redogöra för den osäkerhet som kommer med dem, " sa Kotak. Faktum är att att vara 95 % säker, omröstningar skulle behöva fördubbla de felmarginaler som de rapporterar även en vecka efter valdagen, analysen avslutades.

Som statistik- och datavetenskapsstudent på en grundutbildning i Moore's Accuracy Lab under presidentvalet 2019, Kotak blev nyfiken på konfidensintervallen som ingår i omröstningar. Han märkte att enkäternas felmarginal ofta nämndes som en fotnot i nyhetsartiklar och valprognosmetoder, och han undrade om de var så exakta som deras felmarginaler antydde att de borde vara.

Kotak förde idén till Moore, som studerar övertro ur både ett psykologiskt och statistiskt perspektiv. Mycket av forskningen om omröstningsnoggrannhet tar bara hänsyn till om omröstningen korrekt kallade vinnaren. För att mäta omröstningens förtroende, de bestämde sig för att ta en retroaktiv titt på omröstningar baserat på hur lång tid innan ett val de genomfördes, och inte överväga om en kandidat vann eller förlorade, men om den faktiska röstandelen föll inom felmarginalen som undersökningen hade rapporterat. Till exempel, om en undersökning visade att 54 % av väljarna gynnade en kandidat, och den hade en felmarginal på 5 %, det skulle vara korrekt om kandidaten fick 49 % till 59 % av rösterna, men skulle vara en miss om kandidaten vann med mer än 59 % av rösterna (eller mindre än 49 %).

Moore och Kotak fick 1, 400 undersökningar genomförda inför de allmänna valen 2008, 2012, och 2016, samt de demokratiska presidentvalen i Iowa och New Hampshire från 2008 och 2016 och de republikanska primärvalen i samma delstater från 2012 och 2016. Eftersom vissa undersökningar frågade om flera kandidater, provet inkluderade resultat på över 5, 000 undersökningar om hur folk sa att de skulle rösta på särskilda kandidater, samt medföljande felmarginaler.

Analyserar omröstningarna i sju dagars omgångar, de fann en stadig nedgång i noggrannhet ju längre från ett val undersökningen genomfördes, med bara ungefär hälften som visade sig vara korrekt 10 veckor före ett val. Detta är vettigt, eftersom oförutsedda händelser inträffar – som att tidigare FBI-chefen James Comey tillkännagav en utredning av Clintons mejl bara en vecka före presidentvalet 2016. Men de flesta omröstningar, även veckor ut, rapporterade industristandarden 95% konfidensintervall.

Samplingsfel och konfidensintervall

Konfidensintervallet kvantifierar hur säker man kan vara på att urvalet av tillfrågade personer speglar hela väljarpopulationen. Ett 95 % konfidensintervall, till exempel, betyder att om samma provtagningsförfarande följdes 100 gånger, 95 av dessa urval skulle innehålla den verkliga väljarpopulationen. Däri ligger problemet, dock.

Konfidensnivån tar hänsyn till "sampling error, "en statistisk term som kvantifierar hur troligt det är att av en ren slump, urvalet skiljer sig från den större population av väljare som urvalet togs från. Till exempel, att inte kartlägga en tillräckligt stor grupp av väljare skulle öka urvalsfelet. Men urvalsfel inkluderar inte några andra typer av fel - som att kartlägga fel uppsättning personer till att börja med.

"Folk glömmer ofta att felmarginaler för undersökningar bara fångar de statistiska felkällorna, sa David Broockman, en docent vid Berkeleys institution för statsvetenskap. "Denna analys visar hur stora de återstående icke-statistiska felkällorna är i praktiken."

Lade till prof. Gabriel Lenz, även av Berkeley Political Science, "Detta är en fascinerande analys, och framtida arbete kan reda ut källorna till felaktigheten, såsom lågkvalitativa opinionsmätare, svårt att screena troliga väljare, sista minuten förändringar i väljarnas avsikter, och mer."

Det är lätt att ta hänsyn till urvalsfel i omröstningsstatistik, men mycket svårare att redogöra för alla andra okända, sa Moore. Det är en läxa som går långt utöver röstning.

"Eftersom vi bygger vår övertygelse på ofullkomliga och partiska informationsexempel, ibland kommer vi att ha fel av skäl som vi inte förutsåg, " han sa.