Under 2012, Den amerikanske statistikern Nate Silver förutspådde korrekt resultaten för alla 50 delstater i det amerikanska presidentvalet med 100 % träffsäkerhet.

Jämför detta med chockresultatet från Trump-valet 2016, och nu valet i Australien 2019, när nästan alla australiensiska opinionsundersökningar felaktigt förutspådde att Bill Shortens Labour Party skulle besegra Scott Morrisons koalition på en tvåpartis föredragen basis.

Hur fick opinionsundersökningarna det så fel? Mer viktigt, hur kan vi säkerställa att vi får ett mer exakt resultat nästa gång?

Vad opinionsundersökningar måste göra

En bra opinionsundersökning måste göra två svåra saker:

1. det måste hitta ett stort och representativt urval av australiensiska väljare
2. det måste få dessa väljare att ärligt avslöja vem de kommer att rösta på.

Om båda dessa saker händer, statistisk teori ger oss förtroende för att undersökningen kommer att vara tillförlitlig.

För att öka svårigheten, vi behöver inte bara Bra opinionsundersökningar vi behöver excellent opinionsundersökningar, eftersom även ett litet fel kan innebära att man förutsäger fel vinnare.

Till exempel, om ett regeringsdepartement ville veta hur stor andel av människorna som hade utfört volontärarbete under det senaste året, det skulle förmodligen inte spela någon roll för deras syften om de beställde två undersökningar som gav uppskattningar på 48% och 52%. Men denna variation är oacceptabel för opinionsundersökningar, som behöver en liten felmarginal för att exakt förutsäga vinnaren.

Hur man får ett representativt prov

Ett bra representativt urval kommer att vara hela den röstberättigade befolkningen i Australien, men i mikrokosmos. Om det finns 16 miljoner röstberättigade, sedan ett representativt urval av 1, 600 skulle innebära att varje väljare i urvalet representerar 10, 000 människor gillar dem.

Att använda relativt små urval är ett billigt sätt att uppskatta den större bilden av valet, utan att tillgripa dyra undersökningar som den australiska undersökningen om samkönade äktenskap.

Med ett stort och representativt urval, statistisk teori säger oss att vi kommer att komma nära det verkliga resultatet med en smal felmarginal. Men opinionsmätningarna i detta val förutspådde konsekvent fel vinnare, vilket betyder att det var något fel med proverna.

Problemet med disruptiv teknik

Opinionsundersökningar genomförs vanligtvis av opinionsmätare som ringer fasta telefoner, ibland ringer mobiltelefoner, robo-uppringning och internetundersökningar.

På senare tid när nästan alla australiensare hade en fast telefon, det var mycket lättare att få ett representativt urval av väljare genom att slumpmässigt ringa nummer eller slumpmässigt urval från Vita Sidorna. Slumpen är nyckeln, eftersom det förstör partiskhet genom att ge alla röstberättigade samma chans att bli tillfrågade. Detta undviker i sin tur att gynna vissa grupper.

Moderna kommunikationsmetoder har förstört representativiteten hos fasta telefoner – 36 % av australiensiska vuxna använder nu bara en mobil. Och eftersom äldre australiensare är mer benägna att behålla sin fasta telefon, detta påverkar alla prov som använder enbart fasta telefoner.

Långt fler australiensare har en mobiltelefon än en fast telefon – så varför inte använda dessa istället? En anledning är att vissa människor har två mobiler – företag och privat – så undersökningen skulle överrepresentera arbetande australiensare. Och med färre äldre som har mobiler, detta tillvägagångssätt skulle också överrepresentera yngre australiensare.

Även om vi hade ett helt representativt urval av telefonnummer, vi kan förvänta oss att ett stort antal människor inte svarar eller lägger på, vilket skapar ytterligare en partiskhet eftersom undersökningen då överrepresenterar personer med mer tid och de som är mer politiskt engagerade.

Hur man får ärliga svar

Opinionsundersökningar har varit fel tidigare. Två exempel är valen 1992 och 2015 i Storbritannien, där mätningarna felaktigt förutspådde ett bra resultat för Labour. Obduktionen av dessa misslyckanden kom med teorin om "Shy Tory-faktorn", där folk var för generade för att erkänna för opinionsmätare att de röstade på Tories (det konservativa högerpartiet).

Många australiensare skäms inte över att berätta för någon vem de kommer att rösta på, men även andelen blyga väljare är liten, då kunde de fortfarande spåra ur omröstningens noggrannhet.

Ett antal australiensiska väljare har erkänt att de gett falska svar på telefonomröstningar eftersom de var irriterade över samtalet. Även en liten procent av irriterade människor skulle kunna förstöra en annars väl utformad opinionsundersökning.

En annan teori – som lagts fram av den australiensiske nobelpristagaren Brian Schmidt – är att opinionsundersökningarna lyssnade på varandra mer än de gjorde allmänheten. Detta är känt som "vallning", där enkätresultat som verkade långt ifrån normen styrdes mot ett grupptänkande.

En analys av siffrorna visar på en slående brist på variation i de många senaste mätningarna.

Hur man får bättre omröstningar

Bättre opinionsundersökningar är dyrare eftersom opinionsundersökningarna behöver lägga mer kraft på att få ett representativt och ärligt urval av väljare. Några av de snabba och enkla omröstningar som för närvarande används är främst inriktade på att generera nyheter, med noggrannhet som ett sekundärt mål.

Omröstningens noggrannhet kan ökas genom att betala folk för att delta, och betala dem mer om, som en grupp, de får rätt resultat. Detta är en oprövad idé, men det kan skapa ett starkt incitament för människor att dela sina sanna avsikter.

Samma argument skulle också kunna förbättra opinionsundersökningarnas strategier. Det är, skapa ekonomiska belöningar för att få saker rätt, eller straff för att få dem fel. Dock, med krympande budgetar på nyhetskanaler för att finansiera opinionsundersökningar, det finns ingen anledning att tro att detta problem kommer att lösa sig av sig själv.

Att rösta är ett svårt jobb

En opinionsundersökning riktar sig till de skiftande åsikterna hos en ständigt föränderlig befolkning. Väljare är ofta svåra att nå eller motsträviga. Ändå är en stor del av befolkningen sannolikt missnöjda med mätningarna. De kanske aldrig lyssnar på omröstningar igen, eller vägra att delta i dem, vilket ironiskt nog kommer att göra undersökningsledarens jobb ännu svårare.

Valopinionsundersökningar är som straffar vid en VM-final:det finns ett enormt tryck på att få det rätt och vi minns de stora missarna mest av allt. Men till nästa VM är vi tillbaka och tittar på straffarna, eftersom ingen har kommit på ett bättre system för att bedöma den nationella stämningen.

Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.