New South Wales Bureau of Crime Statistics and Research (BOCSAR) hävdade nyligen Sydneys regler för alkohollicens, allmänt känd som lockoutlagar, minskade övergrepp utanför hemmet med 13 % i CBD. Dess beräkning grundade sig på ett beslut att tilldela 1, 837 av dessa brott mot både Kings Cross och CBD – det vill säga, dubbelräkning av uppgifterna. Vår analys fann att detta beslut var avgörande för slutsatsen att övergreppen minskade i CBD. För vartannat val om de områden till vilka brottsdata allokerades och typ av analys fann vi ingen minskning.

Våra resultat lyfter fram en viktig fråga:hur fungerar valen av datainsamling, förbearbetning och analys påverkar policybeslut?

Fördelningen av brott till områden är bara ett av flera val som görs när man använder data för att bedöma politiska effekter. Andra val inkluderar hur man mäter våldsbrott, vilken tidsperiod som ska beaktas och den geografiska omfattningen av de områden som ska inkluderas. Frågan är:om andra val gjordes, skulle resultaten påverka ett beslut att upphäva eller fortsätta med lagarna?

Våra resultat pekar på behovet av att följa ett par principer när man använder data för att informera om politik. Först, institutionen som samlar in data och institutionen som analyserar data bör vara oberoende av varandra. Andra, vi behöver så mycket transparens som möjligt om data och dess analys.

Så vad exakt visade analyserna?

BOCSAR valde att använda månatliga misshandel utanför hemmet från 2009 och framåt. Det är inget fel med dessa val, men andra kunde ha gjorts.

Till exempel, varför från 2009 och framåt, inte från 2005? Varför varje månad, inte dagligen? Varför rapporterade misshandel utanför hemmet, inte anmälda övergrepp som vållade grov kroppsskada? Varför dela upp området endast i CBD och Kings Cross?

Ett sätt att bedöma effekten av sådana val är att använda olika delmängder av data, olika typer av dataförbehandling och olika statistiska och/eller maskininlärningstekniker. Om slutsatsen fortfarande är densamma, då är vårt beslut robust mot denna källa till variation. Om inte, vi måste förstå varför.

För Kings Cross-området, analysen av Center for Translational Data Science vid University of Sydney visade att slutsatsen förblev oförändrad oavsett frekvens och period under vilken data samlades in och analysen utfördes. Misshandel utanför hemmet hade minskat efter införandet av lockoutlagarna 2014.

För CBD gällde det omvända. Bara om vi gör exakt samma val som BOCSAR, i synnerhet att tilldela 1, 837 brott mot både CBD och King Cross, kan vi dra slutsatsen att misshandel utanför hemmet hade minskat mycket något.

Under alla andra varianter av analyserna, inklusive data, metodik och rumslig tilldelning av dessa uppgifter, vi hittade ingen minskning. Icke-hemska övergrepp i CBD hade minskat sedan 2008 och, om något, långsammare efter att lockoutlagarna trädde i kraft.

Så varför inkluderades 1, 837 brott så avgörande för slutsatserna om CBD?

Med hjälp av data från BOCSAR, vi ritade den mest sannolika platsen för dessa 1, 837 brott. Figur 1 visar att dessa brott huvudsakligen inträffade i Kings Cross, ett område där brottsfrekvensen hade sjunkit sedan 2014. Vi säger "mest troligt läge" eftersom vi ännu inte har fått de ytterligare uppgifter som vi begärde från BOCSAR för att hjälpa oss att hitta exakt var dessa brott inträffade.

Med borttagandet av dessa 1, 837 brott från CBD, vi upptäckte ingen minskning av misshandel utanför hemmet. Men det gjorde tydligen BOCSAR. Efter att ha tagit bort dessa brott från CBD, BOCSAR släppte en uppdaterad rapport till en parlamentarisk utredning om Sydneys nattekonomi. Denna rapport hävdade att övergrepp i CBD minskade med 4 % (mycket mindre än de ursprungliga 13 %).

Utskottet bad sedan om våra synpunkter. Vi fann att rapporten inte gav något konfidensintervall för denna minskning. Ändå gjorde rapporten en dygd av att rapportera osäkerhetsuppskattningar för andra kvantiteter och på andra ställen hävdade den "statistiskt signifikanta" resultat.

Vi replikerade BOCSAR:s analys och fann att förändringen i brottslighet kunde ha varit så låg som en minskning med 12 % och så hög som en ökning med 6 %. Med andra ord, resultatet är "statistiskt insignifikant".

Vilka är konsekvenserna för att utforma politik?

Varför spelar detta roll? Det finns två skäl.

Först, faran med att inte förklara, Att kvantifiera och rapportera osäkerhet är att allmänheten tappar förtroendet för datadrivet policyskapande. Endast om slutsatserna erkänner och förklarar den osäkerhet som är inneboende i att sluta sig till komplexa kvantiteter från data kan vi fatta robusta och förklarliga politiska beslut som skapar förtroende hos allmänheten.

Andra, om vi inte accepterar och rapporterar osäkerhet kan vi sluta leta efter andra förklaringar. Vi kanske då misslyckas med att uppnå ett resultat som alla vill ha:en minskning av våldet och en sund nattekonomi.

Hur går vi vidare härifrån? Vi kommer med två rekommendationer:

1. Den institution som samlar in och kurerar uppgifterna bör vara distinkt, informerad men oberoende av den eller de institutioner som analyserar uppgifterna.
2. Det bör finnas så mycket datatransparens som möjligt, som skulle göra det möjligt för olika grupper att utföra olika typer av analyser, använda olika datakällor.

Vi är nästan säkra på att dessa olika grupper skulle ge olika resultat, men den efterföljande diskussionen skulle kunna ge insikter som för oss närmare mer robusta och acceptabla politiska beslut.

För att citera Nobelprisvinnande fysikern Richard Feynman:"Om vi ​​bara tillåter det, när vi går framåt, vi förblir osäkra, vi kommer att lämna möjligheter till alternativ ... för att göra framsteg, man måste lämna dörren till det okända på glänt."

Den parlamentariska kommitténs rekommendation att BOCSAR och Center for Translational Data Science samarbetar närmare verkar göra just det. Vi ser fram emot ett pågående samarbete för att öka vår förståelse för drivkrafterna bakom våldsbrott.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.