Rasfördomar och polisarbete skapade rubriker förra året efter att en studie som undersökte register över dödliga polisskjutningar hävdade att vita poliser inte var mer benägna att skjuta rasminoriteter än icke-vita poliser. Det fanns ett problem:studien baserades på ett logiskt felslut.

Den ursprungliga forskningen räknade antalet dödliga skottlossningar, men aldrig tänkt på hur ofta civila möter poliser, en väsentlig ingrediens för att motivera sitt centrala påstående.

Resultaten väckte en het debatt bland andra akademiker, inklusive två professorer från Princeton University, som tog upp matematiska farhågor om studiens tillvägagångssätt. I dag, de publicerade sin kritik som ett brev i Proceedings of the National Academy of Sciences (PNAS) .

Paret – Dean Knox, biträdande professor i politik, och Jonathan Mummolo, biträdande professor i politik och offentliga angelägenheter — skissera ett antal allvarliga brister i den ursprungliga studien, som fanns med i PNAS den 6 augusti, 2019.

För den ursprungliga studien, forskare från Michigan State University och University of Maryland sammanställde data om 900 dödliga amerikanska polisskjutningar från crowdsourcede databaser. De kontaktade sedan varje polisavdelning, samla in information om rasen för de poliser som är ansvariga för varje dödsolycka.

Forskarna använde sedan skottdata för att förutsäga offrens ras. Specifikt, de visade att när skytten var svart, civilisten som sköts var mer sannolikt svart än vit. Och kontrollerar attributen för det län där skottlossningen inträffade, "förhållandet mellan officer och civil ras försvagades eller eliminerades." Författarna tolkade dessa resultat som bevis på att vita officerare inte är partiska mot svarta civila.

Än, Knox och Mummolo visar att författarnas slutsatser bygger på antagandet att svarta och vita officerare möter svarta och vita civila i lika många. Knox och Mummolo visar detta formellt, men ett enkelt tankeexperiment illustrerar också det konceptuella problemet.

Föreställ dig att en vit officer möter 90 vita civila och 10 svarta, medan en svart officer möter 90 svarta civila och 10 vita, båda under identiska omständigheter. Om båda officerarna sköt fem svarta och nio vita civila, resultaten skulle – enligt resonemanget i den ursprungliga studien – inte tyckas visa någon rasfördom.

Dock, när man tar hänsyn till mötesfrekvenser, man skulle se den vita officeren skjuta 50 % av de svarta civila han eller hon såg medan den svarte officeren sköt 5,6 %. Därför, misslyckande med att införliva information om mötesfrekvenser döljer rasfördomar.

Uppgifterna från den ursprungliga studien inkluderar också bara registreringar av skottlossningar, ignorerar alla andra polis-civila möten. Och det tar inte hänsyn till att alla poliser – vita och icke-vita – kunde, i teorin, vara partisk i att skjuta svarta män.

Denna kritik har ett antal konsekvenser för hur data samlas in för forskning och de riktmärken som används för analys.

"Nya uppgifter om polisens beteende kommer online hela tiden, och det är bra ur forskningssynpunkt, ", sade Mummolo. "Men all data i världen förnekar inte behovet av att följa grundläggande principer om statistisk teori och kausal slutledning. Studier av rasfördomar kräver yttersta rigoritet, och när uppenbara misstag görs, de måste korrigeras snabbt. Att låta bevisligen falska resultat stå ohotat riskerar att förvirra allmänheten och lagstiftare i en av vår tids mest angelägna politiska frågor."

Efter att deras kritik först avvisades av PNAS , Mummolo publicerade en Twitter-tråd som lyfte fram de matematiska problemen i samband med den ursprungliga studien i augusti 2019. Teamet publicerade också sin analys på preprint-servern SSRN.

Som svar på kritiken, författarna till originaltidningen släppte ett formellt svar, Att ange deras påstående om den relativa sannolikheten för att vita och svarta officerare skjuter rasminoriteter stöddes inte, men tillägger att de ursprungliga fynden, "som beskrivs i det manuskriptet, i stort sett vara oförändrade."

Knox och Mummolo överklagade sedan avslaget kl PNAS , och deras kritik accepterades.

Brevet, "Att dra slutsatser om rasskillnader i politiskt våld, " dök upp i PNAS den 20 januari.