Dina pengar, postnummer, vänner och familj kan göra stor skillnad för hur det kriminella systemet behandlar dig.
Polisen i New South Wales skrotade nyligen ett allmänt fördömt program känt som Suspect Targeting Management Plan. Den använde algoritmiska riskpoäng för att peka ut "mål", några så unga som 10 år gamla, för polisövervakning.
Men liknande program finns kvar. Till exempel använder Corrective Services NSW ett statistiskt bedömningsverktyg som heter LSI-R för att förutsäga om fångar kommer att begå återfall.
"Högrisk"-fångar får "högintensiva ingripanden" och kan nekas villkorlig frigivning. Riskpoängen beräknas utifrån fakta som "kriminella vänner", familjens inblandning i brott eller droger, ekonomiska problem, att bo i ett "högt brottsligt område" och frekventa adressbyten.
En prediktiv algoritm är en uppsättning regler för datorer (och ibland människor) att följa, baserat på mönster i data. Det har skrivits mycket om hur algoritmer diskriminerar oss, från partiska sökmotorer till hälsodatabaser.
I min nyutgivna bok, Artificiell rättvisa, hävdar jag att användningen av verktyg som förutsäger vårt beteende baserat på faktorer som fattigdom eller familjebakgrund borde oroa oss också. Om vi överhuvudtaget blir straffade borde det bara vara för det vi har gjort fel, inte för de kort vi har fått.
Algoritmer genererar riskpoäng som används i straffrättssystem över hela världen. I Förenade kungariket används OASys (Offender Assessment System) som en del av informationen före domarna som ges till domare – det formar beslut om borgen, villkorlig frigivning och dom. I USA gör ett verktyg som kallas COMPAS något liknande.
Riskpoäng används även utanför straffrättsliga frågor, och de behöver inte alltid datorer för att generera dem. En kort undersökning känd som Opioid Risk Tool hjälper läkare i Australien och över hela världen att besluta om de ska ordinera smärtlindring för akuta och kroniska sjukdomar, genom att förutsäga om patienter kommer att missbruka sina mediciner.
Prediktiva algoritmer räddar bokstavligen liv:de används för att allokera donatororgan, triagera patienter och fatta akuta medicinska behandlingsbeslut. Men de kan också skapa och upprätthålla omotiverade ojämlikheter.
Föreställ dig att vi utvecklar en algoritm - "CrimeBuster" - för att hjälpa polisen att patrullera "hot spots". Vi använder data som kopplar brott till områden befolkade av familjer med lägre inkomster. Eftersom vi inte kan mäta "brottslighet" direkt, tittar vi istället på gripande.
Ändå kan det faktum att antalet arresteringar är höga i dessa områden bara säga oss att polisen lägger mer tid på att patrullera dem. Om det inte finns någon motivering för detta intensiva polisarbete, skulle utrullningen av CrimeBuster ge dessa fördomar status som policy.
Problemet förvärras när vi använder statistik för att göra förutsägelser om avsiktliga handlingar – de saker som vi väljer att göra.
Detta kan vara en förutsägelse om huruvida någon kommer att vara en "giftig" anställd, begå brott eller missbruka droger.
De faktorer som påverkar dessa förutsägelser publiceras sällan. För den brittiska straffmätningsalgoritmen OASys inkluderar de om någon har blivit utsatt för våld i hemmet.
Det amerikanska COMPAS-systemet fångar föräldrars skilsmässa och övergrepp i barndomen. Opioidriskverktyget frågar om patientens familj har en historia av drogmissbruk, och om patienten (om kvinna) har en historia av "preadolescent sexuella övergrepp."
I varje fall gör dessa fakta det mer sannolikt att någon hamnar i fängelse, missar medicinsk behandling och så vidare.
Vi vill alla ha chansen att göra val som är sanna för vem vi är, och möta våra behov och mål. Och vi vill ha samma valmöjligheter som andra människor, snarare än att pekas ut som oförmögna att välja bra.
När vi straffar någon på grund av fakta som de inte lätt kan påverka, gör vi just detta:vi behandlar den personen som om de helt enkelt inte kan låta bli att göra dåliga val.
Problemet är inte användningen av algoritmer i sig. På 1800-talet hävdade den italienske läkaren Cesare Lombroso att vi kunde identifiera "den födda brottslingen" utifrån fysiska egenskaper – en missformad skalle, bred käke, långa lemmar eller stora öron.
Inte långt därefter sprang den brittiske kriminologen Charles Goring med denna idé och hävdade att vissa "defekta" mentala egenskaper gjorde "fängelsets öde" oundvikligt.
Algoritmer gör det helt enkelt mycket svårare att se vad som händer i världen av riskbedömning av brott.
Men när vi tittar visar det sig att det som händer är något som liknar Lombroso-Gorings vision:vi behandlar människor som om de är ödesdigra att göra fel, och låser in dem (eller håller dem inlåsta) för säkerhets skull.
Offentliga organ bör åläggas att offentliggöra fakta som ligger till grund för förutsägelserna bakom sådana beslut. Maskininlärning bör endast användas om och i den mån dessa publiceringskrav kan uppfyllas. Detta gör det lättare att föra meningsfulla samtal om var man ska dra gränsen.
I straffrättsliga sammanhang är den linjen tydlig. Vi bör bara dela ut hårdare straff för dåligt beteende, inte andra fysiska, mentala eller sociala egenskaper. Det finns gott om riktlinjer som tar detta tillvägagångssätt, och det är den linje som australiensiska institutioner bör följa.
När påföljder för deras brott har tillämpats bör fångar inte behandlas annorlunda eller låsas in längre på grund av sina vänner och familj, deras ekonomiska status eller det sätt på vilket de har behandlats av andra.
Tillhandahålls av The Conversation
Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln. 
