Prediktiv modellering ska vara neutral, ett sätt att hjälpa till att ta bort personliga fördomar från beslutsfattande. Men algoritmerna är packade med samma fördomar som är inbyggda i den verkliga data som används för att skapa dem. Whartons statistikprofessor James Johndrow har utvecklat en metod för att ta bort dessa fördomar.

Hans senaste forskning, skrev tillsammans med sin fru, statistiker Kristian Lum, "En algoritm för att ta bort känslig information:Tillämpning på rasoberoende återfallsförutsägelse, " fokuserar på att ta bort information om ras i data som förutsäger återfall, men metoden kan tillämpas utanför det straffrättsliga systemet.

"Inom straffrätten, Det finns mycket användning av algoritmer för saker som vem som kommer att behöva ställa borgen för att komma ur fängelsets förundersökning kontra vem som bara kommer att släppas ut efter eget erkännande, till exempel. Kärnan i detta är denna idé om riskbedömning och att försöka se vem som är mest sannolikt, till exempel, att dyka upp till sina rättegångsdatum, säger Johndrow.

"De potentiella problemen med detta är bara att dessa algoritmer tränas på data som finns i den verkliga världen. Algoritmerna och deras förutsägelser kan baka in allt det här mänskliga som pågår, så det har varit mycket mer uppmärksamhet på sistone för att se till att vissa grupper inte diskrimineras av dessa algoritmer."