Algoritmisk rättvisa blir allt viktigare eftersom allt fler beslut av större betydelse fattas av datorprogram, risken för skada ökar. I dag, algoritmer används redan i stor utsträckning för att fastställa kreditpoäng, vilket kan betyda skillnaden mellan att äga en bostad och att hyra en. Och de används i förutsägande polisarbete, som antyder en sannolikhet för att ett brott kommer att begås, och hur sannolikt det är att en brottsling kommer att begå ett annat brott i framtiden, vilket påverkar straffens svårighetsgrad.

Det är ett problem, säger Adam Smith, professor i datavetenskap vid Boston University, eftersom utformningen av många algoritmer är långt ifrån transparent.

"Många av dessa system är designade av privata företag och deras detaljer är proprietära, säger Smith, som också är en datavetenskaplig fakultetsstipendiat vid Hariri Institute for Computing. "Det är svårt att veta vad de gör och vem som är ansvarig för de beslut de fattar."

Nyligen, Smith och ett gemensamt team av BU-MIT datavetare undersökte detta problem på nytt, hoppas på att lära sig vad, om något, kan göras för att förstå och minimera partiskhet från beslutssystem som är beroende av datorprogram.

BU-forskarna – Smith, Ran Canetti, en professor i datavetenskap och chef för Hariri Institute's Center for Reliable Information Systems and Cyber ​​Security, och Sarah Scheffler (GRS'21), en doktorand i datavetenskap – arbetar med MIT Ph.D. studenter Aloni Cohen, Nishanth Dikkala, och Govind Ramnarayan för att designa system vars beslut om alla delmängder av befolkningen är lika exakta.

Deras arbete antogs nyligen för publicering vid den kommande 2019 Association for Computing Machinery-konferensen om rättvisa, Ansvarighet, och transparens, smeknamnet "ACM FAT."

Forskarna tror att ett system som diskriminerar människor som har haft svårt att upprätta en kredithistorik kommer att vidmakthålla den svårigheten, begränsa möjligheterna för en delmängd av befolkningen och bevara befintliga ojämlikheter. Vad det betyder, de säger, är att automatiserade rankningssystem lätt kan bli självuppfyllande profetior, om de rankar sannolikheten för fallissemang på ett bolån eller kvaliteten på en universitetsutbildning.

"Automatiska system blir allt mer komplexa, och de är ofta svåra att förstå för lekmän och för de människor som beslut fattas om, " säger Smith.

Problemet med självuppfyllande förutsägelser

"Interaktionen mellan algoritmen och mänskligt beteende är sådan att om du skapar en algoritm och låter den köras, det kan skapa ett annat samhälle eftersom människor interagerar med det, " säger Canetti. "Så du måste vara väldigt försiktig med hur du designar algoritmen."

Det problemet, forskarna säger, kommer att bli värre när framtida algoritmer använder fler utdata från tidigare algoritmer som indata.

"När du har samma datorprogram som fattar många beslut, alla fördomar som finns reproduceras många gånger om i större skala, ", säger Smith. "Du får potentialen för en bred samhällsförändring orsakad av ett datorprogram."

Men exakt hur kan en algoritm, som i grunden är en matematisk funktion, vara partisk?

Scheffler föreslår två sätt:"Ett sätt är med partisk data, " säger hon. "Om din algoritm är baserad på historiska data, det kommer snart att lära sig att en viss institution föredrar att acceptera män framför kvinnor. Ett annat sätt är att det finns olika noggrannhet på olika delar av befolkningen, så kanske en algoritm är riktigt bra på att ta reda på om vita människor förtjänar ett lån, men det kan ha hög felfrekvens för personer som inte är vita. Det kan ha 90 procents noggrannhet på en uppsättning av befolkningen och 50 procent på en annan uppsättning."

"Det är vad vi tittar på, " säger Smith. "Vi frågar 'Hur gör systemet misstag?' och "Hur är dessa misstag spridda över olika delar av befolkningen?"

Den verkliga effekten av algoritmisk bias

I maj 2016 reportrar från ProPublica, ett icke-vinstdrivande undersökande nyhetsrum, undersökte noggrannheten hos COMPAS, ett av flera algoritmiska verktyg som används av domstolssystem för att förutsäga återfall i brott, eller sannolikheten att en brottslig åtalad kommer att begå ett annat brott. De första fynden var inte betryggande.

När ProPublica-forskare jämförde verktygets förväntade risk för återfall i brott med faktiska återfallsfrekvenser under de följande två åren, de fann att, i allmänhet, COMPAS gjorde rätt 61 procent av tiden. De fann också att förutsägelser om våldsamt återfall var korrekta endast 20 procent av gångerna.

Mer oroande, de fann att svarta åtalade var mycket mer benägna än vita åtalade att felaktigt bedömas mer benägna att begå brott igen, och vita åtalade var mer benägna än svarta åtalade att felaktigt bedömas som låg risk att återfalla. Enligt ProPublicas artikel, detta var en tydlig demonstration av bias av algoritmen.

Som svar, Northpointe Inc., skaparen av COMPAS, publicerade en annan studie som hävdade att COMPAS-algoritmen faktiskt är rättvis enligt ett annat statistiskt mått på bias:kalibrering. Northpointes programvara används flitigt, och som många algoritmiska verktyg, dess beräkningar är proprietära, men företaget berättade för ProPublica att dess formel för att förutsäga vem som kommer att återfalla är härledd från svar på 137 frågor vars svar kommer antingen från åtalade eller från kriminalregister.

Northpointes studie fann att för varje riskpoäng, andelen vita svarande som fick detta poäng och återtogs (av alla vita svarande som fick poängen) är ungefär lika med andelen svarta svarande som fick poängen och återtogs, av alla svarta anklagade som fick denna poäng.

"ProPublica och Northpointe kom till olika slutsatser i sina analyser av COMPAS rättvisa. båda deras metoder var matematiskt sunda - motsättningen låg i deras olika definitioner av rättvisa, " säger Scheffler.

Summan av kardemumman är att varje ofullständig förutsägelsemekanism (antingen algoritmisk eller mänsklig) kommer att vara partisk enligt åtminstone en av de två metoderna:den felbalanserande metoden som används av ProPublica, och kalibreringsmetoden som gynnas av Northpointe.

Att övervinna algoritmisk bias

När det gällde att lösa problemet med algoritmisk bias, forskargruppen på BU-MIT skapade en metod för att identifiera den delmängd av befolkningen som systemet inte kan bedöma rättvist, och skicka sin recension till ett annat system som är mindre sannolikt att vara partisk. Den separationen garanterar att metoden felar på ett mer balanserat sätt när det gäller de individer som den fattar ett beslut för.

Och medan forskarna fann många situationer där den lösningen verkade fungera bra, de är fortfarande oroade över hur de olika systemen skulle fungera tillsammans. "Det finns många olika mått på rättvisa, " säger Scheffler, "och det finns avvägningar mellan dem. Så i vilken utsträckning är de två systemen förenliga med den uppfattning om rättvisa vi vill uppnå?"

"Vad som händer med de människor vars beslut skulle skjutas upp påverkar verkligen hur vi ser på systemet som helhet, " säger Smith. "Vid det här laget, vi lindar fortfarande våra huvuden kring vad de olika lösningarna skulle innebära."

Fortfarande, säger Canetti, forskningen pekar på en möjlig väg ut ur den statistiska fördomsfrågan, en som skulle kunna möjliggöra utformningen av algoritmer som minimerar bias. Den utmaningen, han säger, kommer att kräva expertis från många discipliner.