Våra liv påverkas alltmer av algoritmer. Människor kan nekas lån, jobb, försäkringar, eller till och med villkorlig frigivning på grundval av riskpoäng som de producerar.

Ändå är algoritmer notoriskt benägna att fördomar. Till exempel, Algoritmer som används för att bedöma risken för brottslig återfall i brott har ofta högre felfrekvens i etiska minoritetsgrupper. Som ProPublica fann, COMPAS-algoritmen – allmänt använd för att förutsäga återfall i brott i USA:s straffrättsliga system – hade en högre falsk positiv frekvens hos svarta än hos vita människor; svarta människor var mer benägna att felaktigt förutspås begå brott igen.

Fynd som dessa har fått en del att hävda att algoritmer är orättvisa eller diskriminerande. Som svar, AI-forskare har försökt producera algoritmer som undviker, eller åtminstone minimera, orättvisa, till exempel, genom att jämna ut falska positiva siffror mellan olika rasgrupper. Nyligen, en MIT-grupp rapporterade att de hade utvecklat en ny teknik för att ta bort bias ur algoritmer utan att kompromissa med noggrannheten. Men är fixeringsalgoritmer det bästa sättet att bekämpa orättvisor?

Det beror på vilken typ av rättvisa vi är ute efter. Moraliska och politiska filosofer kontrasterar ofta två typer av rättvisa:processuell och materiell. En regel, procedur, eller handlingssätt, är processuellt rättvist när det är rättvist oberoende av de resultat det orsakar. En fotbollsdomares beslut kan vara rättvist, oavsett hur det påverkar spelets resultat, helt enkelt för att beslutet fattades på grundval av en opartisk tillämpning av reglerna. Eller en förälders behandling av sina två barn kan vara rättvis eftersom den inte visar någon partiskhet eller favoritism, även om det får till följd att det ena barnets liv går mycket bättre än det andras.

Däremot något som är i huvudsak rättvist ger rättvisa resultat. Anta att en fotbollsdomare dömer ut en mjuk straff till ett lag som ligger under med 1-0 eftersom hon tror att det andra lagets ledning var resultatet av ren tur. Som ett resultat, matchen slutar oavgjort 1-1. Detta beslut verkar processuellt orättvist – domaren tillämpar reglerna mindre strängt på det ena laget än det andra. Men om oavgjort återspeglar de två lagens relativa prestation, det kan vara materiellt rättvist.

Alternativt föreställ dig att en mamma och pappa gynnar olika barn. Varje förälder behandlar det missgynnade barnet orättvist, i processuell mening. Men om slutresultatet blir att de två barnen får lika kärlek, då kan deras agerande vara i sak rättvist.

Vad är rättvist?

AI-forskare som är oroade över rättvisa har, för det mesta, varit fokuserad på att utveckla algoritmer som är processuellt rättvisa – rättvisa i kraft av egenskaperna hos själva algoritmerna, inte effekterna av deras utplacering. Men vad händer om det är materiell rättvisa som verkligen betyder något?

Det finns vanligtvis en spänning mellan procedurmässig rättvisa och noggrannhet – försök att uppnå de vanligast förespråkade formerna av processuell rättvisa ökar algoritmens totala felfrekvens. Ta COMPAS-algoritmen till exempel. Om vi ​​utjämnade de falska positiva siffrorna mellan svarta och vita människor genom att ignorera prediktorerna för återfall som tenderade att vara oproportionerligt besatt av svarta människor, det sannolika resultatet skulle vara en förlust av total noggrannhet, med fler människor som felaktigt förutspås att återvända, eller inte förolämpa sig igen.

Vi skulle kunna undvika dessa svårigheter om vi fokuserade på saklig snarare än processuell rättvisa och helt enkelt utformade algoritmer för att maximera noggrannheten, samtidigt som de blockerar eller kompenserar för alla väsentligt orättvisa effekter som dessa algoritmer kan ha. Till exempel, istället för att försöka se till att fel förutsägelser om brott drabbar olika rasgrupper lika – ett mål som i alla fall kan vara ouppnåeligt – skulle vi istället kunna se till att dessa algoritmer inte används på sätt som missgynnar de som löper hög risk. Vi skulle kunna erbjuda människor som anses vara "högrisk" rehabiliterande behandlingar snarare än, säga, utsätta dem för ytterligare fängelse.

Alternativt vi skulle kunna vidta åtgärder för att kompensera en algoritms tendens att tilldela vissa grupper högre risk än andra – erbjuda risksänkande rehabiliteringsprogram i första hand till svarta människor, till exempel.

Att sträva efter väsentlig rättvisa utanför algoritmens design skulle lämna algoritmdesigner fria att fokusera på att maximera noggrannheten, med rättvisa kvar till statliga tillsynsmyndigheter, med sakkunnig och demokratisk input. Detta tillvägagångssätt har varit framgångsrikt på andra områden. Inom medicin, till exempel, läkare fokuserar på att främja sina patienters välbefinnande medan hälsofinansiärer och beslutsfattare främjar en rättvis fördelning av sjukvårdsresurser mellan patienter.

I sak eller förfarande

Självklart, de flesta av oss skulle vara ovilliga att helt ge upp den processuella rättvisan. Om en domare straffar varje mindre överträdelse av ett lag, samtidigt som man låter en annan komma undan med stora fouls, vi skulle tro att något hade gått fel – även om rätt lag vinner. Om en domare ignorerar allt en svarande säger och lyssnar uppmärksamt på målsäganden, vi skulle tycka att det här var orättvist, även om den tilltalade är en jetset-miljardär som skulle även om man befinns skyldig, ha det mycket bättre än en mer förtjänt kärande.

Vi bryr oss om rättvisa i förfarandet. Ändå är materiell rättvisa ofta viktigare – åtminstone, många av oss har intuitioner som verkar stämma överens med detta. En del av oss tycker att presidenter och monarker borde ha möjlighet att erbjuda benådningar till dömda förövare, även om detta tillämpar juridiska regler inkonsekvent – ​​låter vissa, men inte andra, slipper undan. Varför tror man att detta är motiverat? Kanske för att benådningar bidrar till att säkerställa materiell rättvisa där processuellt rättvisa processer resulterar i orättvist hårda konsekvenser.

Många av oss tycker också att positiv särbehandling är motiverat, även när det ser ut, ytligt sett, att vara processuellt orättvis, eftersom det ger vissa grupper större hänsyn än andra. Kanske tolererar vi denna orättvisa eftersom, genom att mildra effekterna av tidigare förtryck, positiv särbehandling tenderar att främja materiell rättvisa.

Om materiell rättvisa i allmänhet är viktigare än processuell rättvisa, Att motverka partiska algoritmer genom ändringar av algoritmisk design kanske inte är den bästa vägen till rättvisa trots allt.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.