Algoritmer är en stapelvara i det moderna livet. Människor förlitar sig på algoritmiska rekommendationer för att vada genom djupa kataloger och hitta de bästa filmerna, rutterna, informationen, produkterna, människorna och investeringarna. Eftersom människor tränar algoritmer på sina beslut – till exempel algoritmer som ger rekommendationer om e-handel och sociala medier – lär sig algoritmer och kodar mänskliga fördomar.
Algoritmiska rekommendationer uppvisar partiskhet mot populära val och information som väcker upprördhet, till exempel partiska nyheter. På en samhällelig nivå vidmakthåller och förstärker algoritmiska fördomar strukturell rasfördom i rättssystemet, könsfördom hos de personer som företag anställer och ojämlikhet i rikedom i stadsutveckling.
Algoritmisk bias kan också användas för att minska mänsklig bias. Algoritmer kan avslöja dolda strukturella fördomar i organisationer. I en artikel publicerad i Proceedings of the National Academy of Science , fann mina kollegor och jag att algoritmisk fördom kan hjälpa människor att bättre känna igen och korrigera fördomar i sig själva.
I nio experiment fick Begum Celikitutan, Romain Cadario och jag forskningsdeltagare att betygsätta Uber-förare eller Airbnb-listor på deras körförmåga, pålitlighet eller sannolikheten att de skulle hyra annonsen. Vi gav deltagarna relevant information, som antalet resor de hade kört, en beskrivning av fastigheten eller ett stjärnbetyg. Vi inkluderade också en irrelevant fördomsfull information:ett fotografi avslöjade förares ålder, kön och attraktivitet, eller ett namn som antydde att listvärdarna var vita eller svarta.
Efter att deltagarna gjort sina betyg visade vi dem en av två betygssammanfattningar:en som visar deras egna betyg eller en som visar betygen för en algoritm som tränats på deras betyg. Vi berättade för deltagarna om fördomsfunktionen som kan ha påverkat dessa betyg; till exempel att Airbnb-gäster är mindre benägna att hyra av värdar med distinkt afroamerikanska namn. Vi bad dem sedan bedöma hur mycket inflytande partiskheten hade på betygen i sammanfattningarna.
Oavsett om deltagarna bedömde det negativa inflytandet av ras, ålder, kön eller attraktionskraft, såg de mer partiskhet i betyg gjorda av algoritmer än de själva. Denna algoritmiska spegeleffekt avgjorde om deltagarna bedömde betygen av riktiga algoritmer eller om vi visade deltagarna deras egna betyg och bedrägligt berättade för dem att en algoritm gjorde dessa betyg.
Deltagarna såg mer partiskhet i besluten av algoritmer än i sina egna beslut, även när vi gav deltagarna en kontantbonus om deras fördomsbedömningar matchade de bedömningar som gjorts av en annan deltagare som såg samma beslut. Den algoritmiska spegeleffekten höll i sig även om deltagarna tillhörde den marginaliserade kategorin – till exempel genom att identifiera sig som en kvinna eller som svart.
Forskningsdeltagare kunde se fördomar i algoritmer tränade på sina egna beslut som de kunde se fördomar i andra människors beslut. Deltagarna var också mer benägna att se inflytandet av rasfördomar i beslut av algoritmer än i sina egna beslut, men de var lika benägna att se inflytandet av försvarbara egenskaper, som stjärnbetyg, på beslut av algoritmer och på sina egna. beslut.
Människor ser mer av sina fördomar i algoritmer eftersom algoritmerna tar bort människors blinda fläckar. Det är lättare att se fördomar i andras beslut än i dina egna eftersom du använder olika bevis för att utvärdera dem.
När du undersöker dina beslut med avseende på partiskhet söker du efter bevis på medveten partiskhet – oavsett om du tänkte på ras, kön, ålder, status eller andra omotiverade egenskaper när du bestämmer dig. Du förbiser och ursäktar fördomar i dina beslut eftersom du saknar tillgång till det associativa maskineriet som driver dina intuitiva bedömningar, där partiskhet ofta utspelar sig. Du kanske tänker:"Jag tänkte inte på deras ras eller kön när jag anställde dem. Jag anställde dem enbart på meriter."
När man undersöker andras beslut för partiskhet saknar man tillgång till de processer de använde för att fatta besluten. Så du undersöker deras beslut för partiskhet, där partiskhet är uppenbar och svårare att ursäkta. Du kanske till exempel ser att de bara anlitade vita män.
Algoritmer tar bort bias blinda fläcken eftersom du ser algoritmer mer som du ser andra människor än dig själv. Algoritmernas beslutsprocesser är en svart låda, liknande hur andra människors tankar är otillgängliga för dig.
Deltagare i vår studie som var mest benägna att visa den blinda fläcken var mest benägna att se mer partiskhet i algoritmernas beslut än i sina egna beslut.
Människor externiserar också fördomar i algoritmer. Att se partiskhet i algoritmer är mindre hotfullt än att se partiskhet i dig själv, även när algoritmer tränas på dina val. Folk lägger skulden på algoritmer. Algoritmer tränas på mänskliga beslut, ändå kallar folk den reflekterade biasen "algoritmisk bias."
Våra experiment visar att människor också är mer benägna att korrigera sina fördomar när de återspeglas i algoritmer. I ett sista experiment gav vi deltagarna en chans att korrigera de betyg de utvärderade. Vi visade varje deltagare sina egna betyg, som vi tillskrev antingen deltagaren eller till en algoritm som tränats på deras beslut.
Deltagarna var mer benägna att korrigera betygen när de tillskrevs en algoritm eftersom de trodde att betygen var mer partiska. Som ett resultat var de slutliga korrigerade betygen mindre partiska när de tillskrevs en algoritm.
Algoritmiska fördomar som har skadliga effekter har dokumenterats väl. Våra resultat visar att algoritmisk bias kan utnyttjas för gott. Det första steget för att korrigera fördomar är att känna igen dess inflytande och riktning. Som speglar som avslöjar våra fördomar kan algoritmer förbättra vårt beslutsfattande.
Journalinformation: Proceedings of the National Academy of Sciences
Tillhandahålls av The Conversation
Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln. 
