Algoritmer var tänkta att göra våra liv enklare och mer rättvisa:hjälpa oss att hitta de bästa jobbsökandena, hjälpa domare att opartiskt bedöma riskerna med borgen och borgensbeslut och se till att hälsovård levereras till patienterna med störst behov. Men vid det här laget vet vi att algoritmer kan vara lika partiska som de mänskliga beslutsfattare de informerar och ersätter.
Tänk om det inte var en dålig sak?
Ny forskning av Carey Morewedge, professor i marknadsföring vid Boston University Questrom School of Business och Everett W. Lord Distinguished Faculty Scholar, fann att människor känner igen mer av sina fördomar i algoritmernas beslut än de gör i sina egna – även när dessa beslut är samma. Forskningen, publicerad i Proceedings of the National Academy of Sciences , föreslår sätt som medvetenhet kan hjälpa mänskliga beslutsfattare att känna igen och korrigera för sina fördomar.
"Ett socialt problem är att algoritmer lär sig och i stor skala rullar ut fördomar i de mänskliga beslut som de utbildats i", säger Morewedge, som också är ordförande för Questroms marknadsavdelning. Till exempel:2015 testade Amazon (och skrotade snart) en algoritm för att hjälpa sina anställningschefer att filtrera igenom arbetssökande. De fann att programmet ökade cv som det uppfattade komma från manliga sökande och nedgraderade dem från kvinnliga sökande, ett tydligt fall av könsfördomar.
Men samma år var bara 39 procent av Amazons arbetsstyrka kvinnor. Om algoritmen hade tränats på Amazons befintliga anställningsdata, är det inte konstigt att den prioriterade manliga sökande – det var Amazon redan. Om dess algoritm hade en könsfördom, "är det för att Amazons chefer var partiska i sina anställningsbeslut", säger Morewedge.
"Algorithmer kan kodifiera och förstärka mänsklig fördom, men algoritmer avslöjar också strukturella fördomar i vårt samhälle", säger han. "Många fördomar kan inte observeras på individnivå. Det är svårt att bevisa fördomar, till exempel i ett enda anställningsbeslut. Men när vi lägger ihop beslut inom och mellan personer, som vi gör när vi bygger algoritmer, kan det avslöja strukturella fördomar i våra system och organisationer."
Morewedge och hans medarbetare – Begüm Çeliktutan och Romain Cadario, båda vid Erasmus University i Nederländerna – utarbetade en serie experiment för att reta ut människors sociala fördomar (inklusive rasism, sexism och ålderism).
Teamet jämförde sedan forskardeltagarnas erkännande av hur dessa fördomar färgade deras egna beslut kontra beslut som fattats av en algoritm. I experimenten såg deltagarna ibland besluten av riktiga algoritmer. Men det fanns en hake:andra gånger var besluten som tillskrivs algoritmer faktiskt deltagarnas val, i förklädnad.
Över hela linjen var deltagarna mer benägna att se partiskhet i de beslut de trodde kom från algoritmer än i deras egna beslut. Deltagarna såg också lika mycket partiskhet i besluten av algoritmer som de gjorde i andra människors beslut. (Människor känner i allmänhet bättre igen bias hos andra än hos sig själva, ett fenomen som kallas bias blind spot.) Deltagarna var också mer benägna att korrigera för partiskhet i dessa beslut i efterhand, ett avgörande steg för att minimera bias i framtiden.
Forskarna körde uppsättningar av deltagare, mer än 6 000 totalt, genom nio experiment. I det första betygsatte deltagarna en uppsättning Airbnb-listor, som inkluderade lite information om varje annons:dess genomsnittliga betyg (på en skala från 1 till 5) och värdens namn. Forskarna tilldelade dessa fiktiva listor till värdar med namn som var "särskilt afroamerikanska eller vita", baserat på tidigare forskning som identifierade rasfördomar, enligt tidningen. Deltagarna bedömde hur sannolikt det var att de skulle hyra varje annons.
Under andra halvan av experimentet fick deltagarna veta om ett forskningsresultat som förklarade hur värdens ras kan påverka betygen. Sedan visade forskarna deltagarna en uppsättning betyg och bad dem att bedöma (på en skala från 1 till 7) hur troligt det var att partiskhet hade påverkat betygen.
Deltagarna såg antingen sitt eget betyg reflekterats tillbaka till dem, sitt eget betyg under täckmantel av en algoritm, sitt eget betyg under täckmantel av någon annans, eller ett faktisk algoritmbetyg baserat på deras preferenser.
Forskarna upprepade denna inställning flera gånger och testade för ras, kön, ålder och attraktionskraft i profilerna för Lyft-förare och Airbnb-värdar. Varje gång var resultaten konsekventa. Deltagare som trodde att de såg en algoritms betyg eller någon annans betyg (oavsett om de faktiskt var det eller inte) var mer benägna att uppfatta partiskhet i resultaten.
Morewedge tillskriver detta till de olika bevis vi använder för att bedöma partiskhet hos andra och partiskhet hos oss själva. Eftersom vi har insikt i vår egen tankeprocess, säger han, är vi mer benägna att spåra tillbaka genom vårt tänkande och besluta att det inte var partiskt, kanske driven av någon annan faktor som ingick i våra beslut. När vi analyserar andra människors beslut är det enda vi behöver bedöma resultatet.
"Låt oss säga att du organiserar en panel av talare för ett evenemang," säger Morewedge. "Om alla dessa talare är män, kan du säga att resultatet inte var resultatet av könsfördomar eftersom du inte ens tänkte på kön när du bjöd in dessa talare. Men om du var på det här evenemanget och såg en panel med alla -manliga talare, det är mer sannolikt att du drar slutsatsen att det fanns en könsfördom i urvalet."
Faktum är att i ett av sina experiment fann forskarna att deltagare som var mer benägna att denna blinda fläck för bias också var mer benägna att se partiskhet i beslut som tillskrivs algoritmer eller andra än i sina egna beslut. I ett annat experiment upptäckte de att människor lättare såg sina egna beslut påverkade av faktorer som var ganska neutrala eller rimliga, såsom en Airbnb-värds stjärnbetyg, jämfört med en fördomsfull fördom, såsom ras – kanske för att de erkände att de föredrog en fem- stjärnuthyrning är inte lika hotande för ens självkänsla eller hur andra kan se oss, föreslår Morewedge.
I forskarnas sista experiment gav de deltagarna en chans att korrigera fördomar i antingen sina betyg eller betygen av en algoritm (verklig eller inte). Folk var mer benägna att korrigera algoritmens beslut, vilket minskade den faktiska snedvridningen i dess betyg.
Det här är det avgörande steget för Morewedge och hans kollegor, säger han. För alla som är motiverade att minska partiskhet är det första steget att kunna se det. Deras forskning visar att algoritmer kan användas som speglar – ett sätt att identifiera fördomar även när människor inte kan se det i sig själva.
"Just nu tycker jag att litteraturen om algoritmisk bias är dyster," säger Morewedge. "Mycket av det säger att vi behöver utveckla statistiska metoder för att minska fördomar i algoritmer. Men en del av problemet är att fördomar kommer från människor. Vi borde arbeta för att göra algoritmer bättre, men vi borde också arbeta för att göra oss själva mindre partiska.
"Det som är spännande med det här arbetet är att det visar att algoritmer kan kodifiera eller förstärka mänsklig fördom, men algoritmer kan också vara verktyg för att hjälpa människor att bättre se sina egna fördomar och korrigera dem", säger han. "Algorithmer är ett tveeggat svärd. De kan vara ett verktyg som förstärker våra värsta tendenser. Och algoritmer kan vara ett verktyg som kan hjälpa oss att förbättra oss själva."
Mer information: Carey K. Morewedge et al, Människor ser mer av sina fördomar i algoritmer, Proceedings of the National Academy of Sciences (2024). DOI:10.1073/pnas.2317602121. doi.org/10.1073/pnas.2317602121
Journalinformation: Proceedings of the National Academy of Sciences
Tillhandahålls av Boston University
