Amazon bestämde sig för att stänga av sitt rekryteringsverktyg för experimentell artificiell intelligens (AI) efter att ha upptäckt att det diskriminerade kvinnor. Företaget skapade verktyget för att trawla webben och hitta potentiella kandidater, betygsätta dem från en till fem stjärnor. Men algoritmen lärde sig att systematiskt nedgradera kvinnors CV för tekniska jobb som mjukvaruutvecklare.

Även om Amazon ligger i framkant av AI-teknik, företaget kunde inte hitta ett sätt att göra sin algoritm könsneutral. Men företagets misslyckande påminner oss om att AI utvecklar fördomar från en mängd olika källor. Även om det finns en vanlig uppfattning att algoritmer är tänkta att byggas utan någon av de fördomar eller fördomar som färgar mänskligt beslutsfattande, Sanningen är att en algoritm oavsiktligt kan lära sig bias från en mängd olika källor. Allt från data som används för att träna den, till människorna som använder den, och även till synes orelaterade faktorer, alla kan bidra till AI-bias.

AI-algoritmer är tränade för att observera mönster i stora datamängder för att hjälpa till att förutsäga resultat. I Amazons fall, dess algoritm använde alla CV:n som lämnats in till företaget under en tioårsperiod för att lära sig att hitta de bästa kandidaterna. Med tanke på den låga andelen kvinnor som arbetar i företaget, som i de flesta teknikföretag, Algoritmen upptäckte snabbt manlig dominans och trodde att det var en framgångsfaktor.

Eftersom algoritmen använde resultaten av sina egna förutsägelser för att förbättra dess noggrannhet, det fastnade i ett mönster av sexism mot kvinnliga kandidater. Och eftersom data som användes för att träna den skapades någon gång av människor, det betyder att algoritmen också ärvde oönskade mänskliga egenskaper, som partiskhet och diskriminering, som också har varit ett problem vid rekrytering i flera år.

Vissa algoritmer är också utformade för att förutsäga och leverera vad användarna vill se. Detta ses vanligtvis på sociala medier eller i onlineannonsering, där användare visas innehåll eller annonser som en algoritm tror att de kommer att interagera med. Liknande mönster har också rapporterats inom rekryteringsbranschen.

En rekryterare rapporterade att när han använde ett professionellt socialt nätverk för att hitta kandidater, AI lärde sig att ge honom resultat som mest liknar de profiler han först engagerade sig med. Som ett resultat, Hela grupper av potentiella kandidater togs systematiskt bort från rekryteringsprocessen helt.

Dock, partiskhet uppstår också av andra orelaterade skäl. En nyligen genomförd studie av hur en algoritm levererade annonser som marknadsför STEM-jobb visade att män var mer benägna att se annonsen, inte för att män var mer benägna att klicka på den, utan för att kvinnor är dyrare att annonsera för. Eftersom företag prissätter annonser som riktar sig till kvinnor i en högre takt (kvinnor driver 70 % till 80 % av alla konsumentköp), Algoritmen valde att visa annonser mer till män än till kvinnor eftersom den var utformad för att optimera annonsvisningen samtidigt som kostnaderna hölls nere.

Men om en algoritm bara återspeglar mönster i den data vi ger den, vad dess användare gillar, och de ekonomiska beteenden som förekommer på dess marknad, är det inte orättvist att skylla på det för att bevara våra värsta egenskaper? Vi förväntar oss automatiskt att en algoritm fattar beslut utan någon diskriminering när detta sällan är fallet med människor. Även om en algoritm är partisk, det kan vara en förbättring jämfört med nuvarande status quo.

För att dra full nytta av att använda AI, det är viktigt att undersöka vad som skulle hända om vi tillät AI att fatta beslut utan mänsklig inblandning. En studie från 2018 undersökte det här scenariot med borgensbeslut med hjälp av en algoritm som tränats på historiska brottsdata för att förutsäga sannolikheten för att brottslingar skulle begå brott igen. I en projektion, författarna kunde minska brottsligheten med 25 % samtidigt som de minskade fall av diskriminering hos fängslade fångar.

Ändå skulle vinsterna som lyfts fram i denna forskning bara inträffa om algoritmen faktiskt fattade varje beslut. Detta skulle sannolikt inte hända i den verkliga världen eftersom domare förmodligen skulle föredra att välja om de skulle följa algoritmens rekommendationer eller inte. Även om en algoritm är väl utformad, det blir överflödigt om folk väljer att inte lita på det.

Många av oss litar redan på algoritmer för många av våra dagliga beslut, från vad du kan titta på på Netflix eller köpa från Amazon. Men forskning visar att människor förlorar förtroendet för algoritmer snabbare än människor när de ser dem göra ett misstag, även när algoritmen överlag fungerar bättre.

Till exempel, om din GPS föreslår att du använder en alternativ rutt för att undvika trafik som slutar med att ta längre tid än förutspått, du kommer sannolikt att sluta lita på din GPS i framtiden. Men om du valde den alternativa vägen, det är osannolikt att du slutar lita på ditt eget omdöme. En uppföljningsstudie om att övervinna algoritmaversion visade till och med att människor var mer benägna att använda en algoritm och acceptera dess fel om de fick möjlighet att modifiera algoritmen själva, även om det innebar att det skulle fungera felaktigt.

Medan människor snabbt kan förlora förtroendet för felaktiga algoritmer, många av oss tenderar att lita mer på maskiner om de har mänskliga egenskaper. Enligt forskning om självkörande bilar, människor var mer benägna att lita på bilen och trodde att den skulle prestera bättre om fordonets utökade system hade ett namn, ett specificerat kön, och en mänsklig röst. Dock, om maskiner blir väldigt människolika, men inte riktigt, folk tycker ofta att de är läskiga, vilket kan påverka deras förtroende för dem.

Även om vi inte nödvändigtvis uppskattar bilden som algoritmer kan spegla av vårt samhälle, det verkar som att vi fortfarande är måna om att leva med dem och få dem att se ut och agera som oss. Och om så är fallet, visst kan algoritmer också göra misstag?

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.