Maskininlärning – en form av artificiell intelligens baserad på idén att datorer kan lära sig av data och göra beslut med lite hjälp från människor – har potentialen att förbättra våra liv på otaliga sätt. Från självkörande bilar till mammografi som kan läsa sig själva, maskininlärning förändrar det moderna livet.

Det är lätt att anta att användning av algoritmer för beslutsfattande tar bort mänsklig fördom från ekvationen. Men forskare har funnit att maskininlärning kan ge orättvisa beslut i vissa sammanhang, som att anställa någon för ett jobb. Till exempel, om data som är inkopplad i algoritmen tyder på att män är mer produktiva än kvinnor, maskinen kommer sannolikt att "lära sig" den skillnaden och gynna manliga kandidater framför kvinnliga, missar ingångens partiskhet. Och chefer kanske misslyckas med att upptäcka maskinens diskriminering, tänker att ett automatiserat beslut är ett i sig neutralt beslut, resulterar i orättvisa anställningsmetoder.

I en ny artikel publicerad i Proceedings of the 35th Conference on Machine Learning, SFI-postdoktor Hajime Shimao och Junpei Komiyama, en forskarassistent vid University of Tokyo, erbjuda ett sätt att säkerställa rättvisa i maskininlärning. De har utarbetat en algoritm som inför en rättvisa begränsning som förhindrar partiskhet.

"Så säg att kreditkortsgodkännandefrekvensen för svarta och vita [kunder] inte kan skilja sig mer än 20 procent. Med den här typen av begränsningar, vår algoritm kan ta det och ge den bästa förutsägelsen om att uppfylla begränsningen, " säger Shimao. "Om du vill ha skillnaden på 20 procent, berätta det för vår maskin, och vår maskin kan uppfylla den begränsningen."

Denna förmåga att exakt kalibrera begränsningen gör det möjligt för företag att säkerställa att de följer federala lagar om icke-diskriminering, tillägger Komiyama. Teamets algoritm "gör det möjligt för oss att strikt kontrollera nivån av rättvisa som krävs i dessa juridiska sammanhang, " Säger Komiyama.

Att korrigera för partiskhet innebär en avvägning, fastän, Shimao och Komiyama noterar i studien. Eftersom begränsningen kan påverka hur maskinen läser andra aspekter av data, det kan offra en del av maskinens prediktiva kraft.

Shimao säger att han skulle vilja se företag använda algoritmen för att hjälpa till att utrota den dolda diskriminering som kan finnas på lur i deras maskininlärningsprogram. "Vår förhoppning är att det är något som kan användas så att maskiner kan förhindras från diskriminering när det behövs."