En studie av Deb Raji, en fjärdeårsstudent vid University of Torontos fakultet för tillämpad vetenskap och teknik, och forskare vid Massachusetts Institute of Technology understryker de ras- och könsfördomar som finns i tjänster för ansiktsigenkänning.

Raji tillbringade sommaren 2018 som praktikant på MIT:s Media Lab, där hon granskade kommersiella ansiktsigenkänningstekniker tillverkade av ledande företag som Microsoft, IBM och Amazon. Forskarna upptäckte att alla hade en tendens att missta mörkhyade kvinnor för män.

Men i synnerhet en tjänst – Amazons erkännande – visade en högre grad av partiskhet än resten. Även om det kunde identifiera könet på ljushyade män med nästan 100 procent noggrannhet, det felklassificerade kvinnor som män 29 procent av tiden, och mörkhyade kvinnor för män 31 procent av tiden.

Erkännande testades nyligen av polisen i Orlando, Fla., använda tjänsten i polisscenarier som att skanna ansikten på kameror och matcha dem med dem i kriminella databaser.

"Det faktum att tekniken inte kännetecknar svarta ansikten väl kan leda till felidentifiering av misstänkta, " säger Raji. "Amazon kommer att utsättas för visst tryck från allmänheten, med tanke på de höga scenarierna där de använder den här tekniken."

Med snabba framsteg och distribution av artificiell intelligens (AI) produkter, denna nya studie betonar behovet av att inte bara testa system för prestanda, men också för potentiella fördomar mot underrepresenterade grupper.

Även om algoritmer bör vara neutrala, Raji förklarar att eftersom datamängder – information som används för att "träna" en AI-modell – kommer från ett samhälle som fortfarande brottas med vardagliga fördomar, dessa fördomar blir inbäddade i algoritmerna.

"Låt oss säga att jag vill ha exempel på hur frisk hud ser ut. Om du Googlar det nu, du kommer att se mestadels ljushyade kvinnor, " säger Raji. "Du kommer inte att se en man för sidor, och du skulle inte se en mörkare kvinna förrän du verkligen scrollar ner. Om du matar in det i en AI-modell, den antar denna världsbild och anpassar sina beslut baserat på dessa fördomar."

Dessa fördomar bör utropas, precis som man skulle hålla en person ansvarig, säger Raji. "Det finns en ökad fara när du bäddar in den fördomen i en algoritm jämfört med när en människa fattar ett fördomsfullt beslut. Någon kommer att säga att det är fel, oavsett om det är allmänheten eller din chef, " hon säger.

"Med AI, vi tenderar att frånta oss detta ansvar. Ingen kommer att sätta en algoritm i fängelse."

Rajis passion för ämnet bias i maskininlärning kommer från hennes tid som Professional Experience Year Co-op (PEY Co-op)-student vid AI-startupen Clarifai, där ämnet AI och etik regelbundet diskuterades på det forskningsinriktade företaget.

"Det är något som företaget märkte och var mycket tydligt när det gäller att ta itu med, och det är ett ämne som personligen fick resonans hos mig eftersom jag är en synlig minoritet, " hon säger.

Det härstammar också från hennes alldeles egna personliga erfarenheter av rasinriktad teknik. "Jag skulle bygga något på ett hackathon och undra varför det inte kunde upptäcka mitt ansikte, eller varför en automatisk kran inte kan upptäcka min hand, " hon säger.

Raji delade sina erfarenheter med datavetare och digitalaktivist, Joy Buolamwini, på MIT:s Media Lab. Detta ledde till praktiken, och att Raji blev huvudförfattare på ett papper som hon presenterade på Association for the Advancement of Artificial Intelligence-konferens om AI-etik och -samhälle.

"Jag vet att det ser ut som att jag skrev en forskningsartikel på tre månader, " säger Raji. "Men det här problemet har trängt in i mig mycket längre."

Raji avslutar för närvarande sin sista termin i ingenjörsvetenskap och driver ett studentlett initiativ som heter Project Include, som utbildar studenter att lära ut datorprogrammering i låginkomstkvarter i Toronto och Mississauga. Hon är även adept på Google AI. Som en del av mentorskapsprogrammet, hon arbetar med ett nytt examensarbete som fokuserar på praktiska lösningar för att hålla företag ansvariga.

"Människor förringar ibland det brådskande genom att säga, 'Väl, AI är bara så nytt, '" säger Raji. "Men om du bygger en bro, skulle branschen tillåta dig att skära hörn och komma med den typen av ursäkter?"