Tekniken för ansiktsigenkänning sipprade redan in i vardagen – från dina foton på Facebook till polisskanningar av mugshots – när Joy Buolamwini märkte ett allvarligt fel:En del av programvaran kunde inte upptäcka mörkhyade ansikten som hennes.

Det avslöjandet fick Massachusetts Institute of Technologys forskare att starta ett projekt som har ett stort inflytande på debatten om hur artificiell intelligens ska användas i den verkliga världen.

Hennes tester på mjukvara som skapats av märkesteknikföretag som Amazon avslöjade mycket högre felfrekvenser vid klassificering av kön hos mörkhyade kvinnor än för ljusare män.

Längs vägen, Buolamwini har sporrat Microsoft och IBM att förbättra sina system och irriterat Amazon, som offentligt attackerade hennes forskningsmetoder. På onsdag, en grupp AI-forskare, inklusive en vinnare av datavetenskapens högsta pris, lanserade ett livligt försvar av sitt arbete och uppmanade Amazon att sluta sälja sin mjukvara för ansiktsigenkänning till polisen.

Hennes arbete har också fångat uppmärksamheten hos politiska ledare i statshus och kongresser och fått vissa att söka gränser för användningen av datorseendeverktyg för att analysera mänskliga ansikten.

"Det måste finnas ett val, sade Buolamwini, doktorand och forskare vid MIT:s Media Lab. "Just nu, vad som händer är att dessa tekniker distribueras brett utan tillsyn, ofta i hemlighet, så att när vi vaknar, det är nästan för sent."

Buolamwini är knappast ensam om att uttrycka försiktighet mot polisens snabba antagande av ansiktsigenkänning, statliga myndigheter och företag från butiker till lägenhetskomplex. Många andra forskare har visat hur AI-system, som letar efter mönster i stora mängder data, kommer att efterlikna de institutionella fördomar som är inbäddade i data de lär sig av. Till exempel, om AI-system utvecklas med bilder av mestadels vita män, systemen kommer att fungera bäst för att känna igen vita män.

Dessa skillnader kan ibland vara en fråga om liv eller död:En nyligen genomförd studie av datorseendesystem som gör det möjligt för självkörande bilar att "se" vägen visar att de har svårare att upptäcka fotgängare med mörkare hudtoner.

Det som har slagit igenom med Boulamwinis arbete är hennes metod att testa de system som skapats av välkända företag. Hon applicerar sådana system på en hudtonsskala som används av hudläkare, sedan namn och skam de som visar ras- och könsfördomar. Buolamwini, som också har grundat en koalition av forskare, aktivister och andra kallade Algorithmic Justice League, har blandat sina vetenskapliga undersökningar med aktivism.

"Det lägger till en växande mängd bevis för att ansiktsigenkänning påverkar olika grupper olika, sa Shankar Narayan, från American Civil Liberties Union i delstaten Washington, där gruppen har sökt restriktioner för tekniken. "Joys arbete har varit en del av att bygga upp den medvetenheten."

Amazon, vars VD, Jeff Bezos, hon mailade direkt förra sommaren, har svarat med att aggressivt ta sikte på hennes forskningsmetoder.

En Buolamwini-ledd studie publicerad för drygt ett år sedan fann skillnader i hur ansiktsanalyssystem byggda av IBM, Microsoft och det kinesiska företaget Face Plus Plus klassificerade personer efter kön. Mörkare kvinnor var den mest felklassificerade gruppen, med felfrekvenser på upp till 34,7 %. Däremot den maximala felfrekvensen för ljushyade män var mindre än 1 %.

Studien krävde "brådskande uppmärksamhet" för att ta itu med partiskheten.

"Jag svarade ganska mycket direkt, sa Ruchir Puri, chefsforskare för IBM Research, som beskriver ett mejl han fick från Buolamwini förra året.

Sedan dess, han sa, "det har varit ett mycket givande förhållande" som informerade IBMs avtäckande i år av en ny databas med 1 miljon bilder för att bättre analysera mångfalden av mänskliga ansikten. Tidigare system har varit alltför beroende av vad Buolamwini kallar "bleka manliga" bildarkiv.

Microsoft, som hade de lägsta felfrekvenserna, tackade nej till kommentar. Meddelanden kvar med Megvii, som äger Face Plus Plus, returnerades inte omedelbart.

Månader efter hennes första studie, när Buolamwini arbetade med University of Toronto-forskaren Inioluwa Deborah Raji på ett uppföljningstest, alla tre företagen visade stora förbättringar.

Men den här gången lade de också till Amazon, som har sålt systemet det kallar Rekognition till brottsbekämpande myndigheter. Resultaten, publicerades i slutet av januari, visade att Amazon felaktigt identifierade mörkare färgade kvinnor.

"Vi blev förvånade över att se att Amazon var där deras konkurrenter var för ett år sedan, " sa Buolamwini.

Amazon avfärdade vad den kallade Buolamwinis "felaktiga påståenden" och sa att studien förväxlade ansiktsanalys med ansiktsigenkänning, felaktigt mäta det förra med tekniker för att utvärdera det senare.

"Svaret på oro över ny teknik är att inte köra "tester" som inte överensstämmer med hur tjänsten är designad för att användas, och för att förstärka testets falska och vilseledande slutsatser genom nyhetsmedia, "Matt Wood, general manager för artificiell intelligens för Amazons cloud-computing division, skrev i ett blogginlägg i januari. Amazon avböjde förfrågningar om en intervju.

"Jag visste inte att deras reaktion skulle vara så fientlig, " sa Buolamwini nyligen i en intervju på sitt MIT-labb.

På onsdagen kom en koalition av forskare till hennes försvar, inklusive AI-pionjären Yoshua Bengio, nyligen vinnare av Turing Award, anses vara teknikområdets version av Nobelpriset.

De kritiserade Amazons svar, särskilt dess skillnad mellan ansiktsigenkänning och analys.

"I motsats till Dr. Woods påståenden, partiskhet som finns i ett system är anledning till oro i det andra, särskilt i användningsfall som allvarligt kan påverka människors liv, såsom brottsbekämpande ansökningar, " de skrev.

Dess få offentligt kända kunder har försvarat Amazons system.

Chris Adzima, senior informationssystemanalytiker för Washington County Sheriff's Office i Oregon, sa att byrån använder Amazons erkännande för att identifiera de mest troliga matchningarna bland sin samling på ungefär 350, 000 muggbilder. Men eftersom en människa fattar det slutgiltiga beslutet, "fördomen i det datorsystemet överförs inte till några resultat eller några åtgärder som vidtas, sa Adzima.

Men alltmer, tillsynsmyndigheter och lagstiftare har sina tvivel. Ett tvådelat lagförslag i kongressen söker gränser för ansiktsigenkänning. Lagstiftande församlingar i Washington och Massachusetts överväger sina egna lagar.

Buolamwini sa att ett viktigt budskap i hennes forskning är att AI-system måste granskas noggrant och konsekvent övervakas om de ska användas på allmänheten. Inte bara för att kontrollera noggrannheten, Hon sa, men för att säkerställa att ansiktsigenkänning inte missbrukas för att kränka integriteten eller orsaka annan skada.

"Vi kan inte bara överlåta till företagen att göra den här typen av kontroller, " Hon sa.

© 2019 The Associated Press. Alla rättigheter förbehållna.