Tekniken som driver nationens ledande automatiska taligenkänningssystem gör dubbelt så många fel vid tolkning av ord som talas av afroamerikaner än när de tolkar samma ord som talas av vita, enligt en ny studie av forskare vid Stanford Engineering.

Medan studien uteslutande fokuserade på skillnader mellan svarta och vita amerikaner, liknande problem kan drabba människor som talar med regionala och icke-infödda engelska accenter, forskarna avslutade.

Om det inte tas upp, denna översättningsobalans kan få allvarliga konsekvenser för människors karriär och till och med liv. Många företag screenar nu jobbsökande med automatiska intervjuer online som använder taligenkänning. Domstolar använder tekniken för att hjälpa till att transkribera utfrågningar. För människor som inte kan använda sina händer, dessutom, taligenkänning är avgörande för åtkomst till datorer.

Resultaten, publicerad den 23 mars i tidningen Förfaranden från National Academy of Sciences , baserades på tester av system som utvecklats av Amazon, IBM, Google, Microsoft och Apple. De fyra första företagen erbjuder online taligenkänningstjänster mot en avgift, och forskarna körde sina tester med hjälp av dessa tjänster. För det femte, forskarna byggde en anpassad iOS -applikation som körde tester med Apples teknik för fri taligenkänning. Testerna genomfördes i våras, och taletekniken kan ha uppdaterats sedan dess.

Forskarna kunde inte avgöra om företagens teknik för taligenkänning också användes av deras virtuella assistenter, som Siri för Apple och Alexa för Amazon, eftersom företagen inte avslöjar om de använder olika versioner av sin teknik i olika produktutbud.

"Men man bör förvänta sig att amerikanska företag skulle bygga produkter som tjänar alla amerikaner, "säger studieförfattaren Allison Koenecke, en doktorand i beräknings- och matematisk teknik som samarbetade med lingvister och datavetenskapare om arbetet. "Just nu, det verkar som om de inte gör det för en hel del av befolkningen. "

Ojämna felprocent

Koenecke och hennes kollegor testade taligenkänningssystemen från varje företag med mer än 2, 000 talprover från inspelade intervjuer med afroamerikaner och vita. De svarta talproven kom från Corpus of Regional African American Language, och de vita proverna kom från intervjuer gjorda av Voices of California, som innehåller inspelade intervjuer av invånare i olika samhällen i Kalifornien.

Alla fem taligenkänningsteknologier hade felhastigheter som var nästan dubbelt så höga för svarta som för vita - även när högtalarna matchades efter kön och ålder och när de talade samma ord. I genomsnitt, systemen missförstod 35 procent av de ord som talades av svarta men bara 19 procent av de som talades av vita.

Felprocenten var högst för afroamerikanska män, och skillnaden var högre bland högtalare som tyngre använde afroamerikanskt engelska språk.

Forskarna körde också ytterligare tester för att fastställa hur ofta de fem taligenkänningsteknikerna misstolkade ord så drastiskt att transkriptionerna var praktiskt taget värdelösa. De testade tusentals talprover, i genomsnitt 15 sekunder i längd, att räkna hur ofta teknikerna passerade en tröskel för att misslyckas med minst hälften av orden i varje prov. Denna oacceptabelt höga felprocent inträffade i över 20 procent av proverna som talades av svarta, mot färre än 2 procent av proverna som talas av vita.

Dold fördom

Forskarna spekulerar i att skillnaderna som är gemensamma för alla fem teknikerna härrör från en gemensam brist - maskininlärningssystemen som används för att träna taligenkänningssystem troligen förlitar sig starkt på databaser av engelska som talas av vita amerikaner. Ett mer rättvist tillvägagångssätt skulle vara att inkludera databaser som återspeglar en större mångfald av accenter och dialekter hos andra engelsktalande.

Till skillnad från andra tillverkare, som ofta krävs enligt lag eller sed för att förklara vad som ingår i deras produkter och hur de ska fungera, Företagen som erbjuder taligenkänningssystem har inga sådana skyldigheter.

Sharad Goel, en professor i beräkningsteknik vid Stanford som övervakade arbetet, sade studien belyser behovet av att granska ny teknik som taligenkänning för dolda fördomar som kan utesluta människor som redan är marginaliserade. Sådana granskningar skulle behöva göras av oberoende externa experter, och skulle kräva mycket tid och arbete, men de är viktiga för att se till att denna teknik är inkluderande.

"Vi kan inte räkna med att företag reglerar sig själva, "Sa Goel." Det är inte vad de ska göra. Jag kan tänka mig att vissa frivilligt kan begå oberoende granskningar om det finns tillräckligt med offentligt tryck. Men det kan också vara nödvändigt för myndigheter att införa mer tillsyn. Människor har rätt att veta hur väl den teknik som påverkar deras liv verkligen fungerar. "