År 2020 arresterade polisen i Detroit en svart man för att ha stöld av klockor till ett värde av nästan 4 000 USD från en exklusiv butik. Han fick handfängsel inför sin familj och tillbringade en natt i låsning. Efter en del förhör stod det dock klart att de hade fel man. Så varför arresterade de honom från början?

Anledningen:en ansiktsigenkänningsalgoritm hade matchat fotot på hans körkort med korniga bilder från säkerhetskameror.

Algoritmer för ansiktsigenkänning – som upprepade gånger har visat sig vara mindre exakta för människor med mörkare hud – är bara ett exempel på hur rasfördomar replikeras inom och vidmakthålls av framväxande teknologier.

"Det är brådskande eftersom AI används för att fatta riktigt höga beslut", säger MLK gästprofessor S. Craig Watkins, vars akademiska hem för sin tid vid MIT är Institutet för data, system och samhälle (IDSS). "Insatserna är högre eftersom nya system kan replikera historiska fördomar i stor skala."

Watkins, professor vid University of Texas i Austin och grundare av Institute for Media Innovation, forskar om effekterna av media och databaserade system på mänskligt beteende, med en specifik koncentration på frågor relaterade till systemisk rasism. "En av de grundläggande frågorna i arbetet är:hur bygger vi AI-modeller som hanterar systemisk ojämlikhet mer effektivt?"

Etisk AI

Ojämlikhet vidmakthålls av teknik på många sätt inom många sektorer. En bred domän är hälso- och sjukvård, där Watkins säger att ojämlikhet visar sig i både kvaliteten på och tillgången till vård. Efterfrågan på mentalvård, till exempel, överträffar vida kapaciteten för tjänster i USA. Den efterfrågan har förvärrats av pandemin, och tillgången till vård är svårare för färgade samhällen.

För Watkins är att ta bort partiskheten ur algoritmen bara en komponent i att bygga mer etisk AI. Han arbetar också med att utveckla verktyg och plattformar som kan hantera ojämlikhet utanför teknik direkt. När det gäller tillgång till mental hälsa innebär detta att man utvecklar ett verktyg för att hjälpa vårdgivare att tillhandahålla vård mer effektivt.

"Vi bygger en datainsamlingsplattform i realtid som tittar på aktiviteter och beteenden och försöker identifiera mönster och sammanhang där vissa mentala tillstånd uppstår", säger Watkins. "Målet är att tillhandahålla datainformerade insikter till vårdgivare för att kunna leverera tjänster med högre effekt."

Watkins är inte främmande för de integritetsproblem som en sådan app skulle ge upphov till. Han tar ett användarcentrerat förhållningssätt till utvecklingen som är grundad i dataetik. "Datarättigheter är en viktig komponent", hävdar han. "Du måste ge användaren fullständig kontroll över hur deras data delas och används och vilken data en vårdgivare ser. Ingen annan har tillgång."

Bekämpning av systemisk rasism

Här på MIT har Watkins anslutit sig till det nyligen lanserade Initiative on Combatting Systemic Racism (ICSR), ett IDSS-forskningssamarbete som sammanför lärare och forskare från MIT Stephen A. Schwarzman College of Computing och vidare. Syftet med ICSR är att utveckla och utnyttja beräkningsverktyg som kan bidra till att åstadkomma strukturella och normativa förändringar mot rasjämlikhet.

ICSR-samarbetet har separata projektteam som forskar om systemisk rasism i olika samhällssektorer, inklusive hälso- och sjukvård. Var och en av dessa "vertikala" tar upp olika men sammanlänkade frågor, från hållbarhet till sysselsättning till spel. Watkins är en del av två ICSR-grupper, polis och boende, som syftar till att bättre förstå de processer som leder till diskriminerande metoder i båda sektorerna. "Diskriminering inom bostäder bidrar avsevärt till rasrikedomsklyftan i USA", säger Watkins.

Polisteamet undersöker mönster i hur olika befolkningsgrupper blir poliserade. "Det finns uppenbarligen en betydande och laddad historia för polisarbete och ras i Amerika", säger Watkins. "Detta är ett försök att förstå, identifiera mönster och notera regionala skillnader."

Watkins och polisteamet bygger modeller med hjälp av data som beskriver polisingripanden, svar och ras, bland andra variabler. ICSR passar bra för den här typen av forskning, säger Watkins, som noterar det tvärvetenskapliga fokuset för både IDSS och SCC.

"Systemförändringar kräver en samarbetsmodell och annan expertis", säger Watkins. "Vi försöker maximera inflytande och potential på beräkningssidan, men vi kommer inte dit med beräkning enbart."

Möjligheter till förändring

Modeller kan också förutsäga utfall, men Watkins är noga med att påpeka att ingen algoritm ensam löser rasutmaningar.

"Modeller enligt min uppfattning kan informera om policy och strategi som vi som människor måste skapa. Beräkningsmodeller kan informera och generera kunskap, men det är inte detsamma som förändring." Det krävs ytterligare arbete – och ytterligare expertis inom policy och opinionsbildning – för att använda kunskap och insikter för att sträva mot framsteg.

En viktig hävstång för förändring, menar han, kommer att bygga ett mer AI-kunnigt samhälle genom tillgång till information och möjligheter att förstå AI och dess inverkan på ett mer dynamiskt sätt. Han hoppas kunna se större datarättigheter och större förståelse för hur samhälleliga system påverkar våra liv.

"Jag blev inspirerad av yngre människors svar på morden på George Floyd och Breonna Taylor", säger han. "Deras tragiska dödsfall lyser ett starkt ljus på de verkliga konsekvenserna av strukturell rasism och har tvingat samhället i stort att ägna mer uppmärksamhet åt denna fråga, vilket skapar fler möjligheter till förändring."