Ett nytt verktyg för artificiell intelligens (AI) för att upptäcka orättvis diskriminering – till exempel på grund av ras eller kön – har skapats av forskare vid Penn State och Columbia University.

Förhindra orättvis behandling av individer på grund av ras, kön eller etnicitet, till exempel, varit en långvarig angelägenhet för civiliserade samhällen. Dock, upptäcka sådan diskriminering till följd av beslut, oavsett om det är av mänskliga beslutsfattare eller automatiserade AI-system, kan vara extremt utmanande. Denna utmaning förvärras ytterligare av den breda användningen av AI-system för att automatisera beslut inom många domäner – inklusive polisarbete, konsumentfinansiering, högre utbildning och näringsliv.

"Artificiell intelligens - som de som är involverade i att välja ut kandidater för ett jobb eller för antagning till ett universitet - tränas på stora mängder data, sa Vasant Honavar, Professor och Edward Frymoyer ordförande för informationsvetenskap och teknologi, Penn State. "Men om dessa uppgifter är partiska, de kan påverka rekommendationerna för AI-system."

Till exempel, han sa, om ett företag historiskt sett aldrig har anställt en kvinna för en viss typ av jobb, då kommer ett AI-system som tränats på dessa historiska data inte att rekommendera en kvinna för ett nytt jobb.

"Det är inget fel med själva maskininlärningsalgoritmen, " sade Honavar. "Den gör vad den ska göra, vilket är att identifiera bra jobbkandidater utifrån vissa önskvärda egenskaper. Men eftersom det tränades på historiska, partisk data har potentialen att ge orättvisa rekommendationer."

Teamet skapade ett AI-verktyg för att upptäcka diskriminering med avseende på ett skyddat attribut, som ras eller kön, av mänskliga beslutsfattare eller AI-system som bygger på begreppet kausalitet där en sak – en orsak – orsakar en annan sak – en effekt.

"Till exempel, frågan, "Finns det könsbaserad diskriminering i löner?" kan omformas som, "Har kön en orsakseffekt på lönen?, ' eller med andra ord, "Skulle en kvinna få mer betalt om hon var en man?" sa Aria Khademi, doktorand i informationsvetenskap och teknik, Penn State.

Eftersom det inte är möjligt att direkt veta svaret på en sådan hypotetisk fråga, teamets verktyg använder sofistikerade kontrafaktiska slutledningsalgoritmer för att komma fram till en bästa gissning.

"Till exempel, sade Khademi, "ett intuitivt sätt att komma fram till en bästa gissning om vad en rimlig lön skulle vara för en kvinnlig anställd är att hitta en manlig anställd som liknar kvinnan med avseende på kvalifikationer, produktivitet och erfarenhet. Vi kan minimera könsbaserad diskriminering i lön om vi ser till att liknande män och kvinnor får liknande löner."

Forskarna testade sin metod med hjälp av olika typer av tillgänglig data, såsom inkomstdata från U.S. Census Bureau för att avgöra om det förekommer könsbaserad diskriminering i löner. De testade också sin metod med hjälp av New York City Police Departments stop-and-frisk-programdata för att avgöra om det förekommer diskriminering av färgade personer vid arresteringar som görs efter stopp. Resultaten dök upp i maj i Proceedings of The Web Conference 2019.

"Vi analyserade en uppsättning vuxeninkomster som innehåller lön, demografisk och sysselsättningsrelaterad information för nära 50, 000 individer, ", sade Honavar. "Vi hittade bevis på könsbaserad diskriminering i lön. Specifikt, fann vi att oddsen för att en kvinna ska ha en lön som är högre än 50 USD, 000 per år är bara en tredjedel så mycket för en man. Detta skulle tyda på att arbetsgivare bör leta efter och korrigera, när det passar, könsfördom i löner."

Även om teamets analys av New Yorks stop-and-frisk-datauppsättning – som innehåller demografisk och annan information om förare som stoppats av New York Citys polisstyrka – avslöjade bevis på möjlig rasfördom mot latinamerikaner och individer från afroamerikaner, den fann inga bevis för diskriminering mot dem i genomsnitt som grupp.

"Du kan inte korrigera ett problem om du inte vet att problemet finns, " sade Honavar. "För att undvika diskriminering på grund av ras, kön eller andra egenskaper behöver du effektiva verktyg för att upptäcka diskriminering. Vårt verktyg kan hjälpa till med det."

Honavar tillade att eftersom datadrivna system för artificiell intelligens i allt högre grad avgör hur företag riktar annonser till konsumenter, hur polisavdelningar övervakar individer eller grupper för kriminell aktivitet, hur banker bestämmer vem som får lån, vilka arbetsgivare beslutar att anställa, och hur högskolor och universitet bestämmer vem som blir antagen eller får ekonomiskt stöd, det finns ett akut behov av verktyg som det han och hans kollegor utvecklat.

"Vårt verktyg, " han sa, "kan bidra till att sådana system inte blir instrument för diskriminering, hinder för jämställdhet, hot mot social rättvisa och källor till orättvisa."