Vi har lärt oss de senaste åren att AI-system kan vara orättvist, vilket är farligt, eftersom de i allt högre grad används för att göra allt från att förutsäga brott till att avgöra vilka nyheter vi konsumerar. Förra årets studie som visade rasismen i ansiktsigenkänningsalgoritmer visade en grundläggande sanning om AI:om du tränar med partisk data, du kommer att få partiska resultat.

Ett team från MIT CSAIL arbetar på en lösning, med en algoritm som automatiskt kan "de-bias" data genom att sampla om den för att bli mer balanserad.

Algoritmen kan lära sig både en specifik uppgift som ansiktsdetektion, såväl som den underliggande strukturen för träningsdata, vilket gör att den kan identifiera och minimera eventuella dolda fördomar. I tester minskade algoritmen "kategorisk bias" med över 60 procent jämfört med toppmoderna ansiktsdetektionsmodeller – samtidigt som den övergripande precisionen för dessa system bibehölls. Teamet utvärderade algoritmen på samma datauppsättning för ansiktsbilder som utvecklades förra året av forskare från MIT Media Lab.

Många befintliga tillvägagångssätt inom detta område kräver åtminstone en viss nivå av mänsklig input i systemet för att definiera specifika fördomar som forskare vill att det ska lära sig. I kontrast, MIT-teamets algoritm kan titta på en datauppsättning, lär dig vad som är gömt i den, och automatiskt omsampla det för att bli mer rättvist utan att behöva en programmerare i slingan.

"Särskilt ansiktsklassificering är en teknik som ofta ses som "löst, även när det har blivit tydligt att de datamängder som används ofta inte är ordentligt granskade, säger doktorand Alexander Amini, som var medförfattare på en relaterad artikel som presenterades denna vecka vid konferensen om artificiell intelligens, Etik och samhälle (AIES). "Att åtgärda dessa problem är särskilt viktigt när vi börjar se att den här typen av algoritmer används inom säkerhet, brottsbekämpande och andra områden."

Amini säger att teamets system skulle vara särskilt relevant för större datamängder som är för stora för att kontrollera manuellt och sträcker sig även till andra datorseendeapplikationer bortom ansiktsdetektering.