Inte bara företag utan statliga institutioner förlitar sig i allt högre grad på automatiserade beslut av algoritmbaserade system. Deras effektivitet sparar tid och pengar, men innebär också många risker för att individer eller befolkningsgrupper diskrimineras. Detta är resultatet av en studie gjord av Institutet för teknisk bedömning och systemanalys (ITAS) vid Karlsruhes tekniska högskola (KIT) på uppdrag av Federal Anti-Discrimination Agency.

Vid beviljande av lån, att välja nya medarbetare, eller fatta rättsliga beslut – inom ett ökande antal sektorer, Algoritmer används för att förbereda mänskliga beslut eller för att fatta dessa beslut för människor. "Tyvärr, det är ofta ett misstag att tro att detta oundvikligen leder till mer objektiva och rättvisare beslut, " säger Carsten Orwat från Institutet för teknisk utvärdering och systemanalys (ITAS) av KIT. "Situationer blir särskilt kritiska när algoritmer arbetar med partisk data och förlitar sig på kriterier som borde skyddas, " säger författaren. Dessa kriterier inkluderar, särskilt, ålder, kön, etniskt ursprung, religion, sexuell läggning, och handikapp.

På uppdrag av Federal Anti-Discrimination Agency, Carsten Orwat studerade i detalj orsakerna till diskriminering, dess inverkan på samhället, och framtida alternativ för att minska diskrimineringsrisker. Hans studie med titeln "Diskriminierungsrisiken durch Verwendung von Algorithmen" (diskrimineringsrisker genom att använda algoritmer) listar 47 exempel för att illustrera hur algoritmer kan diskriminera människor på olika sätt och hur detta kan upptäckas och bevisas.

Fastigheter, lån, Rättsliga frågor, och mer:Olika exempel på diskrimineringsrisker

Som exempel, Orwat beskriver situationer på fastighets- och lånemarknaderna eller i domstolsväsendet. I USA, till exempel, flera fall har dokumenterats, där algoritmer inom sociala medier gjorde det möjligt för riktade annonser att vara osynliga för personer skyddade av "Fair Housing Act", "som migranter, personer med funktionshinder, eller med icke-vit hudfärg, säger författaren. I Finland, en bank dömdes att betala böter eftersom dess algoritm för automatiskt beviljande av onlinelån visade partiskhet mot män framför kvinnor och finska gentemot svenska som modersmål. Denna ojämlika behandling är förbjuden enligt finsk antidiskrimineringslag. När man beslutar om förtida frigivning från fängelse, Amerikanska domare använder ett mycket omtvistat system som beräknar riskpoäng. Journalister och människorättsföreningar kritiserar det faktum att detta system systematiskt överskattar svarta människors risk att begå återfall.

"Maskininlärningssystem har ofta problem när de tränas med data som återspeglar ojämlika behandlingar eller stereotyper, Carsten Orwat förklarar. "I det här fallet, de genererade algoritmerna kommer också att göra det. Vid behandling av data som innehåller andra människors utvärderingar av människor, ojämlik behandling och diskriminering kan till och med spridas eller öka." Detta hände i USA i ett system för livsmedels- och hälsokontroller som var baserat på diskriminerande betyg av restauranger.

Rekommendationer av motåtgärder

Dock, samhället får inte längre acceptera dessa ojämlika behandlingar. Studien listar flera alternativ för att motverka diskriminering av algoritmer. "Förebyggande åtgärder verkar vara mest rimliga, " säger Carsten Orwat. Företag kan be antidiskrimineringsbyråer att instruera sin personal och IT-experter och öka deras medvetenhet. Sedan, dessa personer kommer att använda datauppsättningar som inte återspeglar någon diskriminerande praxis eller ojämlik behandling.

Enligt Orwat, målet är att göra framtida algoritmer "utformning fria från diskriminering." Detta innebär att program måste kontrolleras under sin första utveckling.

I slutet, det handlar om att skydda samhällets värderingar, såsom jämlikhet eller fri utveckling av personligheten. För att garantera detta trots den mycket snabba utvecklingen av "big data" och AI, det är nödvändigt att förbättra antidiskriminerings- och dataskyddslagstiftningen vid vissa tillfällen, Orwat påpekar.