Förordning, Kredit- och lånebeslut kan inte diskriminera på grund av ras eller leda till resultat som skiljer sig väsentligt från ras. Men för att säkerställa att de inte diskriminerar, Banker och andra långivare får inte fråga om ras i de flesta applikationer. Detta gör det utmanande för revisorer att se till att kreditbeslut är rättvisa.

För att utvärdera rasskillnader i lånebeslut, långivare eller revisorer måste sluta sig till sökandes raser, använder vanligtvis ett system – känt som en proxy – som gissar sökandes lopp baserat på vad de vet, som deras grannskap och efternamn.

Men dessa fullmakter – inklusive en metod som används av Consumer Financial Protection Bureau för att granska långivare – kan ge mycket olika resultat beroende på små förändringar i hur de gissar sökandes raser, enligt en ny Cornell-ledd studie.

"Det är oroande att dessa modeller används för att avgöra om finansiella institutioner följer lagen, sa Madeleine Udell, Richard och Sybil Smith Sesquicentennial Fellow och biträdande professor vid School of Operations Research and Information Engineering. "De bedömer uppenbarligen inte vad de ska göra."

Deras papper, "Rättvisa under omedvetenhet:Att bedöma skillnader när skyddad klass inte observeras, " kommer att presenteras på ACM Conference on Fairness, Ansvarsskyldighet och transparens, 29-31 januari i Atlanta. Cornell Tech doktorand Xiaojie Mao är huvudförfattare. Medförfattare inkluderade Udell; Nathan Kallus, biträdande professor i operationsforskning och informationsteknik vid Cornell Tech; och finansbranschens dataforskare Jiahao Chen och Geoffry Svacha.

Att förstå riskerna med diskriminering när man använder artificiell intelligens är särskilt viktigt eftersom finansinstitut i allt högre grad förlitar sig på maskininlärning för lånebeslut. Maskininlärningsmodeller kan analysera mängder av data för att komma fram till relativt exakta förutsägelser, men deras verksamhet är ogenomskinlig, gör det svårt att säkerställa rättvisa.

"Hur kan en dator vara rasistisk om du inte anger ras? Tja, det kan, och en av de största utmaningarna vi kommer att möta under de kommande åren är människor som använder maskininlärning med oavsiktliga dåliga konsekvenser som kan leda oss till ökad polarisering och ojämlikhet, " sa Kallus. "Det har gjorts många framsteg inom maskininlärning och artificiell intelligens, och vi måste verkligen ta ansvar för vår användning av det."

Ras är en av flera egenskaper som skyddas av statlig och federal lag; andra inkluderar ålder, kön och funktionsnedsättning.

Forskarna använde data från hypotekslån – den enda typen av konsumentlån som inkluderar ras på ansökningar – för att testa noggrannheten hos revisionssystemet Bayesian Improved Surname Geocoding (BISG). De fann att dess resultat ofta antingen underskattade eller överskattade rasdiskrepanser, beroende på flera faktorer. Om man antar ras baserat på folkräkningstrakterna där de sökande bor raderas svarta sökande som bor i mestadels vita kvarter och vita sökande som bor i mestadels svarta kvarter.

BISG-modellen uppskattar sannolikheten att någon är en viss ras, och när en användare utför beräkningar kan en användare ställa in en minsta sannolikhet – till exempel, att välja att använda några exempel där sannolikheten för en given ras är 80 procent eller mer. Men skillnader i den minsta sannolikheten gav oväntat stora variationer i resultaten, fann forskarna.

"Beroende på vilken tröskel du valde, du skulle få helt olika svar på hur rättvist ditt kreditförfarande var, " sa Udell.

Forskarnas resultat belyser inte bara BISG:s noggrannhet, de kan hjälpa utvecklare att förbättra maskininlärningsmodellerna som fattar kreditbeslut. Bättre modeller kan hjälpa banker att fatta mer välgrundade beslut när de godkänner eller avslår lån, vilket kan leda till att de ger kredit till kvalificerade men sökande med lägre inkomster.

"Du kan ta reda på vem som faktiskt kommer att fallera eller inte på ett sätt som är rättvist, " sa Kallus. "Vad vi vill göra är att se till att vi sätter dessa begränsningar på maskininlärningssystem som vi bygger och tränar, så vi förstår vad det innebär att vara rättvis och hur vi kan se till att det är rättvist från början."