Forskare från Carnegie Mellon University ifrågasätter ett länge hållet antagande att det finns en avvägning mellan noggrannhet och rättvisa när man använder maskininlärning för att fatta offentliga politiska beslut.

I takt med att användningen av maskininlärning har ökat inom områden som straffrätt, anställning, sjukvård och socialtjänstinsatser, har oron ökat över huruvida sådana tillämpningar introducerar nya eller förstärker befintliga ojämlikheter, särskilt bland rasminoriteter och personer med ekonomiska nackdelar. För att skydda sig mot denna snedvridning görs justeringar av data, etiketter, modellträning, poängsystem och andra aspekter av maskininlärningssystemet. Det underliggande teoretiska antagandet är att dessa justeringar gör systemet mindre exakt.

Ett CMU-team strävar efter att skingra detta antagande i en ny studie, nyligen publicerad i Nature Machine Intelligence . Rayid Ghani, professor vid School of Computer Sciences Machine Learning Department och Heinz College of Information Systems and Public Policy; Kit Rodolfa, en forskare i ML; och Hemank Lamba, en postdoktorand forskare i SCS, testade detta antagande i verkliga tillämpningar och fann att avvägningen var försumbar i praktiken inom en rad policyområden.

"Du kan faktiskt få båda. Du behöver inte offra noggrannhet för att bygga system som är rättvisa och rättvisa," sa Ghani. "Men det kräver att du medvetet designar system så att de är rättvisa och rättvisa. System som är färdiga fungerar inte."

Ghani och Rodolfa fokuserade på situationer där efterfrågade resurser är begränsade och maskininlärningssystem används för att fördela dessa resurser. Forskarna tittade på system inom fyra områden:prioritering av begränsad räckvidd för mentalvård baserat på en persons risk att återvända till fängelse för att minska återfängelse; förutsäga allvarliga säkerhetsöverträdelser för att bättre kunna distribuera en stads begränsade bostadsinspektörer; modellera risken för att elever inte tar examen från gymnasiet i tid för att identifiera de som är mest i behov av ytterligare stöd; och hjälpa lärare att nå crowdfunding-mål för klassrumsbehov.

I varje sammanhang fann forskarna att modeller optimerade för noggrannhet - standardpraxis för maskininlärning - effektivt kunde förutsäga resultaten av intresse men uppvisade betydande skillnader i rekommendationer för interventioner. Men när forskarna tillämpade justeringar av utdata från modellerna som var inriktade på att förbättra deras rättvisa upptäckte de att skillnader baserade på ras, ålder eller inkomst – beroende på situationen – kunde tas bort utan förlust av noggrannhet.

Ghani och Rodolfa hoppas att denna forskning kommer att börja ändra åsikten hos andra forskare och beslutsfattare när de överväger användningen av maskininlärning i beslutsfattande.

"Vi vill att gemenskaperna för artificiell intelligens, datavetenskap och maskininlärning ska sluta acceptera detta antagande om en avvägning mellan noggrannhet och rättvisa och att avsiktligt börja designa system som maximerar båda", sa Rodolfa. "Vi hoppas att beslutsfattare kommer att ta till sig maskininlärning som ett verktyg i sitt beslutsfattande för att hjälpa dem att uppnå rättvisa resultat."