Människor kan vara partiska, även utan att inse det, men datorprogram bör inte ha någon anledning att diskriminera svarta patienter när de förutsäger deras behov av hälso- och sjukvård. Höger?

Fel, ny forskning tyder på.

Forskare som studerar en allmänt använd algoritm som är typisk för den typ som sjukförsäkringsbolag använder för att fatta avgörande vårdbeslut för miljontals människor har upptäckt betydande bevis på rasfördomar när det gäller att förutsäga hälsorisker för svarta patienter.

Resultaten, beskrev torsdag i tidningen Vetenskap , har långtgående konsekvenser för amerikanernas hälsa och välbefinnande när vi alltmer blir beroende av datorer för att förvandla rådata till användbar information. Resultaten pekar också på roten till problemet - och det är inte datorprogrammet.

"Vi borde inte skylla på algoritmen, "sade studieledare Dr Ziad Obermeyer, en maskininlärnings- och hälsoforskare vid University of California, Berkeley. "Vi borde skylla oss själva, eftersom algoritmen bara lär sig av de data vi ger den. "

En algoritm är en uppsättning instruktioner som beskriver hur man utför en viss uppgift. Ett recept på brownies är en algoritm. Så är listan över svängar att göra för att köra till din väns fest.

En datoralgoritm är inte annorlunda, förutom att det är skrivet med kod istället för ord. I dag, de används för att rikta in annonser online, känna igen ansikten och hitta mönster i storskaliga datamängder-förhoppningsvis förvandla världen till en mer effektiv, begriplig plats.

Men medan algoritmer har blivit mer kraftfulla och allestädes närvarande, bevis har ökat att de speglar och till och med förstärker fördomar och rasism i verkligheten.

En algoritm som används för att bestämma fängelsestraff befanns vara rasiskt partisk, felaktigt förutsäga en högre risk för återfall för svarta åtalade och en lägre risk för vita svarande. Ansiktsigenkänningsprogram har visat sig ha både ras- och könsfördomar, exakt identifiera en persons kön endast bland vita män. Onlineannonser som visas med Googles sökresultat har visat sig visa höginkomstjobb för män långt oftare än för kvinnor.

Obermeyer sa att det var nästan av en slump att han och hans kollegor snubblade över den snedvridning som var inbäddad i sjukvårdsalgoritmen de studerade.

Algoritmen används för att identifiera patienter med hälsotillstånd som sannolikt kommer att leda till allvarligare komplikationer och högre kostnader. Ett stort akademiskt sjukhus hade köpt det för att hjälpa till att utpeka patienter som var kandidater till ett vårdkoordineringsprogram, som ger tillgång till tjänster som snabba läkarbesök och ett team av sjuksköterskor som kan ringa hem eller fylla på recept.

"Det är ungefär som ett VIP -program för människor som verkligen behöver extra hjälp med sin hälsa, "Sa Obermeyer.

Målet är att ta hand om dessa patienter innan deras tillstånd förvärras. Det håller dem inte bara friskare i längden, det håller nere kostnaderna för sjukvården.

Dessa typer av algoritmer är ofta proprietära, "gör det svårt för oberoende forskare att dissekera dem, "skrev studieförfattarna. Men i det här fallet, hälsovårdssystemet villigt tillhandahållit det, tillsammans med data som gör det möjligt för forskare att se om algoritmen exakt förutsäger patienternas behov.

Forskarna märkte något konstigt:Svarta patienter som hade fått samma högriskpoäng som vita patienter var mycket mer benägna att se deras hälsa försämras under det följande året.

"På en given risknivå, sett av algoritmen, svarta patienter blev mycket sjukare än vita patienter, "Sa Obermeyer.

Det här var inte meningsfullt, han sa, så forskarna fokuserade på avvikelsen. De analyserade hälsodata från 6, 079 svarta patienter och 43, 539 vita patienter och insåg att algoritmen gjorde exakt vad den hade blivit ombedd att göra.

Problemet var att de som designade det hade bett det att göra fel.

Systemet utvärderade patienter utifrån de hälsokostnader som de hade, förutsatt att om deras kostnader var höga, det var för att deras behov var höga. Men antagandet att höga kostnader var en indikator på ett stort behov visade sig vara fel, Obermeyer sa, eftersom svarta patienter vanligtvis får färre sjukvårdstjänster än vita patienter, även om de mår lika illa.

Det innebar att algoritmen felaktigt styrde några svarta patienter bort från vårdkoordineringsprogrammet.

Åtgärda att rasskillnader kan få andelen svarta patienter som är inskrivna i det specialiserade vårdprogrammet att hoppa från 17,7% till 46,5%, forskarna insåg.

Efter att ha identifierat problemet - ett felaktigt mänskligt antagande - började forskarna fixa det. De utvecklade en alternativ modell som nollställde "undvikbara kostnader, "såsom nödbesök och sjukhusvistelser. En annan modell fokuserad på hälsa, mätt med antalet uppblossningar av kroniska tillstånd under året.

Forskarna delade sin upptäckt med tillverkaren av algoritmen, som sedan analyserade sin nationella dataset med nästan 3,7 miljoner kommersiellt försäkrade patienter, bekräftar resultaten. Tillsammans, de experimenterade med en modell som kombinerade hälsoförutsägelser med kostnadsprognoser, slutligen minska förspänningen med 84%.

Dr Karen Joynt Maddox, en kardiolog och hälsopolitisk forskare vid Washington University of St. Louis, berömde arbetet som "ett eftertänksamt sätt att se på detta riktigt viktiga problem."

"Vi litar alltmer mycket på dessa algoritmer och dessa black-box-förutsägelsemodeller för att berätta vad vi ska göra, hur man uppför sig, hur man behandlar patienter, hur man riktar in sig på insatser, "sa Joynt Maddox, som inte var inblandad i studien. "Det är oroande, på ett sätt, att tänka på om dessa modeller som vi bara tar för givet och använder systematiskt missgynnar vissa grupper. "

Felet i det här fallet var inte med själva algoritmen, men med de antaganden som gjordes under utformningen av den, hon var snabb att lägga till.

Obermeyer sa att de valde att inte välja ut företaget som skapade algoritmen eller det hälsosystem som använde det. Han sa att de hoppades att betona rollen för en hel grupp riskprognosalgoritmer som, enligt branschens uppskattningar, används för att utvärdera ungefär 200 miljoner människor om året.

Vissa människor har reagerat på upptäckter av algoritmisk bias genom att föreslå att algoritmerna skrotas helt - men algoritmerna är inte problemet, sa Sendhil Mullainathan, en beräkningsmässig beteendevetare vid University of Chicago och studiens seniorförfattare.

Faktiskt, när de studeras och adresseras ordentligt, de kan vara en del av lösningen.

"De återspeglar de fördomar i data som är våra fördomar, "Sa Mullainathan." Om du nu kan ta reda på hur du åtgärdar det ... är potentialen mycket stor för att snedvrida oss. "

En bättre algoritm kan hjälpa till att diagnostisera och behandla effekterna av rasskillnader i vården, men det kan inte "bota" skillnaden som ligger till grund för problemet:det faktum att färre dollar läggs på vård av svarta patienter, i genomsnitt, än på vita patienter, erkände han.

Dessa kostnadsskillnader uppstår troligen av ett antal skäl, sa studieförfattarna. Ras och diskriminering kan spela en roll, och även när de har försäkring, fattigare patienter står inför "betydande hinder för att få tillgång till vård."

"I den mån ras och socioekonomisk status är korrelerade, dessa faktorer kommer differentiellt att påverka svarta patienter, "skrev forskarna.

Att åtgärda de verkliga källorna till skillnader utgör en djupare och mycket mer komplicerad utmaning.

I sista hand, Obermeyer sa, "Det är mycket lättare att fixa partiskhet i algoritmer än hos människor."

© 2019 Los Angeles Times
Distribueras av Tribune Content Agency, LLC.