Forskare säger att de har utvecklat ett ramverk för att göra datoralgoritmer "säkrare" att använda utan att skapa fördomar baserade på ras, kön eller andra faktorer. Tricket, de säger, är att göra det möjligt för användare att tala om för algoritmen vilka typer av fallgropar som ska undvikas – utan att behöva veta mycket om statistik eller artificiell intelligens.

Med detta skydd på plats, sjukhus, företag och andra potentiella användare som kan vara försiktiga med att använda maskininlärning kan tycka att det är ett mer välsmakande verktyg för att hjälpa dem att lösa problem, enligt en rapport i veckans upplaga av tidskriften Vetenskap .

Datoralgoritmer används för att fatta beslut i en rad olika inställningar, från rättssalar till skolor till shoppingsajter på nätet. Programmen sorterar igenom enorma mängder data i jakt på användbara mönster som kan tillämpas på framtida beslut.

Men forskare har brottats med ett problem som har blivit allt svårare att ignorera:även om programmen är automatiserade, de ger ofta partiska resultat.

Till exempel, en algoritm som används för att fastställa fängelsestraff förutspådde högre återfallsfrekvens för svarta åtalade som befanns skyldiga till brott och en lägre risk för vita. Dessa förutsägelser visade sig vara felaktiga, enligt en ProPublica-analys.

Fördomar som denna har ofta sitt ursprung i den verkliga världen. En algoritm som användes för att avgöra vilka patienter som var berättigade till ett vårdsamordningsprogram underregistrerade svarta patienter till stor del på grund av att koden förlitade sig på verkliga data om hälsoutgifter – och svarta patienter hade färre pengar spenderade på dem än vita gjorde.

Även om informationen i sig inte är partisk, algoritmer kan fortfarande ge orättvisa eller andra "oönskade resultat, sa Philip Thomas, en artificiell intelligensforskare vid University of Massachusetts Amherst och huvudförfattare till den nya studien.

Att reda ut vilka processer som kan driva dessa orättvisa utfall, och sedan fixa dem, kan vara en överväldigande uppgift för läkare, sjukhus eller andra potentiella användare som bara vill ha ett verktyg som hjälper dem att fatta bättre beslut.

"De är experterna inom sitt område men kanske inte inom maskininlärning - så vi ska inte förvänta oss att de har detaljerad kunskap om hur algoritmer fungerar för att kontrollera algoritmernas beteende, ", sa Thomas. "Vi vill ge dem ett enkelt gränssnitt för att definiera oönskat beteende för deras applikation och sedan säkerställa att algoritmen kommer att undvika det beteendet med hög sannolikhet."

Så datavetarna utvecklade en annan typ av algoritm som gjorde det möjligt för användare att lättare definiera vilket dåligt beteende de ville att deras program skulle undvika.

Detta, självklart, gör algoritmdesigners jobb svårare, Thomas sa, eftersom de måste bygga sin algoritm utan att veta vilka fördomar eller andra problematiska beteenden den eventuella användaren inte vill ha i programmet.

"Istället, de måste göra algoritmen tillräckligt smart för att förstå vad användaren säger är oönskat beteende, och sedan resonera helt på egen hand om vad som skulle orsaka detta beteende, och sedan undvika det med stor sannolikhet, " sa han. "Det gör algoritmen lite mer komplicerad, men mycket lättare för människor att använda på ett ansvarsfullt sätt."

För att testa deras nya ramverk, forskarna testade det på en datauppsättning med poäng för inträdesprov för 43, 303 brasilianska studenter och det genomsnittliga betyg de fick under sina tre första terminer på college.

Standardalgoritmer som försökte förutsäga en elevs GPA baserat på hans eller hennes antagningsprovsresultat var partiska mot kvinnor:betygen de förutspådde för kvinnor var lägre än vad som faktiskt var fallet, och betygen de förutspådde för män var högre. Detta orsakade ett felgap mellan män och kvinnor som i genomsnitt var 0,3 GPA-poäng – tillräckligt för att göra stor skillnad i en students antagningsmöjligheter.

Den nya algoritmen, å andra sidan, krympte det felintervallet till 0,05 GPA-poäng – vilket gör det till en mycket mer rättvis förutsägelse av elevernas framgång.

Datavetarna testade också sitt ramverk för simulerade data för diabetespatienter. De fann att det kunde justera en patients insulindoser mer effektivt än en standardalgoritm, vilket resulterar i mycket färre oönskade episoder av hypoglykemi.

Men andra ifrågasatte det nya tillvägagångssättet.

Dr Leo Anthony Celi, en intensivist vid Beth Israel Deaconess Medical Center och forskare vid MIT, hävdade att det bästa sättet att undvika partiskhet och andra problem är att hålla experter på maskininlärning uppdaterade under hela processen snarare än att begränsa deras input till de inledande designstadierna. På så sätt kan de se om en algoritm beter sig dåligt och göra nödvändiga korrigeringar.

"Det finns bara ingen väg runt det, sa Celi, som hjälpte till att utveckla ett artificiell intelligensprogram för att förbättra behandlingsstrategier för patienter med sepsis.

Likaså, frontlinjeanvändare som läkare, sjuksköterskor och farmaceuter bör ta en mer aktiv roll i utvecklingen av de algoritmer de förlitar sig på, han sa.

Författarna till den nya studien var snabba med att påpeka att deras ramverk var viktigare än de algoritmer de genererade genom att använda det.

"Vi säger inte att det här är de bästa algoritmerna, sa Emma Brunskill, en datavetare vid Stanford University och tidningens seniorförfattare. "Vi hoppas att andra forskare vid deras egna labb kommer att fortsätta att göra bättre algoritmer."

Brunskill tillade att hon skulle vilja se det nya ramverket uppmuntra människor att tillämpa algoritmer på ett bredare utbud av hälso- och sociala problem.

Det nya arbetet kommer säkerligen att väcka debatt – och kanske mer nödvändiga samtal mellan sjukvården och maskininlärningsgemenskaperna, sa Celi.

"Om det får folk att ha fler diskussioner så tror jag att det är värdefullt, " han sa.

©2019 Los Angeles Times
Distribueras av Tribune Content Agency, LLC.