När algoritmer fattar beslut med verkliga konsekvenser, de måste vara rättvisa. Kredit:R-Type/Shutterstock.com
Att använda maskiner för att öka mänsklig aktivitet är inget nytt. Egyptiska hieroglyfer visar användningen av hästdragna vagnar redan före 300 f.Kr. Forntida indisk litteratur som "Silapadikaram" har beskrivit djur som används för jordbruk. Och en blick utanför visar att människor idag använder motordrivna fordon för att ta sig fram.
Där människor tidigare har förstärkt oss själva på fysiska sätt, nu är förstärkningens natur också mer intelligent. På nytt, allt man behöver göra är att se till bilar-ingenjörer är till synes på väg att köra självkörande bilar som styrs av artificiell intelligens. Andra enheter är i olika stadier av att bli mer intelligenta. Längs vägen, samspelet mellan människor och maskiner förändras.
Maskin- och mänsklig intelligens ger olika styrkor till bordet. Forskare som jag arbetar med att förstå hur algoritmer kan komplettera mänskliga färdigheter samtidigt som de minimerar riskerna med att förlita sig på maskinintelligens. Som expert på maskininlärning, Jag förutspår att det snart kommer att finnas en ny balans mellan mänsklig och maskinell intelligens, en förändring som mänskligheten inte har stött på tidigare.
Sådana förändringar framkallar ofta rädsla för det okända, och i detta fall, en av de okända är hur maskiner fattar beslut. Detta gäller särskilt när det gäller rättvisa. Kan maskiner vara rättvisa på ett sätt som folk förstår?
När människor är ologiska
Till människor, rättvisa är ofta kärnan i ett bra beslut. Beslutsfattande tenderar att förlita sig på både känslomässiga och rationella centra i våra hjärnor, det som nobelpristagaren Daniel Kahneman kallar System 1 och System 2-tänkande. Beslutsteoretiker tror att hjärnans emotionella centra har utvecklats ganska väl genom tiderna, medan hjärnområden som är involverade i rationellt eller logiskt tänkande har utvecklats på senare tid. Den rationella och logiska delen av hjärnan, vad Kahneman kallar System 2, har gett människor en fördel framför andra arter.
Dock, eftersom System 2 utvecklades mer nyligen, mänskligt beslutsfattande är ofta buggigt. Det är därför många beslut är ologiska, inkonsekvent och suboptimalt.
Till exempel, preferensomvändning är ett välkänt men ologiskt fenomen som människor uppvisar:i det, en person som föredrar val A framför B och B framför C föredrar inte nödvändigtvis A framför C. Eller anser att forskare har funnit att domare i brottmål tenderar att vara mer överseende med beslut om villkorlig dom direkt efter lunchrasten än vid dagens slut.
En del av problemet är att våra hjärnor har problem med att exakt beräkna sannolikheter utan lämplig träning. Vi använder ofta irrelevant information eller påverkas av främmande faktorer. Det är här maskinintelligens kan vara till hjälp.
Maskiner är logiska ... till ett fel
Väldesignad maskinintelligens kan vara konsekvent och användbar för att fatta optimala beslut. Av sin natur, de kan vara logiska i matematisk mening – de avviker helt enkelt inte från programmets instruktion. I en väldesignad maskininlärningsalgoritm, man skulle inte stöta på de ologiska preferensvändningar som människor ofta uppvisar, till exempel. Inom marginalen för statistiska fel, besluten från maskinintelligens är konsekventa.
Problemet är att maskinintelligens inte alltid är väl utformad.
När algoritmer blir kraftfullare och införlivas i fler delar av livet, forskare som jag förväntar sig denna nya värld, en med en annan balans mellan maskin och mänsklig intelligens, att vara framtidens norm.
I det straffrättsliga systemet, Domare använder algoritmer under villkorlig dom för att beräkna återfallsrisker. I teorin, denna praxis kan övervinna eventuella fördomar som introduceras av lunchraster eller utmattning i slutet av dagen. Men när journalister från ProPublica genomförde en utredning, de fann att dessa algoritmer var orättvisa:vita män som tidigare dömts för väpnat rån bedömdes som lägre risk än afroamerikanska kvinnor som dömts för förseelser.
Det finns många fler sådana exempel på maskininlärningsalgoritmer som senare visat sig vara orättvisa, inklusive Amazon och dess rekrytering och Googles bildmärkning.
Forskare har varit medvetna om dessa problem och har arbetat för att införa restriktioner som säkerställer rättvisa redan från början. Till exempel, en algoritm som kallas CB (färgblind) inför begränsningen att alla särskiljande variabler, som ras eller kön, bör inte användas för att förutsäga resultaten. Annan, kallas DP (demografisk paritet), säkerställer att grupperna är proportionellt rättvisa. Med andra ord, andelen av gruppen som får ett positivt resultat är lika eller rättvist för både diskriminerande och icke-diskriminerande grupper.
Forskare och beslutsfattare börjar ta upp manteln. IBM har öppnat många av deras algoritmer och släppt dem under bannern "AI Fairness 360". Och National Science Foundation accepterade nyligen förslag från forskare som vill stärka forskningsstiftelsen som underbygger rättvisa inom AI.
Förbättra rättvisan i maskinernas beslut
Jag tror att befintliga rättvisa maskinalgoritmer är svaga på många sätt. Denna svaghet härrör ofta från de kriterier som används för att säkerställa rättvisa. De flesta algoritmer som ålägger "rättvisa restriktioner" såsom demografisk paritet (DP) och färgblindhet (CB) är fokuserade på att säkerställa rättvisa på resultatnivån. Om det finns två personer från olika delpopulationer, de ålagda restriktionerna säkerställer att resultatet av deras beslut är konsekvent mellan grupperna.
Även om detta är ett bra första steg, forskare måste se bortom resultaten ensamma och fokusera på processen också. Till exempel, när en algoritm används, de delpopulationer som påverkas kommer naturligtvis att ändra sina ansträngningar som svar. Dessa förändringar måste beaktas, för. Eftersom de inte har beaktats, mina kollegor och jag fokuserar på vad vi kallar "bästa svarsrättvisa".
Om delpopulationerna till sin natur är lika, deras ansträngningsnivå för att uppnå samma resultat bör också vara densamma även efter att algoritmen har implementerats. Denna enkla definition av bästa respons-rättvisa uppfylls inte av DP- och CB-baserade algoritmer. Till exempel, DP kräver att de positiva siffrorna är lika även om en av delpopulationerna inte anstränger sig. Med andra ord, människor i en delpopulation skulle behöva arbeta betydligt hårdare för att uppnå samma resultat. Medan en DP-baserad algoritm skulle anse det rättvist – trots allt, båda subpopulationerna uppnådde samma resultat – de flesta människor skulle inte.
Det finns en annan rättvisa begränsning känd som utjämnade odds (EO) som tillfredsställer idén om rättvisa svar – den säkerställer rättvisa även om du tar hänsyn till svaret från underpopulationerna. Dock, att införa begränsningen, Algoritmen behöver känna till de särskiljande variablerna (säg, svart vit), och det kommer att sluta ställa in explicit olika trösklar för subpopulationer – så, tröskelvärdena kommer att vara uttryckligen olika för vita och svarta villkorliga kandidater.
Även om det skulle bidra till att öka resultatens rättvisa, ett sådant förfarande kan bryta mot föreställningen om likabehandling som krävs enligt Civil Rights Act från 1964. Av denna anledning, en artikel i California Law Review har uppmanat beslutsfattare att ändra lagstiftningen så att rättvisa algoritmer som använder detta tillvägagångssätt kan användas utan potentiella juridiska konsekvenser.
Dessa begränsningar motiverar mina kollegor och mig att utveckla en algoritm som inte bara är "bästa svar rättvis" utan som inte heller uttryckligen använder diskriminerande variabler. Vi demonstrerar prestandan hos våra algoritmer teoretiskt med hjälp av simulerade datamängder och riktiga exempeldataset från webben. När vi testade våra algoritmer med de mycket använda exempeldatauppsättningarna, vi blev förvånade över hur bra de presterade i förhållande till öppen källkodsalgoritmer sammansatta av IBM.
Vårt arbete tyder på att trots utmaningarna, maskiner och algoritmer kommer även fortsättningsvis att vara användbara för människor – både för fysiska jobb och kunskapsjobb. Vi måste vara vaksamma på att alla beslut som fattas av algoritmer är rättvisa, och det är absolut nödvändigt att alla förstår sina begränsningar. Om vi kan göra det, då är det möjligt att mänsklig och maskinell intelligens kommer att komplettera varandra på värdefulla sätt.
Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.