Hos människor, intelligens är ingen inokulering mot partiskhet och trångsynthet. Detsamma gäller för datorer. Intelligenta maskiner lär sig om världen genom filtren av mänskligt språk och historiskt beteende – vilket betyder att de lika lätt kan absorbera mänsklighetens sämsta värderingar som de kan sitt bästa.

Forskare som siktar på att utveckla allt smartare maskiner har sitt jobb för att säkerställa att de inte oavsiktligt genomsyrar datorer med kvinnohat, rasism eller andra former av trångsynthet.

"Det är en stor risk, " säger Marzyeh Ghassemi, en biträdande professor vid University of Torontos avdelning för datavetenskap och medicinska fakulteten som fokuserar på vårdapplikationer för artificiell intelligens (AI). "Som alla framsteg som tar samhällen framåt, det finns stora risker som vi måste bestämma oss för att acceptera eller inte acceptera."

Bias kan smyga sig in i algoritmer på många sätt. I en mycket inflytelserik gren av AI känd som "naturlig språkbehandling, " problem kan uppstå från "textkorpus" - källmaterialet som algoritmen använder för att lära sig om relationerna mellan olika ord.

Naturlig språkbehandling, eller "NLP, " gör det möjligt för en dator att förstå tal i mänsklig stil – informellt, konverserande och kontextuella. NLP-algoritmer kammar igenom miljarder ord med träningstext – korpusen kan vara, säga, hela Wikipedia. En algoritm fungerar genom att tilldela varje ord en uppsättning siffror som återspeglar olika aspekter av dess betydelse - "kung" och "drottning" till exempel, skulle ha liknande poäng när det gäller idén om kungligheter, men motsatta poäng när det gäller kön. NLP är ett kraftfullt system som låter maskiner lära sig om relationer mellan ord – i vissa fall, utan direkt mänsklig inblandning.

"Även om vi inte alltid undervisar dem specifikt, vad de lär sig är otroligt, " säger Kawin Ethayarajh, en forskare som delvis fokuserar på rättvisa och rättvisa i AI-tillämpningar. "Men det är också ett problem. I korpusen, förhållandet mellan 'kung' och 'drottning' kan likna förhållandet mellan 'läkare' och 'sköterska'."

Men självklart, alla kungar är män; inte alla läkare är män. Och alla sjuksköterskor är inte kvinnor.

När en algoritm absorberar sexistiska troper av historiska mänskliga attityder, det kan leda till verkliga konsekvenser, som hände 2014 när Amazon utvecklade en algoritm för att granska arbetssökandes CV. Företaget tränade sina maskiner med hjälp av 10 års anställningsbeslut. Men 2015, de erkände att i tester, systemet gav oförtjänt företräde åt CV från manliga sökande. De anpassade systemet för att tvinga det att ignorera könsinformation, men stängde till slut av projektet innan de faktiskt tog det i bruk eftersom de inte kunde vara säkra på att deras algoritm inte utövade andra former av diskriminering.

Att mildra sexistiskt källmaterial kan innebära tekniska och metodologiska justeringar. "Om vi ​​kan förstå exakt vilka underliggande antaganden korpusen har som gör att dessa fördomar lärs in, vi kan antingen välja korpus utan dessa fördomar eller korrigera det under utbildningsprocessen, " säger Ethayarajh.

Det är vanligt att forskare designar en algoritm som automatiskt korrigerar fördomsfulla antaganden. Genom att justera vikten på siffrorna den tilldelar varje ord, datorn kan undvika att göra sexistiska eller rasistiska associationer.

Men exakt vilka är de antaganden som behöver korrigeras? Hur ser egentligen en rättvis AI ut? Debatter om privilegier, bigotteri, mångfald och systemisk fördom är långt ifrån avgjorda. Bör en anställningsalgoritm ha ett ställningstagande till positiv särbehandling? Ska en självkörande bil vara särskilt försiktig om ett annat fordon har en "Baby on Board"-dekal? Hur bör en AI-driven analys av juridiska dokument ta hänsyn till den historiska behandlingen av ursprungsbefolkningar? Omstridda samhällsfrågor försvinner inte bara för att maskiner tar över vissa rekommendationer eller beslut.

Många människor ser Kanadas bristfälliga men relativt framgångsrika modell av mångkultur som en chans att leda i rättvis AI-forskning.

"Kanada har verkligen en möjlighet, säger Ronald Baecker, en professor emeritus i datavetenskap och författare till Computers and Society:Modern Perspectives. Han ser en roll för regeringen att åtgärda de samhälleliga orättvisorna, orättvisor och fördomar förknippade med AI genom, till exempel, sätta upp skydd för anställda som väljer att tala ut mot partiska eller orättvisa AI-drivna produkter. "Det finns ett behov av mer tänkande och lagstiftning med avseende på konceptet med vad jag skulle kalla "samvetsvägran" av högteknologiska anställda."

Han menar också att datavetare som utvecklar smarta teknologier bör åläggas att studera samhällseffekten av sådant arbete. "Det är viktigt att proffs som arbetar inom AI inser sitt ansvar, " säger han. "Vi hanterar situationer på liv och död i allt viktigare aktiviteter där AI används."

Algoritmer som hjälper domare att sätta borgen och döma brottslingar kan absorbera långvariga fördomar i rättssystemet, som att behandla rasifierade människor som om de är mer benägna att begå ytterligare brott. Algoritmerna kan flagga personer från vissa samhällen som utgör en för hög risk för att få ett banklån. De kan också vara bättre på att diagnostisera hudcancer hos vita människor än hos personer med mörkare hud, till följd av att ha tränats på skevt källmaterial.

Insatserna är otroligt höga inom hälso- och sjukvården, där orättvisa algoritmer skulle kunna pressa människor som tidigare varit dåligt betjänade ännu längre ut i marginalen.

I sitt arbete på U of T och på Vector Institute for Artificiell Intelligens, Ghassemi, som andra forskare, anstränger sig för att identifiera potentiella fördomar och orättvisor i hennes algoritmer. Hon jämför rekommendationerna och förutsägelserna från sina diagnostiska verktyg mot verkliga utfall, mäta deras noggrannhet för olika kön, lopp, åldrar och socioekonomiska faktorer.

I teorin, Kanada erbjuder ett försprång för forskare som är intresserade av vårdtillämpningar som återspeglar värderingar av rättvisa, mångfald och integration. Vårt universella hälsovårdssystem skapar ett arkiv av elektroniska hälsojournaler som tillhandahåller en mängd medicinska data som kan användas för att träna AI-drivna applikationer. Denna potential drog Ghassemi till Toronto. Men tekniken, information, formatering och regler för åtkomst till dessa poster varierar från provins till provins, vilket gör det komplicerat att skapa den typ av datamängder som kan föra forskningen framåt.

Ghassemi blev också förvånad över att få veta att dessa register endast sällan innehåller data om ras. Det betyder att om hon använder en algoritm för att avgöra hur väl en given behandling tjänar olika sektorer i samhället, hon kunde identifiera skillnader mellan män och kvinnor, till exempel, men inte mellan vita människor och rasifierade människor. Som ett resultat, i sin undervisning och forskning, hon använder offentligt tillgänglig amerikansk data som innehåller information om ras.

"Att granska mina egna modeller [med hjälp av amerikanska data], Jag kan visa när något har högre inexakthet för människor med olika etniciteter, " säger hon. "Jag kan inte göra den här bedömningen i Kanada. Det finns inget sätt för mig att kontrollera."

Ghassemi är intresserad av att skapa AI-applikationer som är rättvisa i sin egen rätt – och som också kan hjälpa människor att motverka sina egna fördomar. "Om vi ​​kan tillhandahålla verktyg baserade på stora olika befolkningsgrupper, vi ger läkarna något som hjälper dem att göra bättre val, " hon säger.

Kvinnor, till exempel, är avsevärt underdiagnostiserade för hjärtsjukdomar. En AI kan flagga för en sådan fara för en läkare som kan förbise den. "Det är en plats där en teknisk lösning kan hjälpa, eftersom läkare är människor, och människor är partiska, " hon säger.

Ethayarajh håller med Ghassemi och Baecker om att Kanada har en viktig möjlighet att pressa sin fördel när det gäller rättvisa och partiskhet i forskning om artificiell intelligens.

"Jag tror att AI-forskare här är mycket medvetna om problemet, " säger Ethayarajh. "Jag tror att en del av det är, om du ser dig omkring på kontoret, du ser många olika ansikten. De som arbetar med dessa modeller kommer att vara slutanvändare av dessa modeller. Mer allmänt, Jag tror att det finns ett väldigt starkt kulturellt fokus på rättvisa som gör detta till ett viktigt område för forskare i det här landet."