University of Toronto Ph.D. Student David Madras säger att många av dagens algoritmer är bra på att göra korrekta förutsägelser, men vet inte hur jag ska hantera osäkerhet bra. Om en dåligt kalibrerad algoritm fattar fel beslut, det brukar vara väldigt fel.

"En mänsklig användare kan förstå en situation bättre än en dator, om det är information som inte är tillgänglig eftersom den är mycket kvalitativ till sin natur, eller något som händer i den verkliga världen som inte kom in i algoritmen, säger Madras, en maskininlärningsforskare vid institutionen för datavetenskap som också är knuten till Vector Institute for Artificial Intelligence.

"Båda kan vara mycket viktiga och kan ha en effekt på vilka förutsägelser som bör göras."

Madras presenterar sin forskning, "Förutsäga ansvarsfullt:Öka rättvisan genom att lära sig att skjuta upp, " vid den internationella konferensen om läranderepresentationer (ICLR), i Vancouver den här veckan. Konferensen fokuserar på metoder och prestanda för maskininlärning och samlar ledare inom området.

Madras säger att han och Toniann Pitassi, en professor vid U of T:s institutioner för datavetenskap och matematik och en beräkningsteoretisk expert som också utforskar beräkningsmässig rättvisa, liksom Richard Zemel, en U of T-professor i datavetenskap och forskningschef för Vector Institute, har utvecklat sin modell med rättvisa i åtanke. Där det finns en viss osäkerhet, en algoritm måste ha möjlighet att svara, "Jag vet inte" och skjuter upp sitt beslut till en mänsklig användare.

Madras förklarar om Facebook skulle använda en algoritm för att automatiskt tagga personer i bilder, det kanske inte är så viktigt om taggningen görs fel. Men när individuella resultat har stor inverkan, risken kan vara större. Han säger att modellen inte har tillämpats ännu på någon specifik applikation, utan snarare funderar forskarna på vilka typer av sätt det kan användas i verkliga fall.

"I medicinska miljöer, Det kan vara viktigt att skriva ut något som kan tolkas - det finns en viss osäkerhet kring dess förutsägelser - och en läkare bör bestämma om behandling ska ges. "

Madras examenhandledare Zemel, som kommer att tillträda en NSERC Industrial Research Chair in Machine Learning i sommar, undersöker också hur maskininlärning kan göras mer uttrycksfull, kontrollerbar och rättvis.

Zemel säger att maskininlärning baserat på historiska data, till exempel om ett banklån godkändes eller längden på fängelsestraff, kommer naturligtvis att ta upp fördomar. Och fördomarna i datamängden kan spela ut i en maskins förutsägelser, han säger.

"I det här pappret, vi tänker mycket på en extern beslutsfattare. För att träna upp vår modell, vi måste använda historiska beslut som fattas av beslutsfattare. Resultaten av dessa beslut, skapad av befintliga beslutsfattare, kan själva vara partiska eller på sätt och vis ofullständiga."

Madras tror att det ökade fokuset på algoritmisk rättvisa vid sidan av frågor om integritet, säkerhet och säkerhet, kommer att hjälpa till att göra maskininlärning mer användbar för höginsatsapplikationer.

"Det väcker viktiga frågor om rollen som ett automatiserat system som fattar viktiga beslut, och hur man får [dem] att förutsäga på ett sätt som vi vill att de ska göra."

Madras säger att han fortsätter att tänka på frågor om rättvisa och relaterade områden, som kausalitet:Två saker kan korreleras – eftersom de förekommer ofta tillsammans – men det betyder inte att det ena orsakar det andra.

"Om en algoritm bestämmer när man ska ge någon ett lån, det kan lära sig att människor som bor i ett visst postnummer är mindre benägna att betala tillbaka lån. Men det kan vara en källa till orättvisa. Det är inte som att bo i ett visst postnummer gör att du är mindre benägen att betala tillbaka ett lån, " han säger.

"Det är en intressant och viktig uppsättning problem att arbeta med."