"Jag svär vid Hypatia, av Lovelace, av Turing, av Fisher (och/eller Bayes), och av alla statistiker och datavetare, gör dem till mina vittnen, som jag ska genomföra, enligt min förmåga och omdöme, denna ed och detta avtal."

Kan detta vara den första raden i en "Hippokratisk ed" för matematiker och datavetare? Hannah Fry, Docent i städernas matematik vid University College London, hävdar att matematiker och datavetare behöver en sådan ed, precis som läkare som svär att bara agera i sina patienters bästa.

"Inom medicin, du lär dig om etik från dag ett. I matematik, det är i bästa fall en bult-on. Det måste finnas där från dag ett och vara i framkant av ditt sinne i varje steg du tar, " argumenterade Fry.

Men krävs verkligen en teknisk version av Hippocratic Oath? Inom medicin, dessa eder varierar mellan institutioner, och har utvecklats mycket under de nästan 2, 500 år av deras historia. Verkligen, det finns en viss debatt om huruvida eden fortfarande är relevant för praktiserande läkare, särskilt som det är lagen, snarare än en uppsättning antika grekiska principer, som de i slutändan måste följa.

Hur har datavetenskap nått den punkt då ett etiskt löfte anses nödvändigt? Det finns säkert många exempel på algoritmer som gör skada – algoritmer för straffmätning, till exempel, har visat sig oproportionerligt rekommendera att låginkomsttagare och minoritetspersoner skickas i fängelse.

Liknande kriser har lett till förslag om etiska löften tidigare. I efterdyningarna av den globala finanskrisen 2008, ett manifest av finansingenjörerna Emanuel Derman och Paul Wilmott bad ekonomiska modellbyggare att svära att inte "ge de människor som använder min modell falsk tröst om dess noggrannhet. Istället, Jag kommer att tydliggöra dess antaganden och förbiseenden."

Precis som man kan lära sig fördomar som barn, fördomarna hos dessa algoritmer är ett resultat av deras träning. Ett vanligt drag för dessa algoritmer är användningen av black-box (ofta proprietära) algoritmer, av vilka många är tränade med hjälp av statistiskt snedvridna data.

När det gäller straffrätt, Algoritmens orättvisa resultat härrör från det faktum att historiskt, minoriteter är överrepresenterade i fängelsepopulationer (mest troligt till följd av långvariga mänskliga fördomar). Denna fördom är därför replikerad och sannolikt förvärrad av algoritmen.

Maskininlärningsalgoritmer tränas på data, och kan endast förväntas producera förutsägelser som är begränsade till dessa data. partiskhet i, partiska ut.

Löften, löften

Skulle ett etiskt löfte ha hjälpt designarna av dessa algoritmer? Kanske, men större medvetenhet om statistiska fördomar kan ha varit tillräckligt. Frågor om opartisk representation i urval har länge varit en hörnsten i statistik, och utbildning i dessa ämnen kan ha fått designerna att ta ett steg tillbaka och ifrågasätta giltigheten av sina förutsägelser.

Fry har själv kommenterat denna fråga tidigare, säger att det är nödvändigt för människor att "uppmärksamma hur fördomar du har i data kan sluta med att de analyserar du gör."

Men även om frågor om opartisk representation inte är nya i statistiken, den växande användningen av kraftfulla algoritmer i kontroversiella områden gör "datakunskap" mer relevant än någonsin.

En del av problemet är hur lätt maskininlärningsalgoritmer kan tillämpas, göra datakompetens inte längre speciellt för matematiska och datavetare, men för allmänheten i stort. Utbredd grundläggande statistik- och datakunskap skulle underlätta medvetenheten om problemen med statistiska fördomar, och är ett första steg mot att skydda sig mot olämplig användning av algoritmer.

Ingen är perfekt, och medan förbättrad datakompetens kommer att hjälpa, oavsiktliga fördomar kan fortfarande förbises. Algoritmer kan också ha fel. Ett enkelt (att beskriva) sätt att skydda sig mot sådana frågor är att göra dem offentligt tillgängliga. Sådan öppen källkod kan tillåta gemensamt ansvar för partiskhet och felkontroll.

Insatser av det här slaget börjar dyka upp, till exempel Web Transparency and Accountability Project vid Princeton University. Självklart, många proprietära algoritmer är kommersiella i förtroende, vilket försvårar transparens. Regelverk kommer därför sannolikt att bli viktiga och nödvändiga på detta område. Men en förutsättning är att utövare, politiker, advokater, och andra för att förstå problemen kring modellernas utbredda tillämpbarhet, och deras inneboende statistiska fördomar.

Etik är utan tvekan viktigt, och i en perfekt värld skulle ingå i vilken utbildning som helst. Men universitetsexamina är ändliga. Vi hävdar att data och statistisk läskunnighet är ett ännu mer akut problem, och kan hjälpa till att skydda mot uppkomsten av fler "oetiska algoritmer" i framtiden.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.