Artificiell intelligens förändrar vår värld, ibland på sätt som dess skapare inte hade för avsikt. I Wellcome Data Labs utvecklar vi en ny metod för att tillämpa metoder från samhällsvetenskaperna på hur AI-algoritmer produceras för att lösa datavetenskapliga problem. Målet är att undvika potentiella negativa konsekvenser av algoritmerna genom att identifiera dem tidigare i utvecklingsprocessen.

Det har redan gjorts försök att sätta upp ett sådant arbetssätt. Ett exempel är Catalina Butnarus utmärkta inlägg som föreslår en ny agil etikprocess. Det finns mycket att rekommendera detta tillvägagångssätt, inte minst att det är systematiskt och nära anpassat i sina steg till välkända steg i agila mjukvaruutvecklingsmetoder.

Dock, Butnaru tar inte upp mekaniken i hur hennes föreslagna Agile-etikprocess skulle kunna hanteras. Är det teamet av datavetare och ingenjörer själva som ansvarar för att följa stegen? Eller deras produktchef? Eller UX-teamet? Eller ett separat team till ingenjörerna som granskar deras arbete?

Vi har funderat mycket på sådana frågor, eftersom vi är angelägna om att testa hur etiska förhållningssätt kan tillämpas på datavetares arbete i praktiken och inte bara i teorin.

Den viktigaste utmaningen vi ställer oss är:hur man tillämpar en process som Butnarus, eller någon av de andra rivaliserande metoderna, på ett sätt som mätbart minskar etiska frågor, som oavsiktlig partiskhet, men minskar inte energin och effektiviteten hos våra agila produktteam?

Vi tror att detta kan göras genom att uppmuntra samhällsvetare att arbeta som en del av tvärvetenskapliga team med mjukvaruutvecklare och datavetare, anta sina agila och iterativa metoder.

Jag har beskrivit några av utmaningarna med att göra detta. Till exempel, svårigheten att få samhällsvetenskapliga forskare att arbeta i samma hastighet och i samma rytm som mjukvaruutvecklarna och datavetarna. Dock, det finns en potentiell mall att följa genom att lära av den framgångsrika integrationen av User Experience-disciplinen i arbetsflödena för mjukvaruutveckling.

Det finns en extra utmaning, fastän. Att förlita sig på en användarforskare som är inbäddad i ett produktteam för att på egen hand styra det teamet genom en agil etisk metodik introducerar risken att de tappar objektivitet. Detta är ett välkänt problem inom etnografisk forskning, där det finns en aktiv spänning mellan en forskars roll som opartisk observatör och alternativet att vara en aktiv deltagare.

Ett mindre tekniskt sätt att se på det är att människor, i grunden, är lagspelare:de vill passa in och kan ha svårt att kritisera sina nära kollegors arbete. De kan också bli föremål för "grupptänkande" utan att inse det.

I Wellcome Data Labs har vi utarbetat ett parat tillvägagångssätt för agil etik som är tänkt att lösa detta problem. Vår föreslagna metod har tre steg:

1. Inbädda inom Data Labs en användarforskare med bakgrund både i att arbeta som en del av agila produktteam och att utföra samhällsvetenskaplig forskning. Denna inbäddade forskare kommer att ha det uttryckligen definierade målet att testa de algoritmiska modellerna som mjukvaruutvecklarna och dataforskarna arbetar med utifrån deras möjliga sociala påverkan.
2. De kommer att justera och utveckla sin analys iterativt för att matcha hastigheten på teknikarbetet och återföra sina framväxande slutsatser till dataforskarna för att styra kursen i deras arbete.
3. Den inbäddade forskaren kommer att paras ihop med en annan samhällsvetare utanför teamet för att ge en objektiv kritik och nödvändiga kontroller och avvägningar på sin analys.

Alla tre delarna av den föreslagna metoden är lika viktiga.

• Att inte bädda in forskaren i teamet skulle göra det svårt för dem att ha tillräckligt nära kunskap om vad dataforskarna gör.
• Att inte iterativt testa och skriva om sin analys av möjliga sociala effekter kommer inte att matcha rytmen i den tekniska utvecklingen  –  den viktigaste föreslagna fördelen med denna metod.
• Till sist, sammankopplingen är utformad för att förhindra att den inbäddade forskaren riskerar att förlora sin professionella avskildhet och objektivitet, vilket är en risk just för att de är så nära inbäddade i teknikteamen.
• Hela detta tillvägagångssätt är ett experiment i sig och vi är inte alls säkra på att det kommer att fungera. Dock, det är just det som gör det spännande för oss. Vi hoppas att det kommer att hjälpa oss att bli bättre medvetna om de fördomar som introduceras av de algoritmer som vi utvecklar och minimera eventuella negativa oavsiktliga konsekvenser av de verktyg som teamet producerar.

Detta är viktigt eftersom välkommen, som en betydande finansiär av vetenskaplig forskning, har en betydande inverkan på den akademiska industrin och hälsobranschen. Och Wellcome Data Labs analys matas in i Wellcomes beslutsprocess. Alla oavsiktliga fördomar i de algoritmer som mitt team producerar som kan påverka Wellcomes beslut, kan ha en ringverkan på besluten av fler finansiärer, vilket i sin tur kan falla ner till sekundära effekter på andra industrier och samhället i stort. Vi har ett ansvar att få det rätt.