I jakten på att konkurrera ut andra företag saknar design av artificiell intelligens (AI) en djup förståelse för vad data om människor betyder och dess relation till rättvisa. Två sociologer från Drexel University föreslår att vi ägnar större uppmärksamhet åt AIs samhälleliga inverkan, eftersom det dyker upp oftare än någonsin tidigare.

"Coronaviruspandemin har påskyndat användningen av AI och automatisering för att ersätta mänskliga arbetare, som en del av strävan att minimera riskerna förknippade med öga mot öga interaktioner, sa Kelly Joyce, Ph.D., en professor vid College of Arts and Sciences och grundare av Center for Science, Teknik och samhälle på Drexel. "Vi ser allt oftare exempel på algoritmer som förstärker befintliga ojämlikheter. Som institutioner som utbildning, sjukvård, krigföring, och arbeta anta dessa system, vi måste åtgärda denna orättvisa."

I en nyutgiven tidning i Socius , Joyce, Susan Bell, Ph.D., professor vid College of Arts and Sciences, och kollegor uttrycker oro över strävan att snabbt påskynda AI-utvecklingen i USA utan att påskynda de utbildnings- och utvecklingsmetoder som krävs för att göra etisk teknologi. Uppsatsen föreslår en forskningsagenda för en sociologi av AI.

"Sociologins förståelse av förhållandet mellan mänskliga data och långvariga ojämlikheter behövs för att göra AI-system som främjar jämlikhet, " förklarade Joyce.

Hur definierar vi AI?

Termen AI har använts på många olika sätt och tidiga tolkningar förknippar termen med programvara som kan lära sig och agera på egen hand. Till exempel, självkörande bilar lär sig och identifierar rutter och hinder – precis som robotdammsugare gör omkretsen eller layouten av ett hem, och smarta assistenter (Alexa eller Google Assistant) identifierar tonen och preferenser för sin användare.

"AI har en flytande definitionsomfattning som hjälper till att förklara dess överklagande, " sade Joyce. "Dess expansiva, men ospecificerad betydelse gör det möjligt för initiativtagare att göra framtidsorienterade, empiriskt ogrundad, skuldebrev om dess potentiella positiva samhälleliga inverkan."

Joyce, Bell och kollegor förklarar att de senaste åren, programmeringsgemenskaper har till stor del fokuserat på att utveckla maskininlärning (ML) som en form av AI. Termen ML används oftare bland forskare än termen AI, även om AI fortsätter att vara den allmänna termen som används av företag, institut, och initiativ. "ML betonar utbildningen av datorsystem för att känna igen, sortera, och förutsäga resultat från analys av befintliga datamängder, " förklarade Joyce.

AI-utövare, datavetare, datavetare och ingenjörer tränar system för att känna igen, sortera och förutsäga resultat från analys av befintliga datamängder. Människor matar in befintlig data för att hjälpa till att träna AI-system för att fatta autonoma beslut. Problemet här är att AI-utövare vanligtvis inte förstår hur data om människor nästan alltid också är data om ojämlikhet.

"AI-utövare kanske inte är medvetna om att data om X (t.ex. Postnummer, hälsojournaler, platsen för motorvägar) kan också vara data om Y (t.ex. klass, ojämlikhet mellan kön eller ras, socioekonomisk status), sa Joyce, som är huvudförfattare på tidningen. "De kanske tänker, till exempel, att postnummer är en neutral databit som gäller alla människor på ett lika sätt istället för att förstå att postnummer ofta också ger information om ras och klass på grund av segregation. Denna brist på förståelse har resulterat i accelerationen och intensifieringen av ojämlikheter när ML-system utvecklas och distribueras."

"Identifiera samband mellan utsatta grupper och livschanser, AI-system accepterar dessa korrelationer som orsakssamband, och använda dem för att fatta beslut om insatser framöver. På det här sättet, AI-system skapar inte nya framtider, utan snarare replikerar de varaktiga ojämlikheter som finns i en viss social värld, " förklarar Joyce.

Är AI hotad av systemisk rasism och mänsklig fördom?

Det finns politik knuten till algoritmer, data och kod. Tänk på sökmotorn Google. Även om Googles sökresultat kan tyckas vara neutrala eller singulära utdata, Googles sökmotor återskapar sexismen och rasismen som finns i vardagen.

"Sökresultaten återspeglar de beslut som krävs för att göra algoritmerna och koderna, och dessa återspeglar Google-anställdas ståndpunkt, " förklarar Bell. "Närmare bestämt, deras beslut om vad som ska betecknas som sexistiskt eller rasistiskt återspeglar de bredare sociala strukturerna av genomgripande rasism och sexism. I tur och ordning, beslut om vad som ska betecknas som sexistiskt eller rasistiskt "tränar" ett ML-system. Även om Google anklagar användare för att ha bidragit till sexistiska och rasistiska sökresultat, källan ligger i 'ingången'."

Bell påpekar "i motsats till den upplevda neutraliteten i Googles sökresultat, samhälleligt förtryck och ojämlikhet är inbäddade i och förstärks av dem."

Ett annat exempel som författarna pekar på är AI-system som använder data från patienternas elektroniska journaler (EPJ) för att göra förutsägelser om lämpliga behandlingsrekommendationer. Även om datavetare och ingenjörer ofta överväger integritet när de designar AI-system, att förstå de multivalenta dimensionerna av mänskliga data är vanligtvis inte en del av deras träning. Med tanke på detta, de kan anta att EPJ-data representerar objektiv kunskap om behandling och resultat, istället för att se det genom en sociologisk lins som känner igen hur EPJ-data är partiell och situerad.

"När man använder ett sociologiskt tillvägagångssätt, Joyce förklarar, "Du förstår att patientresultat inte är neutrala eller objektiva - de är relaterade till patienternas socioekonomiska status, och berättar ofta mer om klasskillnader, rasism och andra typer av ojämlikheter än effektiviteten av särskilda behandlingar."

Tidningen noterar exempel som en algoritm som rekommenderade att svarta patienter får mindre hälsovård än vita patienter med samma tillstånd och en rapport som visar att ansiktsigenkänningsprogram är mindre benägna att känna igen färgade personer och kvinnor visade att AI kan förstärka befintliga ojämlikheter.

"En sociologisk förståelse av data är viktig, med tanke på att en okritisk användning av mänskliga data i AI sociotekniska system kommer att tendera att reproducera, och kanske till och med förvärra, redan existerande sociala ojämlikheter, ", sa Bell. "Även om företag som producerar AI-system gömmer sig bakom påståendet att algoritmer eller plattformsanvändare skapar rasistiska, sexistiska resultat, sociologisk vetenskap illustrerar hur mänskligt beslutsfattande sker i varje steg av kodningsprocessen."

I tidningen, forskarna visar att sociologisk forskning kan förenas med annan kritisk samhällsvetenskaplig forskning för att undvika några av fallgroparna med AI-tillämpningar. "Genom att undersöka designen och implementeringen av AI sociotekniska system, sociologiskt arbete visar mänskligt arbete och sociala sammanhang, " sa Joyce. Att bygga på sociologins erkännande av betydelsen av organisatoriska sammanhang för att forma resultat, uppsatsen visar att både finansieringskällor och institutionella sammanhang är nyckelfaktorer för hur AI-system utvecklas och används.

Kräver AI vägledning av sociologi? Forskare säger ja.

Joyce, Bell och kollegor föreslår att, trots välmenande ansträngningar att införliva kunskap om sociala världar i sociotekniska system, AI-forskare fortsätter att visa en begränsad förståelse för det sociala – prioriterar det som kan vara avgörande för utförandet av AI-tekniska uppgifter, men att radera komplexiteten och inbäddningen av sociala ojämlikheter.

"Sociologins djupt strukturella synsätt står också i kontrast till synsätt som lyfter fram individuella val, ", sa Joyce. "En av den politiska liberalismens mest genomgripande troper är att social förändring drivs av individuella val. Som individer, logiken går, vi kan skapa mer rättvisa framtider genom att tillverka och välja bättre produkter, praxis, och politiska företrädare. Teknikvärlden tenderar att upprätthålla ett liknande individualistiskt perspektiv när dess ingenjörer och etiker betonar att eliminera mänsklig fördom på individnivå och förbättra känslighetsträning som ett sätt att ta itu med ojämlikhet i AI-system."

Joyce, Bell och kollegor bjuder in sociologer att använda disciplinens teoretiska och metodologiska verktyg för att analysera när och hur ojämlikheter görs mer hållbara av AI-system. Forskarna betonar att skapandet av AI sociotekniska system inte bara är en fråga om teknisk design, men väcker också grundläggande frågor om makt och social ordning.

"Sociologer är utbildade att identifiera hur ojämlikheter är inbäddade i alla aspekter av samhället och att peka på vägar för strukturell social förändring. Därför, sociologer bör spela en ledande roll i utformningen av AI-framtiden, sa Joyce.