Idag hjälper maskininlärning att avgöra vilket lån vi är kvalificerade för, vilket jobb vi får och till och med vem som hamnar i fängelse. Men när det kommer till dessa potentiellt livsförändrande beslut, kan datorer göra ett rättvist samtal? I en studie publicerad 29 september i tidskriften Patterns , visade forskare från Tyskland att med mänsklig övervakning tror folk att en dators beslut kan vara lika rättvist som ett beslut som i första hand fattas av människor.

"Mycket av diskussionen om rättvisa i maskininlärning har fokuserat på tekniska lösningar, som hur man fixar orättvisa algoritmer och hur man gör systemen rättvisa", säger beräkningssamhällsvetare och medförfattare Ruben Bach vid universitetet i Mannheim, Tyskland. "Men vår fråga är, vad tycker folk är rättvist? Det handlar inte bara om att utveckla algoritmer. De måste accepteras av samhället och möta normativa övertygelser i den verkliga världen."

Automatiserat beslutsfattande, där en slutsats enbart görs av en dator, utmärker sig på att analysera stora datamängder för att upptäcka mönster. Datorer anses ofta vara objektiva och neutrala jämfört med människor, vars fördomar kan grumla bedömningar. Ändå kan partiskhet smyga sig in i datorsystem när de lär sig av data som återspeglar diskriminerande mönster i vår värld. Att förstå rättvisa i dator- och mänskliga beslut är avgörande för att bygga ett mer rättvist samhälle.

För att förstå vad människor anser vara rättvist i automatiserat beslutsfattande, undersökte forskarna 3 930 individer i Tyskland. Forskarna gav dem hypotetiska scenarier relaterade till bank-, jobb-, fängelse- och arbetslöshetssystem. Inom scenarierna jämförde de ytterligare olika situationer, inklusive om beslutet leder till ett positivt eller negativt resultat, varifrån data för utvärdering kommer och vem som fattar det slutliga beslutet – människa, dator eller båda.

"Som förväntat såg vi att helt automatiserat beslutsfattande inte gynnades", säger beräkningssamhällsvetare och medförfattare Christoph Kern från University of Mannheim. "Men det som var intressant är att när man har mänsklig övervakning över det automatiserade beslutsfattandet, blir nivån av upplevd rättvisa liknande den mänskliga centrerade beslutsfattandet." Resultaten visade att människor uppfattar ett beslut som mer rättvist när människor är inblandade.

Människor hade också mer oro över rättvisa när beslut relaterade till det straffrättsliga systemet eller jobbutsikter, där insatserna är högre. Möjligen betraktade deltagarna vikten av förluster som var större än vikten av vinster, och ansåg att beslut som kan leda till positiva resultat var mer rättvisa än negativa. Jämfört med system som bara förlitar sig på scenariorelaterad data ansågs de som utnyttjar ytterligare orelaterade data från internet som mindre rättvisa, vilket bekräftar vikten av datatransparens och integritet. Tillsammans visade resultaten att sammanhanget är viktigt. Automatiserade beslutsfattande system måste utformas noggrant när oro för rättvisa uppstår.

Även om hypotetiska situationer i undersökningen kanske inte helt översätts till den verkliga världen, håller teamet redan på att brainstorma nästa steg för att bättre förstå rättvisa. De planerar att ta studien vidare för att förstå hur olika människor definierar rättvisa. De vill också använda liknande undersökningar för att ställa fler frågor om idéer som fördelningsrättvisa, rättvisa resursallokering mellan samhället.

"På sätt och vis hoppas vi att människor i branschen kan ta dessa resultat som en tankeställare och som saker de bör kontrollera innan de utvecklar och implementerar ett automatiserat beslutssystem", säger Bach. "Vi måste också se till att människor förstår hur uppgifterna behandlas och hur beslut fattas utifrån den." + Utforska vidare

Moraliska illusioner kan förändra vårt beteende