Kredit:Unsplash/CC0 Public Domain
En studie om vilka typer av misstag som människor gör när de utvärderar bilder kan möjliggöra datoralgoritmer som hjälper oss att fatta bättre beslut om visuell information, till exempel när vi läser en röntgenbild eller modererar innehåll på nätet.
Forskare från Cornell och partnerinstitutioner analyserade mer än 16 miljoner mänskliga förutsägelser om huruvida en stadsdel röstade på Joe Biden eller Donald Trump i presidentvalet 2020 baserat på en enda Google Street View-bild. De fann att människor som grupp presterade bra i uppgiften, men en datoralgoritm var bättre på att skilja mellan Trump och Biden-landet.
Studien klassificerade också vanliga sätt som människor stökar till och identifierade föremål – som pickuper och amerikanska flaggor – som ledde människor vilse.
"Vi försöker förstå, var en algoritm har en mer effektiv förutsägelse än en människa, kan vi använda det för att hjälpa människan, eller göra ett bättre hybrid människa-maskin-system som ger dig det bästa av två världar?" sa förstaförfattaren J.D. Zamfirescu-Pereira, en doktorand vid University of California i Berkeley.
Han presenterade arbetet, med titeln "Trucks Don't Mean Trump:Diagnosing Human Error in Image Analysis," vid 2022 Association for Computing Machinery (ACM) Conference on Fairness, Accountability, and Transparency (FAccT).
Nyligen har forskare ägnat mycket uppmärksamhet åt frågan om algoritmisk bias, vilket är när algoritmer gör fel som systematiskt missgynnar kvinnor, rasminoriteter och andra historiskt marginaliserade befolkningar.
"Algorithmer kan skruvas ihop på vilket som helst av en myriad av sätt och det är väldigt viktigt", säger seniorförfattaren Emma Pierson, biträdande professor i datavetenskap vid Jacobs Technion-Cornell Institute vid Cornell Tech och Technion med Cornell Ann S. Bowers College of Computing and Information Science. "Men människor är själva partiska och felbenägna, och algoritmer kan ge mycket användbar diagnostik för hur människor krånglar."
Forskarna använde anonymiserad data från en New York Times interaktiv frågesport som visade läsarna ögonblicksbilder från 10 000 platser över hela landet och bad dem att gissa hur grannskapet röstade. De tränade en maskininlärningsalgoritm för att göra samma förutsägelse genom att ge den en delmängd av Google Street View-bilder och förse den med verkliga röstningsresultat. Sedan jämförde de algoritmens prestanda på de återstående bilderna med läsarnas.
Sammantaget förutspådde maskininlärningsalgoritmen det korrekta svaret cirka 74 % av gångerna. När man räknade samman för att avslöja "publikens visdom" hade människor rätt 71 % av gångerna, men enskilda människor fick bara cirka 63 %.
Folk valde ofta Trump felaktigt när gatuvyn visade pickuper eller vidöppen himmel. I en artikel i New York Times noterade deltagarna att amerikanska flaggor också gjorde dem mer benägna att förutsäga Trump, även om stadsdelar med flaggor var jämnt fördelade mellan kandidaterna.
Forskarna klassificerade de mänskliga misstagen som ett resultat av bias, varians eller brus - tre kategorier som vanligtvis används för att utvärdera fel från maskininlärningsalgoritmer. Bias representerar fel i publikens visdom - till exempel att alltid associera pickuper med Trump. Varians omfattar individuella felaktiga bedömningar - när en person gör ett dåligt samtal, trots att publiken i genomsnitt hade rätt. Brus är när bilden inte ger användbar information, t.ex. ett hus med en Trump-skylt i en stadsdel som framför allt röstar Biden.
Att kunna dela upp mänskliga fel i kategorier kan hjälpa till att förbättra mänskligt beslutsfattande. Ta till exempel radiologer som läser röntgen för att diagnostisera en sjukdom. Om det finns många fel på grund av partiskhet kan läkare behöva omskolning. Om diagnosen i genomsnitt är framgångsrik men det finns skillnader mellan radiologer, kan en andra åsikt vara motiverad. Och om det finns mycket missvisande ljud i röntgenbilderna kan ett annat diagnostiskt test vara nödvändigt.
I slutändan kan detta arbete leda till en bättre förståelse för hur man kombinerar mänskligt och maskinellt beslutsfattande för mänskliga-i-slingan-system, där människor ger input till annars automatiserade processer.
"Du vill studera prestandan för hela systemet tillsammans - människor plus algoritmen, eftersom de kan interagera på oväntade sätt," sa Pierson. + Utforska vidare
