Ett flitigt använt datorprogramvara är kanske inte mer exakt eller rättvist när det gäller att förutsäga upprepade kriminella beteenden än personer utan erfarenhet av straffrättslig verksamhet, enligt en studie från Dartmouth College.

Dartmouth-analysen visade att icke-experter som svarade på en online-enkät presterade lika bra som mjukvarusystemet Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) som används av domstolar för att hjälpa till att fastställa risken för återfall i brott.

Uppsatsen visar också att även om COMPAS använder över hundra delar av information för att göra en förutsägelse, samma nivå av noggrannhet kan uppnås med endast två variabler - den tilltalades ålder och antalet tidigare fällande domar.

Enligt forskningsrapporten, COMPAS har använts för att bedöma över en miljon brottslingar sedan det utvecklades 1998, med dess återfallsförutsägelsekomponent som har använts sedan 2000.

Analysen, publiceras i tidskriften Vetenskapens framsteg , utfördes av student-fakultetens forskarteam av Julia Dressel och Hany Farid.

"Det är oroande att otränade internetarbetare kan prestera lika bra som ett datorprogram som används för att fatta livsavgörande beslut om åtalade, sa Farid, Albert Bradley 1915 tredje århundradet professor i datavetenskap vid Dartmouth College. "Användningen av sådan programvara kanske inte gör något för att hjälpa människor som kan nekas en andra chans av svarta lådans algoritmer."

Enligt tidningen, mjukvaruverktyg används i förtest, villkorlig frigivning, och straffbeslut för att förutsäga kriminellt beteende, inklusive vem som sannolikt inte kommer att infinna sig vid en domstolsförhandling och vem som sannolikt kommer att begå brott någon gång i framtiden. Anhängare av sådana system hävdar att big data och avancerad maskininlärning gör dessa analyser mer exakta och mindre partiska än förutsägelser gjorda av människor.

"Påståenden om att hemliga och till synes sofistikerade dataverktyg är mer exakta och rättvisa än människor stöds helt enkelt inte av våra forskningsrön, sa Dressel, som utförde forskningen som en del av hennes grundexamen i datavetenskap vid Dartmouth.

Forskningsuppsatsen jämför den kommersiella COMPAS-mjukvaran med arbetare som kontrakterats via Amazons online-marknadsplats Mechanical Turk för crowdsourcing för att se vilket tillvägagångssätt som är mer exakt och rättvist när man bedömer möjligheten till återfall i brott. För studiens syfte, återfall i brott definierades som att begå ett förseelse eller grovt brott inom två år efter att en tilltalad gripits senast.

Grupper av internetarbetare såg korta beskrivningar som inkluderade en åtalads kön, ålder, och tidigare kriminell historia. De mänskliga resultaten jämfördes sedan med resultat från COMPAS-systemet som använder 137 variabler för varje individ.

Den totala noggrannheten baserades på den takt med vilken en svarande korrekt förutspåddes att återfalla eller inte. Forskningen rapporterade också om falska positiva resultat – när en tilltalad förutspås återfalla men inte gör det – och falska negativa – när en tilltalad förutspås att inte återfalla men gör det.

Med avsevärt mindre information än COMPAS - sju funktioner jämfört med 137 - när resultaten slogs samman för att bestämma "publikens visdom, "Människor utan förmodad erfarenhet av straffrättsligt arbete var korrekta i 67 procent av fallen som presenterades, statistiskt samma som 65,2 procents träffsäkerhet för COMPAS. Studiedeltagare och COMPAS var överens för 69,2 procent av de 1 000 åtalade när de förutspådde vem som skulle upprepa deras brott.

Enligt studien, frågan om korrekt förutsägelse av återfall i brott är inte begränsad till COMPAS. En separat recension som citerades i studien fann att åtta av nio program misslyckades med att göra korrekta förutsägelser.

"Hela användningen av instrument för att förutsäga återfall i rättssalar bör ifrågasättas, ", sa Dressel. "Tillsammans med tidigare arbete om rättvisa i straffrättsliga algoritmer, dessa kombinerade resultat kastar betydande tvivel på hela ansträngningen att förutsäga återfall i brott."

I motsats till andra analyser som fokuserar på huruvida algoritmer är rasistiska, Dartmouth-studien överväger den mer grundläggande frågan om COMPAS-algoritmen är bättre än otränade människor på att förutsäga återfall på ett korrekt och rättvist sätt.

Dock, när ras övervägdes, forskningen fann att resultat från både de mänskliga respondenterna och programvaran visade betydande skillnader mellan hur svarta och vita svarande bedöms.

Enligt tidningen, det är värdefullt att fråga om vi skulle lägga dessa beslut i händerna på outbildade personer som svarar på en onlineenkät, eftersom, i slutet, "resultaten från dessa två tillvägagångssätt verkar vara omöjliga att skilja."