I en studie med potentiellt långtgående konsekvenser för det straffrättsliga i USA, ett team av forskare i Kalifornien har funnit att algoritmer är betydligt mer exakta än människor för att förutsäga vilka åtalade som senare kommer att gripas för ett nytt brott.

När man bedömer bara en handfull variabler i en kontrollerad miljö, även otränade människor kan matcha den förutsägbara färdigheten hos sofistikerade riskbedömningsinstrument, säger den nya studien av forskare vid Stanford University och University of California, Berkeley.

Men verkliga straffrättsliga miljöer är ofta mycket mer komplexa, och när ett större antal faktorer är användbara för att förutsäga återfall, de algoritmbaserade verktygen presterade mycket bättre än människor. I vissa tester, verktygen närmade sig 90% noggrannhet för att förutsäga vilka åtalade som kan gripas igen, jämfört med cirka 60% för mänsklig förutsägelse.

"Riskbedömning har länge varit en del av beslutsfattandet i det straffrättsliga systemet, "sa Jennifer Skeem, en psykolog som specialiserat sig på straffrätt vid UC Berkeley. "Även om den senaste tidens debatt har väckt viktiga frågor om algoritmbaserade verktyg, vår forskning visar att i sammanhang som liknar verkliga straffrättsliga miljöer, riskbedömningar är ofta mer exakta än mänskliga bedömningar för att förutsäga återfall. Det stämmer överens med en lång rad forskning som jämför människor med statistiska verktyg."

"Validerade riskbedömningsinstrument kan hjälpa jurister att fatta mer välgrundade beslut, "sa Sharad Goel, en datavetenskaplig samhällsvetare vid Stanford University. "Till exempel, dessa verktyg kan hjälpa domare att identifiera och eventuellt släppa människor som utgör liten risk för allmän säkerhet. Men, som alla verktyg, Riskbedömningsinstrument måste kombineras med sund politik och mänsklig tillsyn för att stödja en rättvis och effektiv straffrättslig reform."

Tidningen - "The limits of human predictions of recidivism" - var planerad att publiceras den 14 februari, 2020, i Vetenskapliga framsteg . Skeem presenterade forskningen den 13 februari i en nyhetsbriefing vid årsmötet för American Association for the Advancement of Science (AAAS) i Seattle, Wash. Till henne var två medförfattare:Ph.D. examen Jongbin Jung och Ph.D. kandidat Zhiyuan "Jerry" Lin, som båda studerade beräkningssamhällsvetenskap vid Stanford.

Forskningsresultaten är viktiga när USA debatterar hur man ska balansera de behov samhällen har för säkerhet samtidigt som man sänker fängelsetalen som är den högsta av någon nation i världen - och påverkar oproportionerligt mycket afroamerikaner och färgade samhällen.

Om användningen av avancerade riskbedömningsverktyg fortsätter och förbättras, som skulle kunna förfina kritiskt viktiga beslut som rättsväsendet fattar dagligen:Vilka individer kan rehabiliteras i samhället, snarare än i fängelse? Som kan gå till fängelser med låg säkerhet, och vilka till högsäkerhetssajter? Och vilka fångar kan tryggt släppas ut till samhället på villkorlig frihet?

Bedömningsverktyg som drivs av algoritmer används i stor utsträckning i USA, inom så olika områden som sjukvård, bank- och universitetsantagning. De har länge använts i straffrätten, hjälpa domare och andra att väga data när de fattar sina beslut.

Men 2018, forskare vid Dartmouth University ställde frågor om riktigheten av sådana verktyg i en straffrättslig ram. I en studie, de samlade 1, 000 korta vinjetter av kriminella åtalade, med information hämtad från en mycket använd riskbedömning som kallas Correctional Offender Management Profiling for Alternative Sanctions (COMPAS).

Vignetterna innehöll var och en av fem riskfaktorer för återfall:individens kön, ålder, nuvarande brottsanklagelse, och antalet tidigare vuxna och ungdomsbrott. Forskarna använde sedan Amazons Mechanical Turk-plattform för att rekrytera 400 frivilliga för att läsa vinjetterna och bedöma om varje åtalad skulle begå ett annat brott inom två år. Efter att ha granskat varje vinjett, volontärerna fick veta om deras utvärdering korrekt förutspådde försökspersonens återfall.

Både personerna och algoritmen var exakta något mindre än två tredjedelar av tiden.

Dessa resultat, Dartmouth-författarna drog slutsatsen, tvivla på värdet av riskbedömningsinstrument och algoritmisk förutsägelse.

Studien genererade högprofilerad nyhetsbevakning-och skickade en våg av tvivel genom det amerikanska straffrättsliga reformsamfundet. Om sofistikerade verktyg inte var bättre än människor i att förutsäga vilka åtalade som skulle kränka igen, några sa, då var det ingen idé att använda algoritmerna, vilket kanske bara förstärker rasisk partiskhet vid straffutmätning. Vissa hävdade att sådana djupgående beslut borde fattas av människor, inte datorer.

Att brottas med "buller" i komplexa beslut

Men när författarna till den nya Kalifornien-studien utvärderade ytterligare datamängder och fler faktorer, de drog slutsatsen att riskbedömningsverktyg kan vara mycket mer exakta än människor när det gäller att bedöma risken för återfall i brott.

Studien replikerade Dartmouth-fynden som hade baserats på ett begränsat antal faktorer. Dock, den information som finns tillgänglig i rättsliga miljöer är mycket rikare - och ofta mer tvetydig.

"Utredningsrapporter före domen, advokat- och offerpåverkan, och en individs uppträdande är allt komplext, inkonsekvent, risk-irrelevant, och potentiellt partisk information, " förklarar den nya studien.

Författarnas hypotes:Om forskningsutvärderingar fungerar i en verklig ram, där riskrelaterad information är komplex och "bullrig, " då skulle avancerade riskbedömningsverktyg vara effektivare än människor på att förutsäga vilka brottslingar som skulle begå brott igen.

För att testa hypotesen, de utökade sin studie utöver COMPAS till att inkludera andra datamängder. Förutom de fem riskfaktorer som används i Dartmouth-studien, de lade till 10 till, inklusive anställningsstatus, substansanvändning och psykisk hälsa. De utökade också metodiken:Till skillnad från Dartmouth-studien, i vissa fall skulle frivilliga inte få veta efter varje utvärdering om deras förutsägelser var korrekta. Sådan återkoppling är inte tillgänglig för domare och andra i domstolsväsendet.

Resultatet:Människor utförde "konsekvent sämre" än riskbedömningsverktyget i komplexa fall när de inte hade omedelbar feedback för att vägleda framtida beslut.

Till exempel, COMPAS förutsade korrekt återfall 89% av tiden, jämfört med 60% för människor som inte fick feedback från fall till fall om sina beslut. När flera riskfaktorer gavs och prediktiva, ett annat riskbedömningsverktyg förutspådde exakt återfall under 80% av tiden, jämfört med mindre än 60 % för människor.

Resultaten verkar stödja fortsatt användning och framtida förbättringar av riskbedömningsalgoritmer. Men, som Skeem noterade, dessa verktyg har vanligtvis en stödjande roll. Den yttersta auktoriteten ligger hos domare, kriminalvårdare, kliniker, frigivningskommissionärer och andra som utformar beslut i straffrättssystemet.