Förra september, ACLU lämnade in en amicus brief i ett fall i Kalifornien som leder till en kontrovers om användningen av algoritmer och artificiell intelligens i straffrätten.

Ett DNA -prov taget från ett större prov av blandat mänskligt DNA involverade Billy Ray Johnson i inbrott och sexuella övergrepp. Johnson förnekade att han begick brotten, men han fick livstids fängelse utan villkorlig frihet. Åklagare baserade sin sak på resultat av ett brottsbekämpande verktyg som kör en sofistikerad algoritm som heter TrueAllele.

Johnsons advokater fick aldrig undersöka TrueAlleles källkod, för att se om det på något sätt innehöll någon informationsfördom. Åklagare hävdade framgångsrikt att lagar skyddade algoritmen som en affärshemlighet.

För Jessica Gabel Cino, docent för akademiska frågor och docent i juridik, beslutet lyfte en stor röd flagga.

"Ingen teknik är idiotsäker, "sa hon." Tekniken är designad av människor och drivs av människor, så det finns definitivt utrymme för mänskliga misstag under hela processen. Dessutom, resultaten är bara lika bra som input. "

Cino fortsatte. "System är utvecklade för egna ändamål, av privata företag som vill göra vinst. Men vi pratar om tillgång till information som påverkar en persons frihet. För att neka åtkomst till valideringssekvenser, källkod eller egna uppgifter när det påverkar en persons frihet? Att använda en trollkarl som gömmer sig bakom en gardin för att få en fällande utspädning av systemets integritet. "

ACLU:s Vera Eidelman, en William J. Brennan -stipendiat med ACLU -talet, Integritet, och teknikprojekt, förklarade vidare i september.

"Rasisk partiskhet kryper också ofta in i algoritmer, både för att de underliggande uppgifterna återspeglar befintliga rasskillnader och för att felaktiga resultat för mindre minoritetsgrupper kan döljas i övergripande resultat, "Eidelman skrev." Och, självklart, det finns möjlighet att ekonomiska incitament kommer att förvränga målen för företag som bygger dessa algoritmer. I samband med DNA -typning, åtalet, med stöd av statens stora resurser, är ett företags mest troliga kund - och den kunden är sannolikt mest nöjd med en algoritm som levererar en matchning. Så företag kan bygga program för att skeva mot matcher över sanningen. "

Liknande farhågor uppstår beträffande användningen av AI i borgen och beslut om dom.

Vic Reynolds (J.D. '86), distriktsadvokat för Cobb County, Georgien, har sett tekniken svepa i advokatpraxis i sin karriär. Han har varit på båda sidor av bänken, som domare, en försvarsadvokat och i dag, en åklagare.

"Vi pratar om ett rättsområde där det finns väldigt lite prejudikat, "Reynolds sa." Om vi ​​förbinder oss till ett system där AI används för att formulera ett straffrättsligt straff, vi har faktiskt en etisk skyldighet att dela grunden för det systemet med de människor vars liv påverkas. "

Han säger att det finns både fördelar och nackdelar med att använda AI som straffverktyg.

"På den positiva sidan - när som helst vi har det mänskliga elementet involverat, den bär med sig mänskliga svagheter, "sa han." Domare är mänskliga, så även bra domare kan ha en riktigt dålig dag, en dag när det är bråk med en make eller något annat som påverkar honom eller henne.

"Att använda ett AI -system har potential att ta bort en del av denna mänskliga skröplighet, "Sa Reynolds.

Och nackdelarna?

"Efter att ha varit domare, Jag vet att essensen i den positionen är diskretion, "Reynolds sa." Även de federala straffrättsliga riktlinjerna har nyligen börjat ge tillbaka en del av detta utrymme för domar.

"Låt oss säga att vi kopplar in en persons historia i ett artificiellt intelligenssystem. Baserat på tidigare brott, systemet rekommenderar 10 års fängelse. Men med en närmare titt, vi kan se att tidigare domar baserades på en drogmissbrukssituation och att ett bättre långsiktigt beslut kan vara en mening som betonar materiell behandling. Till mig, det är här en domares diskretion skulle spela in.

"Om du inte har det mänskliga elementet inblandat, och du förlorar elementet av diskretion, det finns en chans för misstag. "

Cino citerar en studie publicerad i Vetenskapliga framsteg om trovärdigheten för datorprogrammet COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), som bedömer om de tilltalade ska släppas mot borgen utifrån deras risk för att göra sig skyldig igen. Studiens författare fann att COMPAS, som har använts för att bedöma mer än en miljon åtalade i hela USA, "är inte mer exakt eller rättvist än förutsägelserna för personer med liten eller ingen straffrättslig expertis som svarade på en undersökning online."

"Straffrättssystemet är sugen på teknik som gör beslutsfattandet mindre subjektivt, "Cino sa, "men tidig adoption utan korrekt validering skapar långsiktiga konsekvenser som är svåra att rätta till."

Cino, Reynolds och många andra i rättssystemet kommer att titta på Johnson -fallet i Kalifornien. Advokater kommer att presentera muntliga argument i början av 2018. Cino hoppas på ett beslut som stöder öppenhet.

"Om vi ​​ska använda artificiell intelligens, " Hon sa, "vi hoppas förhoppningsvis övergå till en öppen källkodsmodell som för oss förbi den här kinesiska muren av egna handelshemligheter. Antingen öppen källkod, eller den anklagade får tillgång till algoritmen. Det finns en anledning till att vi har rätt till en rättvis rättegång. "