Høyesterett å veie inn på programvarens hemmelige AI-algoritmer som sendte mannen til fengsel

Da sjefsjef John G. Roberts jr. Besøkte Rensselaer Polytechnic Institute forrige måned, han ble stilt et oppsiktsvekkende spørsmål, en med overtoner av science fiction.

“Kan du forutse en dag,” spurte Shirley Ann Jackson, president for høyskolen i upstate New York, "når smarte maskiner, drevet med kunstige intelligenser, vil hjelpe til med å finne rettslokale fakta eller, mer kontroversielt, rettslige beslutninger?"

Høyres justis svar var mer overraskende enn spørsmålet. "Det er en dag som er her," sa han, "og det setter en betydelig belastning på hvordan rettsvesenet gjør ting."

Han har kanskje tenkt på saken om en Wisconsin-mann, Eric L. Loomis, som ble dømt til seks års fengsel delvis basert på et privat selskaps proprietær programvare. Loomis sier at hans rett til rettferdig prosess ble krenket av en dommeres vurdering av en rapport generert av programvarens hemmelige algoritme, hvor en Loomis ikke var i stand til å inspisere eller utfordre.

I mars, i et signal om at dommerne var fascinert av Mr. Loomis 'sak, spurte de den føderale regjeringen for å sende inn en venn-av-retten-orientering og tilbyr sine synspunkter på om retten skal høre hans anke.

Rapporten i Mr. Loomis tilfelle ble produsert av et produkt kalt Compas, solgt av Northpointe Inc. Den inkluderte en serie stolpediagrammer som vurderte risikoen for at Mr. Loomis ville begå flere forbrytelser.

Compas-rapporten, sa en påtalemyndighet for rettsdommeren, viste “en høy risiko for vold, høy risiko for tilbakevirkning, høy forsøksrisiko.” Dommeren var enig og sa til Loomis at “du er identifisert gjennom Compas-vurderingen, som et individ som er en høy risiko for samfunnet. "

Wisconsin høyesterett styrte mot Mr. Loomis. Rapporten la til verdifull informasjon, heter det, og Loomis ville ha fått den samme dommen utelukkende basert på de vanlige faktorene, inkludert hans forbrytelse - på flukt fra politiet i en bil - og hans kriminelle historie.

På samme tid virket retten urolig med å bruke en hemmelig algoritme for å sende en mann til fengsel. Rettferdighet Ann Walsh Bradley, skriver for retten, diskuterte for eksempel, en rapport fra ProPublica om Compas som konkluderte at sorte tiltalte i Broward County, Florida, "var langt mer sannsynlig enn hvite tiltalte at de feil ble bedømt til å være i en høyere grad av tilbakevending."

Justis Bradley bemerket at Northpointe hadde det bestred analysen. Likevel skrev hun, "denne studien og andre reiser bekymringer for hvordan risikofaktorene i en Compas-vurdering korrelerer med rase."

Til slutt tillot imidlertid rettferdighet Bradley dommer til å dømme å bruke Compas. De må ta hensyn til algoritmens begrensninger og hemmeligholdet rundt det, skrev hun, men sa at programvaren kan være nyttig "for å gi strafferettsdomstolen så mye informasjon som mulig for å komme frem til en individualisert dom."

Justice Bradley fikk Compas sin rolle i straffeutmålingen til å høres ut som hensynet til rase i et selektivt universitets helhetlige opptaksprogram. Det kan være en faktor blant mange, skrev hun, men ikke den avgjørende.

Les hele historien her ...