Den stigende tidevannet av algoritmer som kjører verden

Når du surfer på nettet etter et nytt par sko, velger en film å streame på Netflix eller søker om et billån, har en algoritme sannsynligvis ordet å si om utfallet.

De komplekse matematiske formlene spiller en voksende rolle i alle samfunnslag: fra å oppdage hudkreft til å foreslå nye Facebook-venner, å bestemme hvem som får jobb, hvordan politiets ressurser distribueres, hvem som får forsikring til hvilken pris, eller hvem som har en " ingen fly ”-liste.

Algoritmer brukes - eksperimentelt - til å skrive nyhetsartikler fra rådata, mens Donald Trumps presidentkampanje ble hjulpet av atferdsmarkedsførere som brukte en algoritme for å finne de høyeste konsentrasjonene av "overtalelige velgere."

Men mens slike automatiserte verktøy kan injisere et mål av objektivitet i tidligere subjektive avgjørelser, øker frykten over mangelen på gjennomsiktighetsalgoritmer som kan medføre, og presset øker for å anvende etiske standarder eller "ansvarlighet".

Datavitenskapsmann Cathy O'Neil advarer om "blindt tillit til" formler for å bestemme et rettferdig resultat.

"Algoritmer er ikke iboende rettferdige, fordi personen som bygger modellen definerer suksess," sa hun.

Forsterkende ulemper

O'Neil hevder at selv om noen algoritmer kan være nyttige, kan andre være skumle. I boken 2016, "Weapons of Math Destruction", siterer hun noen plagsomme eksempler i USA:

• Offentlige skoler i Washington DC i 2010 sparket mer enn 200 lærere - inkludert flere respekterte instruktører - basert på score i en algoritmisk formel som evaluerte ytelsen.
• En mann diagnostisert med bipolar lidelse ble avvist for sysselsetting hos syv store forhandlere etter at en tredjeparts "personlighetstest" anså ham som en høy risiko basert på dens algoritmiske klassifisering.
• Mange jurisdiksjoner bruker "prediktiv politiarbeid" for å flytte ressurser til sannsynlige "hot spots". O'Neill sier at avhengig av hvordan data blir matet inn i systemet, kan dette føre til oppdagelse av flere mindre forbrytelser og en "tilbakemeldingssløyfe" som stigmatiserer fattige samfunn.
• Enkelte domstoler er avhengige av datamaskinrangerte formler for å bestemme fengselsstraffer og prøveløslatelse, noe som kan diskriminere minoriteter ved å ta hensyn til "risikofaktorer" som nabolagene deres og familie- eller familieforbindelser til kriminalitet.
• I finansverdenen skraper meglere data fra online og andre kilder på nye måter for å ta beslutninger om kreditt eller forsikring. Dette forsterker for ofte fordommer mot vanskeligstilte, argumenterer O'Neil.

Hennes funn ble gjenspeilet i en rapport fra Det hvite hus i fjor og advarte om at algoritmiske systemer "ikke er feilbare - de er avhengige av de ufullkomne inngangene, logikken, sannsynligheten og folk som designer dem."

Rapporten bemerket at datasystemer ideelt sett kan bidra til å luke menneskelig skjevhet, men advarte mot algoritmer som "systematisk ødelegger visse grupper."

Les hele historien her ...