Algoritmer kan lyve og lure, men kan de stoppes?

Algoritmer kan diktere om du får pantelån eller hvor mye du betaler for forsikring. Men noen ganger tar de feil - og noen ganger er de designet for å bedrag.

Mange algoritmer går dårlig utilsiktet. Noen av dem er imidlertid gjort til å være kriminelle. Algoritmer er formelle regler, vanligvis skrevet i datakode, som gir forutsigelser om fremtidige hendelser basert på historiske mønstre. For å trene en algoritme må du oppgi historiske data så vel som en definisjon av suksess.

Vi har sett finanser bli overtatt av algoritmer de siste tiårene. Handelsalgoritmer bruker historiske data for å forutsi bevegelser i markedet. Suksess for den algoritmen er en forutsigbar markedsbevegelse, og algoritmen er årvåken for mønstre som historisk har skjedd rett før det trekket. Finansielle risikomodeller bruker også historiske markedsendringer for å forutsi kataklysmiske hendelser i en mer global forstand, så ikke for en individuell aksje, men snarere for et helt marked. Risikomodellen for verdipapirlån var berømt dårlig - med vilje - og tilliten til disse modellene kan klandres for mye av omfanget og påfølgende skader utført av finanskrisen 2008.

Siden 2008 har vi hørt mindre fra algoritmer innen økonomi, og mye mer fra big data-algoritmer. Målet for denne nye generasjonen av algoritmer har blitt flyttet fra abstrakte markeder til enkeltpersoner. Men den underliggende funksjonaliteten er den samme: samle historiske data om mennesker, profilere deres oppførsel på nettet, plassering eller svar på spørreskjemaer, og bruk det enorme datasettet til å forutsi deres fremtidige kjøp, stemmeattferd eller arbeidsmoral.

Den nylige spredningen i big datamodeller har i stor grad gått bort fra den gjennomsnittlige personen, men det er trygt å si at de viktigste øyeblikkene der folk samhandler med store byråkratiske systemer nå involverer en algoritme i form av et scoringssystem. Å komme på college, få jobb, bli vurdert som arbeidstaker, få kredittkort eller forsikring, stemme og til og med politiarbeid er i mange tilfeller gjort algoritmisk. Dessuten er teknologien som er introdusert i disse systematiske beslutningene i stor grad ugjennomsiktig, selv for deres skaperne, og har så langt i stor grad sluppet unna meningsfull regulering, selv når den mislykkes. Det gjør spørsmålet om hvilke av disse algoritmene som jobber på våre vegne, enda viktigere og presserende.

Jeg har et firelags hierarki når det gjelder dårlige algoritmer. På toppen er det de utilsiktede problemene som gjenspeiler kulturelle skjevheter. For eksempel når Harvard-professor Latanya Sweeney fant ut at Google søker etter navn som ble oppfattet som svarte genererte annonser assosiert med kriminell aktivitet, kan vi anta at det ikke var noen Google-ingeniør som skrev rasistisk kode. Faktisk ble annonsene opplært til å være dårlige av tidligere brukere av Google-søk, som hadde større sannsynlighet for å klikke på en kriminell reklame da de søkte etter et svart klingende navn. Et annet eksempel: the Googles bilderesultat for "uprofesjonelt hår", som nesten utelukkende returnerte svarte kvinner, blir tilsvarende trent av folk som har lagt ut eller klikket på søkeresultatene gjennom tidene.

Les hele historien her ...