Tidligere denne måneden kom det ut at blant Facebooks mylder av algoritmisk induserte annonseringskategorier var en oppføring for brukere som plattformens data mining-systemer mente kunne være interessert i forræderi mot deres regjering. Etiketten hadde blitt brukt på mer enn 65,000 russiske statsborgere, noe som plasserte dem i alvorlig fare dersom myndighetene deres skulle oppdage etiketten. Tilsvarende observerer plattformens algoritmer lydløst sine to milliarder brukers handlinger og ord, og estimerer hvilke brukere den tror kan være homoseksuelle og stille etikett på kontoen deres som registrerer dette estimatet. Hva skjer når regjeringer begynner å bruke disse merkelappene for å kartlegge, trakassere, arrestere og til og med henrette sine innbyggere basert på etikettene produsert av et amerikansk selskaps svarteboksalgoritmer?
En av utfordringene med den enorme automatiserte maskinen som er Facebooks annonseringsmotor, er at dens store omfang og omfang betyr at den aldri muligens kan bli fullstendig underlagt menneskelig tilsyn. I stedet surrer den sammen i stillhet og ser rolig på plattformens to milliarder brukere som Big Brother, og tildeler lydløse etiketter til dem som indikerer dens estimater av alt fra deres rutinemessige kommersielle interesser til de mest følsomme og intime elementene i deres personlighet, tro og medisinske forhold som kan brukes av sine regjeringer til å manipulere, arrestere eller henrette dem.
Slike bekymringer er dessverre langt fra hypotetiske. Jeg kan personlig attestere at det er mange regjeringer over hele verden som veldig bevisst potensialet i Facebooks annonseringsverktøy for overvåking og faktisk bruker dem aktivt for å spore spesifikke demografi og interesser, ved å bruke selskapets innebygde rapporteringsverktøy for å identifisere geografiske områder og demografi å målrette for videre overvåking.
I dag dreier mye av den statlige bruken av Facebooks annonseringsmålingsverktøy seg om å bruke de offentlig tilgjengelige målrettings- og rapporteringsverktøyene for å forstå ting som hvilke nabolag som har den høyeste tettheten av personer i en bestemt demografisk som også har en spesiell interesse for regjeringen. Ved å kjøre et stort antall parallelle kampanjer som dekker alle permutasjonene til et sett med demografi og interesser, kan myndighetene til og med lære hvilke demografi som er mest assosiert med spesielle interesser og hvilke interesser som er sterkest korrelert med spesiell demografi. Geografiske rapporteringsverktøy gjør det mulig å identifisere hvor demografien og interessene sammenfaller på nabolagsnivå, slik at overvåkingsressursene kan økes i disse områdene.
Den offentlige tilgjengeligheten av Facebooks målrettingsverktøy betyr at etterretningsbyråer ikke trenger rettslige pålegg for å utnytte dem, utenlandske etterretningstjenester kan bruke dem til å spore og kartlegge på fremmed jord og til og med lokale rettshåndhevingsbyråer kan bruke dem med få begrensninger. Den globale tilgjengeligheten av Facebooks annonseringsplattform tilbyr et spesielt kraftig og innbydende verktøy for etterretningsbyråer som prøver å kartlegge motstandsnasjoner, slik at de bedre kan forstå demografiske og interessekorrelasjoner og geografiske tilknytninger og lede tildelingen av egne bakkebaserte ressurser.
Til tross for deres utrolige kraft og offentlige tilgjengelighet, er Facebooks annonseverktøy fremdeles et relativt sløvt instrument sammenlignet med tradisjonelle overvåkningsverktøy på individnivå.
Som jeg hentydet til hva som skjer tidligere i uken, hva som skjer når land der homofili er en straffbar handling som potensielt kan føre til dødsstraff bruker Facebooks verktøy for å målrette mot disse samfunnene? Ved å bruke bare Facebooks offentlige annonseringsverktøy, kan de estimere populære nabolag og hangouts, korrelerte interesser i de områdene og så videre, men de kan ikke enkelt lage en liste over ekte navn og adresser til alle i landet deres som Facebook mener kan være homoseksuelle.
Med tanke på at homofili i noen land er klassifisert som en forbrytelse etter deres formelle juridiske kode, kan de landene bruke en domstol for å tvinge Facebook til å gi en liste over alle navnene på enkeltpersoner i landet som algoritmene mener kan være homoseksuelle? Lovene i mange land vil gjøre det vanskelig for Facebook å forsøke å skjerme brukerne sine fra en lovlig anmodning om en liste over personer som er mistenkt for å begå det som er i det landet en alvorlig forbrytelse.