Kinas teknokrati som bruker sosial kredittpoengsystem for å drive vitenskapelig diktatur

Hovedfunnene

• Den kinesiske regjeringen har godkjent pilotprøving av et sosialt kredittsystem som trekker på innbyggernes personopplysninger for å tildele uoffisielle kredittpoeng, som kommer med fordeler og straffer som private selskaper og myndigheters byråer forvalter.
• De fem dimensjonene av kredittverdiedata er "brukernes kreditthistorie, atferdsvaner, evne til å betale ned gjeld, personlig informasjon og sosiale nettverk."
• Algoritmene som stammer fra kredittscore er forretningshemmeligheter, som forbyr former for testing som kan bestemme hvordan de fungerer.
• Regjeringens svartelister over skyldnere deles med private og offentlige kredittscoringstjenester for å forby enkeltpersoner å gjøre visse transaksjoner.

Dette innlegget, det andre i a serien på mobile betalingssystemer, undersøker en kinesisk mobilbetalingsapp-funksjon som i økende grad dekkes i utenlandske medier: testing av det som en dag kan være et landsdekkende offisielt sosialkreditsystem som erstatter det tradisjonelle analoge motstykket. De mest populære offentlig tilgjengelige sosiale kredittpoengene blir for tiden utstedt gjennom Sesame Credit, et selskap etablert av Alibaba-datterselskapet Ant Financial. Vestlige medierapportering om det sosiale kreditsystemet beskriver et science fiction-lignende fenomen der borgere tildeles score basert på deres online atferd, økonomiske informasjon og offentlige registre. Ant Financial Representants avsløringer har antydet at nettlesing sent på kvelden, timer brukt på videospill og spesifikke varer som er kjøpt, kan senke ens poengsum. Uansett om disse påstandene er sanne eller ikke, er Sesame Credits poengmekanismer fortsatt i en eksperimentell fase og kan derfor endres. Vår utforskning av potensiell sikkerhet, personvern og andre problemer i et slikt system er ment å reise spørsmål som kan informere diskusjoner om hvordan det vil utvikle seg.

Så tidlig som i 2003, Den kinesiske regjeringen uttrykte interesse i å lage et omfattende middel for å tildele innbyggerne kredittscore som ville være en forbedring i forhold til landets kredittrangeringssystem. Statsrådet godkjente nylig “Oversikt over forskrifter for å bygge et sosialt kredittsystem (2014-2020)” og for tiden har åtte selskaper fått sentralbankens tillatelse til å oppføre seg pilot testing av egne sosiale kredittsystemer, i likhet med Fair, Isaac and Company (FICO) forbrukerkredittvurderinger. En del av det som gjør en slik anstrengelse unik i Kina er uklarhet og i noen tilfeller fullstendig fravær av regler om innsamling av store data for kredittscore-formål, potensiell tredjeparts bruk av slike score og personvernbeskyttelse av brukerdata som teller inn kredittscore beregninger. De ny nett-sikkerhetslov utgitt november 7, inneholder 2016 språk angående personvern, men vil ikke bli implementert før juni 2017.

Denne artikkelen angår Sesame Kreditt's sosiale kredittscore-tjeneste, som Alipay-brukere for tiden kan velge å motta i appen. Sesame Credits poengsummer er det mest populære eksemplet på hvordan et nasjonalt kinesisk sosialt kredittsystem en dag kan fungere, og gir en følelse av hvilke hensyn kinesiske selskaper, borgere og staten mener bør gå inn i et slikt system. Det er en komponent i et bredere kinesisk styresett for å utnytte big data som en ressurs for sosial kontroll. Kredittpoeng blir delt opp i fem dimensjoner: "Brukernes kreditthistorie, atferdsvaner, muligheten til å betale ned gjeld, personlig informasjon og sosiale nettverk." Korte beskrivelser av hver av disse kategoriene er inkludert i Sesame Credit-funksjonen i Alipay, men de kaster ikke lys over hvilke spesielle handlinger vil endre ens poengsum.

Ifølge The Paper, "Atferdsinnstillinger" refererer til handlinger som rettidig betaling av fakturaer, og "personlig informasjon" inkluderer alder, kjønn, yrke og utdanningshistorie. Mer urovekkende er de dårlig definerte “stabilitetsbegrepene” som Sesame Credit angivelig tar i betraktning, som selskapets representanter har henvist til uten å definere klart. Dette ser ut til å være svært subjektive markører av ens økonomiske og sosiale status som bidrar til kredittscoringsmekanismen. De samme artikkel fra The Paper uttaler at “hvis adressen din endres ofte, vil kredittverdigheten din tilsvarende falle. I tillegg vil vennenes kredittregister også påvirke Sesame-poengene dine. ”Rommet for feilrepresentasjon så vel som diskriminering som er basert på slike faktorer er bredt, og de atferdsendrende insentivene som ligger til grunn for det, angår også. Ant Financials sjef for kredittdataforsker Yu Wujie har sagt at "Hvis du regelmessig donerer til veldedighet, vil kredittpoengsummen din være høyere, men den vil ikke fortelle deg hvor mange betalinger du trenger å gjøre hver måned ... men [utvikling] i denne retningen [blir gjennomført med] håp om at alle vil donere. ”Videre Ant Financials teknologidirektør, Li Yingyun, har uttalt at "Noen som spiller videospill i 10 timer om dagen, for eksempel, vil bli betraktet som en ledig person, og noen som ofte kjøper bleier, vil bli betraktet som sannsynligvis et foreldre, som i balanse mer sannsynlig har sans av ansvar. ”Disse uttalelsene har fremskaffet den fordømmende vestlige medias dekning av sosial kreditt hittil, selv om det skal bemerkes at den eneste måten å vite med sikkerhet at de faktorene selskapets representanter siterer faktisk kan øke eller redusere poengsum, ville være å dekonstruere algoritmene som bestemmer dem, som er merket forretningshemmeligheter.

Uten muligheten til å utføre statisk eller dynamisk testing av sosiale kredittalgoritmer, hva kan vi utlede om hvordan de fungerer? Det har Deng Yiming, direktør for Sesame Credit forretningsutvikling bare 30 til 40 prosent av dataene brukes til å generere kredittscore kommer fra Alibaba-eide selskaper og tjenester. Bortsett fra dataene som samles inn gjennom brukernes aktivitet innen Alipay-appen, beregner Sesame Credit individuelle poengsummer med data samlet inn fra Alibabas netthandelsnettsteder, riddelingsapper og restauranter tilknyttet Alipay, og fra regjeringsbyråer som involverer lov, utdanning og handel. Et av de mest tydelige eksemplene på en slik datautveksling er Sesame Credits slips til Høyesterett, som har blitt rapportert å ha delt sin svarteliste over skyldnere og andre som har brutt domstolsdommer med selskapet for å hindre disse menneskene fra å gjøre såkalte luksuriøse kjøp i Taobao og Tmall. Denne ordningen stiller spørsmålet om Sesame Credit deler data i motsatt retning, og muligens gir sine samarbeidspartnere regjeringsbyråer brukeres transaksjonsinformasjon. Disse samarbeidene har en tendens til å bli overskygget av de der Sesame Credit samarbeider med privat sektor for å gi fordeler for høy score.

For tiden kan privilegiene å ha en høy sosial kredittpoeng inkludere bestilling av leiebil eller hotellrom uten å gjøre innskudd, ta lån til lavere rente, bli sendt online kjøp for å prøve ut før du betaler for dem og få visum til Luxemburg og Singapore gjennom en hurtig prosess. Andre land som har uttrykt interesse for å delta i dette akselerert visumutstedelse inkluderer Japan, Sør-Korea, Sri Lanka og Storbritannia. Det har vært diskusjon om fremtidig bruk av høye kredittpoeng som strekker seg til matchmaking og stillingsrekruttering, noe som understreker i hvilken grad partiske innspill kan skape nye sosiale barrierer.

Kinesiske regjerings skildringer av det sosiale kredittsystemet kaster det som et middel for å gjenopprette tillit mellom innbyggere og i lokale virksomheter, for eksempel restauranter som vil bli overvåket for å overholde helseforskrifter. En annen av innrammingsargumentene for opprettelse av et sosialt kredittsystem er at det vil gjøre det mulig for mennesker som tradisjonelt ikke er i stand til å opparbeide seg kreditt for å kunne gjøre det: studenter, arbeidere med blanke halsbånd, eiere av små bedrifter og lignende. Likevel så langt ser det ut til at fordelene ved å ha en høy score (hvorav det faktisk er blitt spekulert i.) få brukere har oppnådd) er de som favoriserer de som er i bedre økonomisk stilling for å gjøre overdådige og hyppige utgifter. En kritikk har vært at Sesame Credit reiser poeng for personer som gjennomfører flere Alipay-transaksjoner, noe selskapet har benektet. Eksemplene på høyere score for kjøp tilknyttet personer som er foreldre og lavere score for folk som skifter hjemmeadresser antyder ofte videre at mangel på kontekst kan føre til feilrepresentasjoner av folks handlinger som kan føre til uforholdsmessige konsekvenser.

Det er en fare ved å forklare stordatatiltak som å ta "objektive" tiltak av brukerdata, delvis fordi det i tilfeller der en indikator er unøyaktig, blir vanskelig å bestride dette punktet. Et eksempel fra a nylig Wall Street Journal Artikkel involverer en kvinne som brukte sønnens T-bane pass og ble bøtelagt for en handling som til en algoritme ser ut til å ha vært tyveri. Denne mindre hendelsen vekker bekymring for den deconteksualiserte måten sosial kredittvurdering kan være utformet for å fungere. Hva, om noen, rettsmiddel er tilgjengelig for langt mer konsekvensfeil under et sosialt kredittsystem?

Tilstanden til de nåværende eksperimentene i dette feltet reiser mange spørsmål om brukerbeskyttelse. Når det gjelder brukernes personvern, har det vært liten diskusjon om implikasjonene av å gjøre individenes score synlig for andre. Alipay tilbyr a spill der venner kan gjette hverandres kredittscore og avsløre dem for hverandre, for eksempel. Utover andre brukere, eksterne selskaper som leverer spesielle tjenester til innehavere av høy kredittscore, og appens samarbeidspartnere regjeringsbyråer, med hvilke tredjeparter vil Sesame Credit dele data? Sentraliseringen av mekanismer for datainnsamling for sosial kreditt dang'an-lignende dossierer om enkeltpersoners online og offline liv desto mer bærbare, som flere medieoppslag har bemerket. Hvilke sikkerhetsprosedyrer er på plass for å beskytte disse depotene av verdifull personlig informasjon?

I en ironi som har plaget mange overvåkningsapparater, kan spredningen av et sosialt kredittsystem og dets tilknyttede sensorer, QR-koder og andre sporlesingsverktøy skape nye sikkerhetsproblemer atskilt fra de det angivelig skal ha til formål å redusere gjennom nær allestedsnærværende overvåking av oppførsel. Disse nye truslene involverer måtene kredittpoengdata kan bli smidd på, og endene som falske kredittscore kan brukes til. De fremskyndet sikkerhetskontroll på Beijing-flyplassen for Sesame Credit-brukere med høye nok score som reiser på innenlandsflyvninger gir et eksempel på en situasjon der en forfalsket høy score kan gjøre det mulig for noen å omgå strengere sikkerhetskontroller, noe som kan være en trussel for nasjonal sikkerhet fra en dyktig og bestemt skuespiller nok. Jo mer brukt det sosiale kredittsystemet blir, og jo større gevinst det kan gi høye skårere, jo mer incentiver til å finne ut hvordan å hacke det vil spre seg. artikler og tråder om hvordan du kan øke kredittpoengene dine er allerede på vei opp, og det er fremdeles uklart hvor lett det kan være å hacke seg inn på en spesifikk konto og forfalske informasjon.

Som beskrevet i et tidligere innlegg, har Alibaba opplevd datalekkasjer fra ansatte i selskapet så vel som eksterne hack. Det er viktig å stille spørsmål ved hvilke forholdsregler de tar, gitt at den raske oppbyggingen av et sosialt kredittsystem sannsynligvis vil gjøre selskapene som er dets forvaltere mål for datatyveri og utpressing. Dessuten, som en rekke datainnsamlende Internet of Things (IoT) -enheter selges over hele Kina, vil granulære muligheter for å spore innbyggernes enhver bevegelse og trekke fra denne informasjonen som et sosialt kredittinnspill bare vokse sterkere, og krever arbeid fra den delen av IoT-produsenter for å løse disse problemene. En utvikling som har potensial til å gjøre de sosiale kredittbedriftene mer gjennomsiktige, har vært National Development and Reform Commissions kunngjøring om at Kredittvurderingstjenester vil bli åpnet for utenlandske investeringer, som i det minste kan gi mer informasjon om hvordan bedriftens sosiale kredittscore (for restauranter og lokale bedrifter) blir utført.

Den endelige sikkerhets- og sensurrelaterte bekymringen vi tilbyr for vederlag er muligheten for sosial kreditt og mobil finansiering adgang blokkeres for å straffe innbyggere for protester, som bare et eksempel. Hvis begge disse tjenestene blir uunnværlige i ens daglige liv, kan muligheten for statlig sanksjonert frysing av brukernes kontoer føre til store skader for borgerlige friheter. Når utrullingen av systemet skrider frem, er det viktig å huske på at selv om algoritmene som bestemmer kredittscore raskt kan endre seg på måter brukere og forskere ikke kan oppfatte, er statens og selskapenes makt som former det sosiale kredittsystemets utvikling langt mer forankret, og er til syvende og sist ansvarlig for de virkelige resultatene det sosiale kredittsystemet kan gi.

Les hele artikkelen her ...