Enten forsettlig eller ikke, arver AI-algoritmer skjevhetene til deres skaper. Det er helt uakseptabelt at enhver AI kan lære å lure dem som blir tjent med det. ⁃ TN Editor
Avhengig av hvor paranoid du er, er denne forskningen fra Stanford og Google vil være skremmende eller fascinerende. Et maskinlæringsagent som hadde til hensikt å forvandle flybilder til gatekart og tilbake, ble funnet å jukse ved å skjule informasjonen den måtte trenge senere i "et nesten umerkelig høyfrekvenssignal." Flink jente!
Denne forekomsten avslører et problem med datamaskiner som har eksistert siden de ble oppfunnet: de gjør akkurat det du ber dem om å gjøre.
Forskernes intensjon var, som du kanskje vil gjette, å akselerere og forbedre prosessen med å gjøre satellittbilder til Googles berømte nøyaktige kart. Med det formål arbeidet teamet med det som kalles CycleGAN - et nevralt nettverk som lærer å transformere bilder av type X og Y til hverandre, så effektivt, men likevel nøyaktig som mulig, gjennom mye eksperimentering.
I noen tidlige resultater hadde det godt med agenten - mistenksomt vi vil. Det som tippet teamet var at når agenten rekonstruerte flyfoto fra gatekartene sine, var det mange detaljer som ikke så ut til å være på det siste. For eksempel ville takvinduer på et tak som ble eliminert i ferd med å lage gatekartet magisk dukke opp igjen når de ba agenten gjøre omvendt prosess:
Det originale kartet, til venstre; gatekartet generert fra det opprinnelige sentrum; og luftkartet generert bare fra gatekartet. Legg merke til tilstedeværelsen av prikker på begge luftkartene som ikke er representert på gatekartet.
Selv om det er veldig vanskelig å undersøke prosessene i et nevralt nettverk, kan teamet lett revidere dataene det genererte. Og med litt eksperimentering fant de ut at CycleGAN faktisk hadde trukket raskt.
Intensjonen var at agenten kunne tolke funksjonene til en av kartene og samsvare med de riktige funksjonene til den andre. Men hva agenten var faktiskå bli gradert på (blant annet) var hvor nær et luftkart var originalen, og gatekartets klarhet.
så det ikke lære å lage det ene fra det andre. Den lærte hvordan man subtilkoder funksjonene til den ene i støysmønstrene til den andre. Detaljer om luftkartet er hemmelig skrevet inn i de faktiske visuelle dataene på gatekartet: tusenvis av små fargeendringer som det menneskelige øyet ikke ville legge merke til, men som datamaskinen lett kan oppdage.
Faktisk er datamaskinen så flink til å gli disse detaljene inn i gatekartene som den hadde lært å kode noen luftkart inn noengatekart! Det trenger ikke en gang å ta hensyn til det "ekte" gatekartet - alle dataene som trengs for å rekonstruere flyfotoet kan legges uskadelig på et helt annet gatekart, slik forskerne bekreftet:
Kartet til høyre ble kodet til kartene til venstre uten nevneverdige visuelle endringer. (Bilder: agsandrew / Shutterstock)
De fargerike kartene i (c) er en visualisering av de små forskjellene datamaskinen systematisk introduserte. Du kan se at de danner den generelle formen på luftkartet, men du vil aldri legge merke til det med mindre det var nøye uthevet og overdrevet slik.
Denne praksisen med å kode data til bilder er ikke ny; det er en etablert vitenskap som heter steganography, og den brukes hele tiden til, for eksempel, vannmerke bilder eller legge til metadata som kamerainnstillinger. Men en datamaskin som lager sin egen steganografiske metode for å unngå å måtte lære seg å utføre oppgaven is ganske nytt. (Vel, forskningen kom ut i fjor, så det er det ikke nytt ny, men den er ganske ny.)
wpDiscuz