Når språk AI møter propaganda, er ingen trygg

Du sitter i en komfortabel stol ved bålet, en kald vinternatt. Kanskje du har en kopp te i hånden, kanskje noe sterkere. Du åpner et blad for en artikkel du har tenkt å lese. Tittelen foreslo en historie om en lovende - men også potensielt farlig - ny teknologi på vei mot å bli mainstream, og etter å ha lest bare noen få setninger, finner du deg selv dratt inn i historien. En revolusjon kommer innen maskinintelligens, hevder forfatteren, og vi må som samfunn bli bedre til å forutse konsekvensene. Men så skjer det merkeligste: Du legger merke til at forfatteren, tilsynelatende bevisst, har utelatt det aller siste ordet av det første .

Det manglende ordet hopper inn i bevisstheten din nesten ubebudet: ''det aller siste ordet av det første avsnitt.'' Det er ingen følelse av et internt søk i tankene dine; ordet ''avsnitt'' dukker bare opp. Det kan virke som en annen natur, denne utfyllingsøvelsen, men å gjøre det får deg til å tenke på de innebygde kunnskapslagene bak tanken. Du trenger en beherskelse av stavemåten og syntaktiske mønstre i engelsk; du trenger å forstå ikke bare ordbokdefinisjonene av ord, men også måten de forholder seg til hverandre på; du må være kjent nok med de høye standardene for magasinpublisering til å anta at det manglende ordet ikke bare er en skrivefeil, og at redaktører generelt sett ikke vil utelate nøkkelord i publiserte stykker med mindre forfatteren prøver å være smart – kanskje prøver å bruk det manglende ordet for å gjøre et poeng om din kløkt, hvor raskt en menneskelig engelsktalende kan trylle frem akkurat det rette ordet.

Før du kan forfølge den ideen videre, er du tilbake i artikkelen, der du finner at forfatteren har tatt deg med til et bygningskompleks i forstaden Iowa. Inne i en av bygningene ligger et vidunder av moderne teknologi: 285,000 XNUMX CPU-kjerner koblet sammen til en gigantisk superdatamaskin, drevet av solcellepaneler og avkjølt av industrielle vifter. Maskinene sover aldri: Hvert sekund hver dag går de gjennom utallige beregninger, ved å bruke toppmoderne teknikker innen maskinintelligens som går under navn som ''stokastisk gradientnedstigning'' og ''konvolusjonelle nevrale nettverk.'' Hele systemet antas å være en av de kraftigste superdatamaskinene på planeten.

Og hva, kan du spørre, gjør denne beregningsdynamoen med alle disse fantastiske ressursene? For det meste er det å spille et slags spill, om og om igjen, milliarder av ganger i sekundet. Og spillet heter: Gjett hva det manglende ordet er.

Superdatamaskinkomplekset i Iowa kjører et program opprettet av OpenAI, en organisasjon etablert i slutten av 2015 av en håndfull Silicon Valley-armaturer, inkludert Elon Musk; Greg Brockman, som inntil nylig hadde vært teknologisjef i e-betalings-juggernauten Stripe; og Sam Altman, den gang presidenten for oppstartsinkubatoren Y Combinator. I løpet av de første årene, da den bygde opp sin programmeringshjernetillit, ble OpenAIs tekniske prestasjoner stort sett overskygget av stjernekraften til grunnleggerne. Men det endret seg sommeren 2020, da OpenAI begynte å tilby begrenset tilgang til et nytt program kalt Generative Pre-Trained Transformer 3, i daglig tale referert til som GPT-3. Selv om plattformen opprinnelig var tilgjengelig for bare en liten håndfull utviklere, begynte eksempler på GPT-3s uhyggelige dyktighet med språk – og i det minste illusjonen av kognisjon – å sirkulere over nettet og gjennom sosiale medier. Siri og Alexa hadde popularisert opplevelsen av å snakke med maskiner, men dette var på neste nivå, og nærmet seg en flyt som lignet kreasjoner fra science fiction som HAL 9000 fra "2001": et dataprogram som kan svare på åpne, komplekse spørsmål perfekt komponerte setninger.

Som et felt er AI for tiden fragmentert mellom en rekke forskjellige tilnærminger, rettet mot ulike typer problemer. Noen systemer er optimalisert for problemer som involverer å bevege seg gjennom det fysiske rommet, som i selvkjørende biler eller robotikk; andre kategoriserer bilder for deg, identifiserer kjente fjes eller kjæledyr eller ferieaktiviteter. Noen former for kunstig intelligens – som AlphaFold, et prosjekt av Alphabet (tidligere Google) datterselskapet DeepMind – begynner å takle komplekse vitenskapelige problemer, som å forutsi strukturen til proteiner, som er sentralt for legemiddeldesign og oppdagelse. Mange av disse eksperimentene deler en underliggende tilnærming kjent som "dyp læring", der et nevralt nett vagt modellert etter strukturen til den menneskelige hjernen lærer å identifisere mønstre eller løse problemer gjennom endeløse gjentatte sykluser med prøving og feiling, og styrker nevrale forbindelser. og svekke andre gjennom en prosess kjent som trening. ''Dybden'' av dyp læring refererer til flere lag med kunstige nevroner i det nevrale nettet, lag som tilsvarer høyere og høyere nivåer av abstraksjon: I en visjonsbasert modell, for eksempel, kan et lag med nevroner oppdage vertikale linjer , som deretter vil føres inn i et lag som oppdager kanter av fysiske strukturer, som deretter vil rapportere til et lag som identifiserte hus i motsetning til leilighetsbygg.

GPT-3 tilhører en kategori av dyp læring kjent som en stor språkmodell, et komplekst nevralt nett som har blitt trent på et titanisk datasett med tekst: i GPT-3s tilfelle, omtrent 700 gigabyte med data hentet fra hele nettet, inkludert Wikipedia, supplert med en stor samling tekst fra digitaliserte bøker. GPT-3 er den mest berømte av de store språkmodellene, og den mest offentlig tilgjengelige, men Google, Meta (tidligere kjent som Facebook) og DeepMind har alle utviklet sine egne LLM-er de siste årene. Fremskritt innen beregningskraft – og nye matematiske teknikker – har gjort det mulig for LLM-er av GPT-3s årgang å innta langt større datasett enn sine forgjengere, og bruke mye dypere lag med kunstige nevroner for treningen.

Sjansen er stor for at du allerede har samhandlet med en stor språkmodell hvis du noen gang har brukt en applikasjon – som Gmail – som inkluderer en autofullføringsfunksjon, som ber deg forsiktig med ordet ''deltaker'' etter at du har skrevet inn setningen ''Dessverre vant jeg 't be able to...'' Men autofullføring er bare det mest rudimentære uttrykket for hva programvare som GPT-3 er i stand til. Det viser seg at med nok treningsdata og tilstrekkelig dype nevrale nett, kan store språkmodeller vise bemerkelsesverdige ferdigheter hvis du ber dem om ikke bare å fylle inn det manglende ordet, men også fortsette å skrive hele avsnitt i stil med den første ledeteksten. For eksempel, da jeg ga GPT-3 ledeteksten:

I 1958 introduserte Frank Rosenblatt Perceptron, en tidlig versjon av et nevralt nett som bare kunne oppdage plasseringen av en firkant på et trykt kort. Femti år senere er nevrale nett i stand til . . .

Programvaren fullførte pliktoppfyllende tanken, og fortsatte deretter, og fant opp den historiske innrammingen til den første teksten:

. . . oppdage og klassifisere ansikter, finne mønstre i data og etterligne den menneskelige hjernen. Mens det nevrale nettet ble modnet i akademia, fant det også veien inn i teknologiindustrien. På slutten av 1980-tallet og begynnelsen av 90-tallet ble nevrale nett brukt i applikasjoner for talegjenkjenning og karaktergjenkjenning. Veksten i datakraft og evnen til å samle inn større datasett tillot andre nevrale nettapplikasjoner å dukke opp.

Siden GPT-3 ble utgitt, har internett vært oversvømmet av eksempler på programvarens skumle anlegg med språk – sammen med blinde flekker og svakheter og andre mer skumle tendenser. GPT-3 har blitt opplært til å skrive Hollywood-manus og komponere sakprosa i stil med Gay Talese sin New Journalism-klassiker ''Frank Sinatra Has a Cold''. Du kan bruke GPT-3 som en simulert fangehullmester, og gjennomføre forseggjorte tekstbaserte eventyr gjennom verdener som er oppfunnet i farten av nevrale nettet. Andre har matet programvaremeldingene som genererer åpenbart støtende eller vrangforestillinger, og viser frem begrensningene til modellen og dens potensiale for skade hvis den brukes bredt i dens nåværende tilstand.

Så langt har eksperimentene med store språkmodeller hovedsakelig vært det: eksperimenter som undersøker modellen for tegn på ekte intelligens, utforsker dens kreative bruk, avslører dens skjevheter. Men det ultimate kommersielle potensialet er enormt. Hvis den eksisterende banen fortsetter, kan programvare som GPT-3 revolusjonere hvordan vi søker etter informasjon i løpet av de neste årene. I dag, hvis du har et komplisert spørsmål om noe - hvordan du setter opp hjemmekinosystemet, for eksempel, eller hva alternativene er for å opprette et 529-utdanningsfond for barna dine - skriver du mest sannsynlig inn noen søkeord i Google og skanne gjennom en liste over lenker eller foreslåtte videoer på YouTube, skumlesing gjennom alt for å komme til den nøyaktige informasjonen du søker. (Uødvendig å si, du ville ikke engang tenke på å spørre Siri eller Alexa om å lede deg gjennom noe så komplekst.) Men hvis de sanne GPT-3-troende har rett, vil du i nær fremtid bare stille en LLM spørsmålet og få svaret tilbakeført til deg, overbevisende og nøyaktig. Kundeservice kan bli fullstendig forvandlet: Ethvert selskap med et produkt som for øyeblikket krever et menneskelig teknisk-supportteam kan være i stand til å trene en LLM for å erstatte dem.

Les hele historien her ...