Tre feilkonfigurerte AWS S3-bøtter har blitt oppdaget vidåpne på det offentlige internett som inneholder «dusinvis av terabyte» med innlegg på sosiale medier og lignende sider – alle skrapet fra hele verden av det amerikanske militæret for å identifisere og profilere personer av interesse.
Arkivene ble funnet by veteran jeger for sikkerhetsbrudd UpGuards Chris Vickery under en rutineskanning av åpne Amazon-vertsbaserte datasiloer, og disse var ikke akkurat skjult. Bøttene ble kalt centcom-backup, centcom-archive og pacom-archive.
CENTCOM er den vanlige forkortelsen for US Central Command, som kontrollerer hærens operasjoner i Midtøsten, Nord-Afrika og Sentral-Asia. PACOM er navnet på US Pacific Command, som dekker resten av Sør-Asia, Kina og Australasia.
Vickery fortalte Registeret i dag snublet han over dem ved et uhell mens han kjørte en skanning etter ordet "COM" i offentlig tilgjengelige S3-bøtter. Etter å ha avgrenset søket, dukket CENTCOM-arkivet opp, og først trodde han det var relatert til kinesisk multinasjonalt Tencent, men skjønte raskt at det var et amerikansk militærarkiv av forbløffende størrelse.
"For forskningen lastet jeg ned 400 GB med prøver, men det var mange terabyte med data der oppe," sa han. "Det er hovedsakelig komprimerte tekstfiler som kan utvides med en faktor på ti, så det er dusinvis og dusinvis av terabyte der ute, og det er et konservativt estimat."
Bare en av bøttene inneholdt 1.8 milliarder innlegg på sosiale medier som ble hentet automatisk i løpet av de siste åtte årene frem til i dag. Den inneholder hovedsakelig innlegg laget i Sentral-Asia, men Vickery bemerket at noe av materialet er hentet fra kommentarer laget av amerikanske borgere.
Databasene avslører også noen interessante ledetråder om hva denne informasjonen brukes til. Dokumenter refererer til det faktum at arkivet ble samlet inn som en del av den amerikanske regjeringens Outpost-program, som er en sosiale medier-overvåkings- og påvirkningskampanje designet for å målrette oversjøiske ungdommer og styre dem bort fra terrorisme.
Vickery fant Outpost-utviklingskonfigurasjonsfilene i arkivet, samt Apache Lucene-indekser av nøkkelord designet for å brukes med åpen kildekode-søkemotoren Elasticsearch. En annen fil refererer til Coral, som godt kan være en referanse til det amerikanske militærets Coral Reef-datautvinningsprogram.
"Coral Reef er en måte å analysere en viktig datakilde for å gi analytikeren muligheten til å utvinne betydelige mengder data og gi suggestive assosiasjoner mellom individer for å bygge ut det sosiale nettverket," Mark Kitz, teknisk direktør for Army Distributed Common Ground System – Hæren, fortalte Forsvarets kommunikasjons- og elektronikkforbunds magasin Signal tilbake i 2012.
"Tidligere ville vi gruve oss gjennom disse etterretningsrapportene eller hvilken som helst data som ville være tilgjengelig, og det ville være veldig manuellintensivt."