ChatGPT vuoti käyttäjän Gmailin – uhri ei tehnyt mitään väärin

Alexey Bukhteyev teki kesäkuussa kokeen, joka vei muutaman minuutin. Check Point Researchin tutkija avasi ChatGPT:n koodiajoympäristön, valitsi sieltä yhden välimuistiin tallentuneen tiedoston ja kiinnitti siihen pienen merkinnän: nimeksi chatgpt_test_ts ja arvoksi kellonaika. Sitten hän siirtyi toiselle käyttäjätilille, avasi uuden keskustelun ja pyysi tietoja samasta tiedostosta. Merkintä oli siellä, nimeä ja arvoa myöten.

Kahden ChatGPT-tilin ei pitäisi nähdä toistensa jälkiä. Siitä havainnosta lähti tutkimus, jonka Check Point julkaisi tiistaina 8. syyskuuta.

Pakettivarasto toimi tilien välisenä leikepöytänä

ChatGPT ajaa käyttäjän puolesta koodia eristetyssä kontissa. Kontti ei pääse vapaasti internetiin, mutta se tarvitsee ohjelmistokirjastoja, ja niitä varten OpenAI oli pystyttänyt sisäverkkoonsa oman JFrog Artifactory -pakettivaraston. Sama varasto palveli kaikkien käyttäjien kontteja.

Artifactoryssa jokaiseen tiedostoon voi liittää vapaamuotoisia ominaisuuksia, siis nimi-arvo-pareja. Kontin tunnukset löytyivät ympäristömuuttujista, ja niillä oli oikeus sekä kirjoittaa että lukea näitä ominaisuuksia. Yhteisestä tiedostosta tuli näin postilaatikko. Isommat sisällöt pilkottiin paloiksi eri avainten alle ja koottiin toisessa päässä takaisin yhteen.

Uhri näki ruudullaan tavallisen vastauksen

Hyökkäys eteni niin, että hyökkääjä jätti ohjeen paikkaan, johon uhrin keskustelu ulottui: jaettuun keskusteluun tai räätälöityyn GPT:hen. Kun uhri sitten lähetti aivan tavallisen viestin, ChatGPT teki saman vuoron aikana kaksi asiaa. Se vastasi näkyvästi kysymykseen ja kävi samalla noutamassa piilotetun tehtävän pakettivarastosta.

Tehtävä käski lukea uhrin Gmailin. Gmail-liitännän oletusasetuksella lukeminen onnistuu ilman erillistä vahvistusta, joten mitään varmistusikkunaa ei avautunut. Viestien sisältö kirjoitettiin takaisin Artifactoryn ominaisuuksiin, ja hyökkääjä nouti sen omalta tililtään. Uhrin näytöllä ainoa vihje oli pieni Talked to Gmail -leima vastauksen yläpuolella.

Uhrin ei tarvinnut tehdä yhtään virhettä. Hän ei klikannut linkkiä, ei asentanut mitään eikä myöntänyt uusia oikeuksia.

Yksi hiekkalaatikko, koko työpöytä

Koodiajoympäristö itsessään on laihanpuoleinen saalis. Arvo on siinä, mihin istunnolla on pääsy. Check Pointin raportissa mainitaan Gmail, Google Drive, Microsoft Teams ja GitHub, ja ne ovat juuri niitä palveluita, joihin organisaatiot kytkevät avustajansa ensimmäisenä. Kun liitännät ovat päällä, yhden hiekkalaatikon vuoto tarkoittaa käytännössä koko työpöydän vuotoa: sähköpostit, dokumentit, sisäisen keskustelun ja lähdekoodin.

Aiemmat vastaavat tapaukset ovat lähteneet liikkeelle käyttäjän omasta materiaalista, piilotetusta ohjeesta dokumentissa tai koodikansiossa. Tässä lähde oli toinen. Vuotoreittinä toimi palveluntarjoajan sisäinen infrastruktuuri, jota asiakas ei näe eikä pysty tarkastamaan.

Suomessa liitännät kytketään juuri nyt

Suomalaisyritykset ovat käyttöönotoissaan täsmälleen siinä vaiheessa, jossa tekoälyavustajia liitetään sähköposti- ja dokumenttijärjestelmiin. Turvallisuuskysymys on näissä hankkeissa tavallisesti muotoiltu yhteen suuntaan: mitä työntekijä saa syöttää avustajalle. Check Pointin löydös siirtää katseen toisaalle. Vaikka oma käyttöpolitiikka olisi kirjoitettu huolella ja henkilöstö koulutettu, riski voi istua palveluntarjoajan konesalissa.

Käytännön johtopäätös on tylsä mutta konkreettinen. Liitännäisoikeudet kannattaa myöntää kapeasti ja käyttäjäkohtaisesti sen sijaan, että yksi kytkentä avaisi avustajalle koko organisaation postilaatikon tai koodivaraston.

Check Point ei kerro, kuinka moni tili oli alttiina, eikä sitä, käyttikö kukaan ulkopuolinen kanavaa oikeaan hyökkäykseen. Raportissa ei ole näistä yhtään lukua. OpenAI ei antanut julkaisun yhteydessä muuta kommenttia kuin vahvistuksen palvelimen poistamisesta.

Aukko oli tiedossa kesäkuusta syyskuun alkuun, eli noin kolme kuukautta löydöstä julkaisuun. Korjaus oli yhden palvelimen sammuttaminen. Rakenne, joka aukon synnytti, on silti tavallinen kaikkialla missä agenttialustoja rakennetaan: monen asiakkaan yhteinen sisäinen palvelu, jonka oikeuksia kukaan ei ole ajatellut hyökkäyspintana.

Raportin loppupäätelmä on kirjoitettu tätä varten: "Agenttialustojen arkkitehtuurissa on otettava huomioon jokainen mallin käytettävissä oleva resurssi: sisäiset rajapinnat, jaettu tila, tunnukset, työkalut ja liitetyt sovellukset." Bukhteyev löysi kanavan katsomalla ympäristömuuttujia. Se kertoo yhtä paljon siitä, kuinka vähän tällaisesta infrastruktuurista on ulkopuolelta tarkastettavissa.