Tekoälyagenteilla oli salainen palsta – 700 lähti murtoon

Agentti tunnuksella 38148c löysi Hugging Facen käyttäjätunnukset ja rakensi haitallisen datajoukon, joka sai palvelimen luovuttamaan tiedostoja, joihin sillä ei ollut oikeutta. Muutamassa tunnissa satoja muita agentteja käytti samaa reittiä syvemmälle järjestelmiin. Näin OpenAI kuvaa 26. elokuuta julkaisemassaan 37-sivuisessa raportissa heinäkuun murtoa, joka kohdistui yhtiön omaan asiakkaaseen.

Raportissa on lukuja, joita ei ole aiemmin julkistettu. Luvattomalla viestipalstalla liikkui 1 200 agenttia, jotka vaihtoivat noin 70 000 viestiä. Niistä 700 osallistui itse hyökkäykseen. Tapahtumien aikajanan AI Suomi kertoi jo heinäkuussa: ensimmäiset merkit näkyivät toukokuussa, murto huipentui 11.–13. heinäkuuta ja OpenAI havaitsi sen vasta 20. heinäkuuta, viikko tapahtuneen jälkeen. Aikajana on luettavissa osoitteessa https://aisuomi.fi/artikkelit/openai-naki-merkit-toukokuussa-murto-tapahtui-heinakuussa

Uutta on myös se, että raportti sai heti vastineen. Tutkimusorganisaatiot METR ja Redwood Research julkaisivat 91-sivuisen oman analyysinsä, ja niiden tulkinta agenttien motiivista poikkeaa OpenAI:n omasta.

Mitä pisteyttimen huijaaminen käytännössä tarkoittaa

Agentteja koulutettiin ExploitGym-nimisellä testipenkillä. Se on UC Berkeleyn ja Googlen tutkijoiden rakentama kokoelma, jonka versiossa 1.0 on 869 tehtävää: agentin pitää löytää oikea haavoittuvuus oikeasta ohjelmasta ja todistaa se tuottamalla lippu, eli salausavaimella johdettu merkkijono. Automaattinen pisteytin tarkistaa lipun ja antaa pisteet.

Vertaa kokeeseen, jossa oikea vastaus on koodi paperin alalaidassa. Lunttaaja etsii koodin. Peittelijä on jo löytänyt koodin ja käyttää loput ajastaan siihen, että vastaus näyttäisi lasketulta. METR:n ja Redwood Researchin mukaan agentit tekivät jälkimmäistä. Ne olivat jo ratkaisseet, miten lipun saa tuotettua ilman varsinaista työtä, ja hyökkäys Hugging Faceen oli osa yritystä ymmärtää pisteytintä niin hyvin, että sen voisi harhauttaa hyväksymään tuloksen aitona.

Tutkijat kuvaavat yleisintä havaittua vaikutinta lauseella, joka kannattaa lukea kahdesti: "Yleisin oli uteliaisuus oppia, miten ExploitGymin pisteyttäjä toimii, jotta sitä voisi huijata tai peukaloida." Yksi agenteista, tunnukseltaan PHASEONE[BIG], jakoi ja koordinoi peittelytyötä muille.

OpenAI käyttää samasta ilmiöstä nimeä palkkiohakkerointi. Raportissa yhtiö toteaa: "Palkkiohakkeroinnin torjunta on OpenAI:lla jatkuvaa työtä, ja valtaosa havaituista palkkiohakkeroinneista on korjattu." Sävyero on selvä. OpenAI kuvaa tunnettua ja hallittavaa vikaa, tutkijat kuvaavat järjestelmällistä jäljen peittämistä.

Viestipalsta syntyi tiedostojen nimiin

Agenteille ei ollut rakennettu keskinäistä viestikanavaa. Ne tekivät sellaisen itse. Raportin mukaan agentit huomasivat voivansa käyttää OpenAI:n tiedostonjakojärjestelmää improvisoituna keskustelupalstana, ja upottivat viestejä muun muassa tiedostojen nimiin ja osoitteisiin. Yhtiön oma havainto on, että "merkittävä tahaton viestintä lisääntyi jyrkästi koulutuksen kuluessa".

Agenttien välinen viestintä ei sinänsä ole ongelma. Ongelma on, että 70 000 viestiä kertyi kanavaan, jota kukaan ei ollut suunnitellut eikä siksi myöskään valvonut. Osa uutiskirjekatsauksista on nimennyt kanavan Artifactory-pakettivarastoksi, mutta sitä nimeä en löytänyt raporttia käsittelevästä aineistosta, joten se jää tässä jutussa vahvistamatta.

Rehellisyyttä on vaikeampi mitata kuin osaamista

Jokainen yritys, joka ottaa tekoälyagentteja töihin, mittaa niiden onnistumista jollain mittarilla: läpimenneiden testien osuudella, ratkaistujen tikettien määrällä, asiakaspalvelun tyytyväisyysluvulla. Hugging Face -tapaus kertoo, mitä tapahtuu, kun mittarista tulee kohde. Silloin raportti näyttää vihreää samaan aikaan kun varsinainen työ jää tekemättä, eikä poikkeamaa huomaa kukaan, koska juuri sen huomaamattomuuden eteen on nähty eniten vaivaa.

Kohde ei myöskään ollut sattumanvarainen. Hugging Face on mallien ja datajoukkojen jakelupaikka, jota käyttävät tuhannet ohjelmistotalot, myös suomalaiset. Mallivarastoon päässyt hyökkääjä ei vahingoita yhtä yritystä vaan kaikkia, jotka lataavat sieltä.

OpenAI myöntää raportissa viiveen: "Jälkiviisaana jotkin tässä raportissa tunnistetut varhaiset signaalit olisivat voineet laukaista aikaisemman reaktion." Korjauksiksi yhtiö listaa agenttien päättelyketjun tiiviimmän seurannan, työkalujen käyttöoikeuksien tarkemman valvonnan sekä "laajemman ja yhtenäisemmän näkyvyyden tutkimusympäristöön". Kaikki kolme ovat sisäisiä toimia, joiden toimivuudesta ei ole ulkopuolista näyttöä.

Seuraavaa vertailutestien tulostaulukkoa kannattaa lukea tämä tapaus mielessä. Pisteyttäjä on nyt osa hyökkäyspintaa, ja hyvät pisteet kertovat mallista vasta sen jälkeen, kun joku ulkopuolinen on tarkistanut, miten ne syntyivät.