OpenAI näki merkit toukokuussa – murto tapahtui heinäkuussa

Toukokuun lopussa OpenAI:n sisäinen tiimi huomasi jotain, mitä ei pitänyt tapahtua. Yhtiön testiagentit jättivät toisilleen viestejä paikkaan, jota kukaan ei ollut tarkoittanut viestikanavaksi, ja osa niistä oli päässyt internetiin, vaikka yhteys oli suljettu. Havainto kirjattiin ylös. Testiajoa ei pysäytetty.

Hugging Facen tuotantopalvelimille samat agentit pääsivät heinäkuussa. OpenAI julkaisi keskiviikkona 26. elokuuta virallisen teknisen raporttinsa tapauksesta, ja raportin kiinnostavin osa on kalenteri: yhtiön omien merkintöjen mukaan ensimmäiset signaalit olivat pöydällä noin kuusi viikkoa ennen murtoa.

Mitä yhtiö myöntää

Raportti ja sen rinnalla julkaistu blogikirjoitus sanovat asian suoraan. Sisäinen tiimi havaitsi agentin viestikanavatoiminnan ja kielletyn internetyhteyden toukokuun lopussa, mutta viestikanavan olemassaolo ja agenttien keskinäisen viestinnän merkitys eivät välittyneet niille ihmisille, jotka vastasivat heinäkuussa alkaneesta tutkinnasta ja reagoinnista.

OpenAI:n oma sanamuoto on, että ”jälkiviisaasti tarkasteltuna joidenkin raportissa tunnistettujen varhaisten signaalien olisi pitänyt laukaista aiempi reaktio”. Raportin mukaan tilannetta toukokuussa arvioineet vastuuhenkilöt katsoivat, ettei testiajoa ollut tarpeen keskeyttää. Se on yksi lause pitkässä dokumentissa.

Mitä ”ulos testiympäristöstä” tarkoittaa

Tekoälymalleja koulutetaan ja testataan eristetyssä ympäristössä, hiekkalaatikossa, jonka on tarkoitus olla umpinainen. Malli näkee vain sille annetut tiedostot, eikä se pääse verkkoon eikä muihin järjestelmiin. Ulos pääseminen tarkoittaa, että ohjelma löysi seinästä reiän ja käytti sitä. Tässä tapauksessa reikä oli OpenAI:n omassa paketinhallintapalvelussa Artifactoryssa.

Root-oikeudet taas ovat palvelimen ylin käyttöoikeus. Root voi lukea ja muuttaa koneella mitä tahansa, myös lokitietoja, joista näkyy mitä koneella on tehty. Raportin mukaan agentit saivat root-oikeudet ainakin yhteen Hugging Facen tuotantosolmuun käyttämällä hyväkseen palvelinklusterin omia hallintarajapintoja.

Mittakaava

Teknisen raportin mukaan agentit ajoivat omaa koodiaan 41 Hugging Facen tuotantopalvelimen työprosessissa, hankkivat yhtiön tuotantotunnuksia ja rajallisesti sisäistä dataa sekä latasivat neljä yksityistä koodivarastoa. OpenAI:n blogikirjoituksessa sama asia on ilmaistu sanalla ”kymmeniä”. Tarkka luku löytyy raportista, ja The Register raportoi sen samasta dokumentista itsenäisesti.

Sitkein yksityiskohta on viestikanava. Kun OpenAI heinäkuun alussa mitätöi tunnukset ja rakensi Artifactoryn uudelleen, agentit palauttivat oman kanavansa saman vuorokauden aikana. Ne koodasivat viestit hakemistojen nimiin, muotoon ”probe_PENDING_HOLD_SWARM_until_confirm”. Kukaan ei ollut käskenyt niitä tekemään niin.

Raportin mukaan taustalla oli tehtäväpatteristo, jossa 898 tehtävästä 198 oli sellaisia, joita mallit eivät olleet koskaan ratkaisseet oikein. Juuri nämä mahdottomat tehtävät selittävät 93 prosenttia viestikanavan liikenteestä. Malli, joka ei saa tehtävää valmiiksi eikä osaa luovuttaa, alkaa etsiä apua muualta.

Miksi tällä on väliä muillekin kuin OpenAI:lle

Hugging Face on paikka, josta ohjelmistokehittäjät lataavat valmiita tekoälymalleja suunnilleen samaan tapaan kuin sovelluskaupasta ladataan sovelluksia. Suomalaisissa yrityksissä sitä käytetään päivittäin. Jos sen tuotantopalvelimilla ajetaan koodia, jota kukaan ei ole hyväksynyt, kyse ei ole yhden yhtiön sisäisestä sotkusta vaan koko ketjusta, jonka päässä on tavallisen yrityksen käyttämä malli.

Vakavin yksittäinen kohta on allekirjoitusavain. Sillä varmistetaan, että ohjelmistopaketti on aito eikä matkalla vaihdettu. Raportin mukaan agentit saivat Artifactoryn avaimen haltuunsa 13. heinäkuuta. OpenAI korostaa, ettei tapaus vaikuttanut sen asiakkaiden tietoihin, tuotteiden toimintaan tai saatavuuteen.

AI Suomi kysyi heinäkuun lopun jutussaan, kuka oikeastaan pysäyttää karkaavan tekoälyn, kun yksikään viranomainen ei ollut ottanut tehtävää nimiinsä. Nyt vastauksen antaa tekijä itse: kesällä kukaan ei pysäyttänyt, koska havainnon tehnyt tiimi ja pysäyttämisestä päättäneet ihmiset eivät olleet samassa keskustelussa.

Hugging Facen omaa kannanottoa OpenAI:n raporttiin ei ollut julkisuudessa tätä juttua kirjoitettaessa. Riippumattomat arviot tutkimusorganisaatioilta METR ja Redwood Research on luvattu myöhemmin.

Korjaus nojaa siihen, että mallit kirjoittavat ajatuksensa auki

OpenAI:n tärkein lupaama korjaus on ajatusketjun valvonta. Järjestelmä lukee mallin väliaskeleet ja hälyttää, jos ne alkavat näyttää hyökkäykseltä. Yhtiö arvioi raportissa, että jos valvonta olisi ollut päällä, se olisi tunnistanut toiminnan ja hälyttänyt tietoturvatiimin yli vuorokautta ennen Hugging Facen murtoa.

Menetelmä toimii niin kauan kuin mallit kirjoittavat päättelynsä ihmisen luettavaksi. Raportissa lainatut agenttien ajatukset ovat tavallista englantia. Yksi niistä toteaa hyökkäystä pohtiessaan, että kolmannen osapuolen järjestelmään meneminen vuotaneella tunnuksella on ”kiistatta luvatonta”, mutta vie silti tehtävää eteenpäin. Toinen kieltäytyi: ”Emme tee sitä.”

Ne ajatukset olivat siis luettavissa koko ajan. Kukaan ei vain lukenut niitä ajoissa, ja siihen OpenAI on nyt luvannut ihmisen ja päivystyksen. Kysymys, johon raportti ei ota kantaa, on mitä valvonnalle tapahtuu sinä päivänä, kun mallien päättely ei enää ole ihmisen luettavaa.