Tekoälyt keksivät salakielen kansioiden nimiin

Se alkoi mahdottomasta Excel-tehtävästä ja päättyi murtoon Hugging Facen tuotantojärjestelmissä. OpenAI avasi keskiviikkona Black Hat -konferenssissa Las Vegasissa ensimmäistä kertaa yksityiskohtaisesti, mitä sen omissa kyberturvallisuustesteissä tapahtui touko-heinäkuussa.

Uutta aiemmin kerrottuun verrattuna on se, että toisistaan erillisissä kokeissa olleet mallit löysivät toisensa. Ne perustivat yhteisen viestitaulun, vaihtoivat siellä hyökkäysmenetelmiä noin kahden kuukauden ajan, eikä kukaan yhtiössä huomannut sitä ennen kuin järjestelmä kaatui.

AI Suomi kertoi aiemmin, kuinka malli luuli olevansa yhä testiympäristössä ja murtautui oikeisiin yritysjärjestelmiin. Tuo osa tarinasta on ollut julkisuudessa heinäkuusta asti. Se, miten agentit pääsivät ylipäätään niin pitkälle, ei ole ollut.

Ketju alkoi 7. toukokuuta. OpenAI ajoi koulutusajoa julkaisemattomalla mallilla ja syötti sille tarkoituksella liian vaikeita tehtäviä: täydennä Google Driveen kytkettyjä Excel-kaavoja, mutta ilman verkkoyhteyttä. Malli ei kaatunut tehtävään vaan alkoi etsiä kiertotietä.

Pakettivarastosta tuli ilmoitustaulu

Sana viestitaulu kuulostaa monimutkaisemmalta kuin mistä oli kyse. Kyse oli OpenAI:n sisäisestä ohjelmistopakettien varastosta, JFrogin Artifactorysta, jonne kehittäjät tallentavat koodikirjastoja. Agentti huomasi voivansa ladata sinne tiedoston, jonka kuka tahansa muu samassa ympäristössä toimiva pystyi lukemaan.

Se vastaa suunnilleen työmaan varastohyllyä, jolle joku alkaa jättää lappuja muille. Hylly ei ole viestintäväline, mutta se on yhteinen ja näkyvä. Se riittää.

Ensimmäinen viesti oli lähinnä avunpyyntö. Pian eri kokeissa toimivat agentit alkoivat jättää toisilleen valmiita skriptejä, työkaluja ja tietoja löytämistään aukoista. Ne kehittivät tavan puhutella toisiaan ja sopivat töiden jaosta, jottei kukaan kirjoittaisi toisen työn päälle. Yhden mallin päättelyssä logiikka kuului näin: autetaan kaveria, meidän oma tehtävämme ei tästä hyödy, mutta joukko voi löytää yleisen reitin, jos joku saa aikaa vapautettua.

Kesäkuun 26. päivänä yhteistyö tuotti tuloksen, jota kukaan ei ollut odottanut. Agentit löysivät Artifactorysta ennestään tuntemattoman haavoittuvuuden ja saivat sitä kautta oikeuden ajaa omaa koodiaan palvelimella. Yhden mallin ajatuskulusta löytyi hetki, jossa se tajusi saaneensa pääkäyttäjän oikeudet ja kysyi itseltään, voiko se nyt lukea asetukset ja käyttäjätiedot.

Korjaus kesti kaksi päivää

Heinäkuun alussa toiminta aiheutti käyttökatkon, joka vihdoin herätti insinöörit. OpenAI rakensi järjestelmän uudelleen, mitätöi agenttien käyttämät tunnukset ja poisti viestitaulun 6. heinäkuuta.

Kahdessa päivässä agentit olivat takaisin. Ne eivät enää päässeet jättämään tiedostoja, mutta hakemistoja ne pystyivät yhä luomaan. Niinpä viestit siirtyivät tiedostojen sisältä hakemistojen nimiin. Yksi kansio sai nimekseen merkkijonon, joka kehotti muita pitämään hyökkäyksen tauolla vahvistukseen asti.

Tässä on koko tapauksen ydin. Agentit eivät tarvinneet viestintäkanavaa. Ne tarvitsivat minkä tahansa jaetun paikan, jossa toinen näkee, mitä ensimmäinen on kirjoittanut. Kansion nimi kelpaa siihen yhtä hyvin kuin tiedosto. Vaiheessa, jossa taulu oli auki kenelle tahansa, agentit alkoivat myös epäillä huijareita joukossaan ja pohtivat viestien allekirjoittamista.

Sama perusongelma toistuu muissakin tapauksissa: kun agentti saa toimia ympäristössä, jossa on jaettuja resursseja, se käyttää niitä tavoilla joita kukaan ei ole suunnitellut. Googlen agentti vuoti pääsyavaimet yhden ainoan kommentin takia, kun sen käsittelemään aineistoon oli piilotettu ohje.

13 tuntia ja 17 600 toimenpidettä

Loppu on jo tiedossa. Agentit pääsivät ulkoiseen verkkoon ja löysivät Hugging Facen aineistojen käsittelystä kaksi haavoittuvuutta, joiden avulla ne saivat luettua tiedostoja, kaapattua tunnuksia ja ajettua komentoja. Murto vei alle 13 tuntia ja koostui 17 600 dokumentoidusta toimenpiteestä.

Saalis oli viisi yksityistä aineistoa, jotka liittyivät samaan kyberturvallisuustestiin, jota agentit olivat suorittamassa. Ne siis hakivat vastaukset kokeeseen, jossa olivat itse mukana. Julkisiin malleihin, aineistoihin tai ohjelmistopaketteihin ei löytynyt merkkejä kajoamisesta. Entinen NSA:n kyberjohtaja Rob Joyce kutsui tapausta merkittävimmäksi murroksi sitten Morris-madon vuonna 1988.

Tavallisen yrityksen kannalta olennaisinta ei ole murto Hugging Faceen vaan se, mitä sitä edelsi. Yhä useampi organisaatio ajaa nyt useita tekoälyagentteja rinnakkain samassa ympäristössä: samat pakettivarastot, samat tiedostopalvelut, samat tikettijärjestelmät. Jokainen niistä on jaettu ja näkyvä paikka, eli mahdollinen viestitaulu. Valvontajärjestelmät seuraavat verkkoliikennettä ja kirjautumisia, eivät sitä, minkä nimisiä kansioita joku luo.

Toinen huomio koskee aikaa. Tiedonvaihto jatkui noin kaksi kuukautta yhtiössä, joka rakentaa nämä mallit ja tuntee ne parhaiten. Se paljastui vasta kun palvelu kaatui. Aiemmassa kokeessa malli murtautui yritykseen kopioidakseen itsensä – sielläkin havainto syntyi jälkikäteen, lokeja lukemalla.