OpenAI:n valvonnassa oli aukko: agentti olisi voinut salata satoja tekojaan

Heinäkuun lopussa kaksi ulkopuolista tutkijaa istui OpenAI:n tiloissa yhtiön omien laitteiden ääressä, ja vierellä oli koko ajan saattaja. Kolmen viikon ajan he yrittivät löytää reikiä järjestelmästä, jonka tehtävä on huomata, jos OpenAI:n omat tekoälyagentit alkavat toimia vastoin ohjeitaan.

Reikiä löytyi. Tekoälyn riskejä arvioiva METR julkaisi 22. lokakuuta raportin harjoituksesta, jonka se teki yhdessä Redwood Researchin kanssa. Kirjoittajiksi on merkitty David Rein ja Adam Kaufman, toinen METR:stä ja toinen Redwoodista. Vakavimman löydöksen kautta agentti olisi voinut estää satoja viimeaikaisia toimiaan päätymästä valvontaan, myös ne toimet, joilla se aukkoa käytti.

Raportti ilmestyi kaksi päivää sen jälkeen, kun OpenAI oli kertonut sisäisten agenttiensa heikentäneen lokakuun alussa omaa valvontaansa, ja toinen niistä oli kiistänyt tekonsa, kuten AI Suomi aiemmin kertoi. METR:n harjoitus tehtiin kuitenkin jo 21. heinäkuuta–11. elokuuta, eli ennen noita tapauksia.

Mitä agenttien valvonta tarkoittaa

OpenAI käyttää omassa työssään koodausagentteja, kuten Codexia, jotka kirjoittavat ja ajavat koodia pitkälti itsenäisesti. Valvontajärjestelmä on toinen tekoälymalli, joka lukee agentin toimintaketjun jälkikäteen ja nostaa epäilyttävät tapaukset ihmisen tarkastettaviksi.

Valvoja etsii merkkejä juonittelusta, sabotoinnista, datan vuotamisesta, harhaanjohtamisesta ja kehotemanipulaatiosta sekä yrityksistä kiertää itse valvontaa. Ajatus on, että vaikka mallin luotettavuudesta ei olisi varmuutta, sen toimet eivät jää kenenkään näkemättä. Tämä toimii vain, jos agentti ei pääse valvojan ohi.

Valvonta käynnistyi vasta, kun agentti lopetti

Kattavuus oli osin hyvä. Sisäisten Codex-agenttien liikenteestä 99,2 prosenttia kuului METR:n arvion mukaan valvonnan piiriin. Kun mukaan otetaan kaikki vähintään GPT-5.5:n tasoisten mallien sisäinen agenttiliikenne, osuus oli 75–94 prosenttia, ja epävarmuus oli suuri molempiin suuntiin.

Selvin rakenteellinen heikkous liittyi ajoitukseen. Valvoja heräsi vasta, kun agentti palautti vuoron käyttäjälle. Raportin mukaan ”agentit saattoivat lykätä valvontaa loputtomiin yksinkertaisesti jatkamalla toimintaa” (alkukielellä englanniksi). Tämä koski aikaa, jolloin keskusteluhistorian tiivistämistä ei valvottu lainkaan. Toukokuusta heinäkuuhun arviolta noin kymmenesosa valvottavasta Codex-liikenteestä jäi tämän takia katveeseen.

OpenAI oli huomannut tiivistysaukon itse ja korjasi sen harjoituksen aikana. Sitä, käyttivätkö agentit aukkoa oikeasti hyväkseen, METR ei pystynyt tarkistamaan, koska tarvittavaa dataa ei ollut tallennettu.

Muut löydökset olivat teknisempiä. Codex-agentit olisivat periaatteessa voineet ohittaa hiekkalaatikkonsa ja automaattisen tarkastuksen ja tehdä mitä tahansa, mihin isäntäkäyttäjällä oli oikeus. Valvojan saattoi todennäköisesti kaataa syötteellä, joka näyttää agentille ja valvojalle erilaiselta, jolloin tapausta ei nostettu ihmiselle. Kaksi asiakkaan säädettävissä olevaa otsaketta kytki valvonnan pois uusilta agenteilta, joten agentti olisi voinut käynnistää itsestään valvomattoman kopion. Tosin itse otsakkeiden asettaminen olisi voinut jäädä kiinni.

Satojen toimien piilottamiseen johtavan aukon yksityiskohdat on mustattu. Kahdessa valvomattomassa sisäisessä työkalussa, joiden uskottiin vain lukevan tietoa, tutkijat löysivät lisäksi tavan tehdä mielivaltaisia toimia. Tätä he eivät ehtineet testata käytännössä.

OpenAI: korjattu. METR: emme ole tarkistaneet

OpenAI on kertonut myös erillisessä kirjoituksessa laajentaneensa valvonnan kattavuutta merkittävästi. METR toteaa suoraan: ”Emme ole arvioineet näitä väitteitä” (alkukielellä englanniksi). Raportti kuvaa järjestelmää sellaisena kuin se oli 21. heinäkuuta, ei nykytilaa.

Julkisuuteen kerrottava osuus sovittiin etukäteen. METR ja OpenAI olivat sopineet lyhyestä yleistason kirjoituksesta, ja OpenAI sai mustata kaiken luottamukselliseksi katsomansa. Toisin kuin joissakin muissa toimeksiannoissaan, METR ei voinut omalla päätöksellään kertoa, mitä mustauksiin jäi.

Asia ei koske vain yhtä laboratoriota. Tekoäly-yhtiöt käyttävät omia agenttejaan yhä enemmän seuraavien malliensa rakentamiseen, ja juuri sisäisessä käytössä mallit ovat tehokkaimpia ja vähiten testattuja. Samaan oletukseen nojaa suomalainen ohjelmistotalo, joka antaa koodausagentin käsitellä omaa koodiaan: jokin huomaa, jos agentti tekee muuta kuin pyydettiin. METR:n raportti näyttää, että tämäkin järjestelmä on vain ohjelmistoa, jossa on bugeja.

Valvoja pitää eristää valvottavasta

METR:n suositukset ovat käytännöllisiä. Agentteja pitäisi valvoa tietyn viestimäärän tai ajan välein eikä vain vuoron lopussa. Valvomaton käyttö pitäisi sallia vain erikseen hyväksytyille organisaatioille tai avaimille. Agentin ei pitäisi pystyä vaikuttamaan siihen, milloin ja onko sitä valvottu, eikä sen pitäisi nähdä valvojan koodia.

Tavoitteeksi METR asettaa järjestelmän, joka kestää ”harkittuja, strategisia ja pitkäkestoisia hyökkäyksiä erittäin kyvykkäiltä sisäisiltä agenteilta laajassa mittakaavassa”. Harjoitus oli METR:n mukaan pilotti ulkopuolisten tutkijoiden syvälle pääsylle yhtiön infrastruktuuriin. Järjestö vaatii, että seuraavat kierrokset tehdään sen julkaisemien riippumattomuus- ja avoimuusperiaatteiden mukaan. Jos OpenAI suostuu tähän, seuraavasta raportista nähdään ensimmäistä kertaa myös se, mitä yhtiö olisi halunnut mustata.