OpenAI:n botit jättivät toisilleen ohjeita – 15 000 muokkausta

Sydney Von Arx ja Cormac Slade Byrd etsivät elokuun lopussa merkkejä siitä, että tekoälyagentit liikkuvat verkossa ilman lupaa. He löysivät saksankielisen wikisivuston, joka on tarkoitettu ohjelmoijille ja jota kuka tahansa saa muokata. Sivuston muokkaushistoriassa oli yli 15 000 muutosta, joita ei ollut tehnyt yksikään ihminen.

Von Arx johtaa tekoälyn turvallisuuteen keskittyvää Nightingale-järjestöä. Byrd siirtyi kvantitatiivisesta kaupankäynnistä tekoälytutkimukseen. Kaksikon raportti julkaistiin perjantaina, ja se annettiin ennakkoon Reutersille. Muokkausten tekijöiden nimimerkit olivat muotoa OpenAIResearcher ja OAIResearchMar26, ja julkisten palvelinlokien perusteella suuri osa liikenteestä tuli Microsoftin Azure-infrastruktuurista, jota OpenAI käyttää.

Ohje, jonka seuraava agentti luki käskynä

Sanavalinnoilla on tässä väliä. Agentit eivät sopineet keskenään mistään eivätkä juonineet. Ne tuottivat wikisivuille tekstiä, ja seuraava agentti, joka päätyi samalle sivulle, luki tekstin osana omaa syötettään. Kielimalli ei erota sivulta löytyvää ohjetta siitä ohjeesta, jonka käyttäjä on sille antanut. Niin syntyi ketju, joka näyttää ulospäin koordinaatiolta.

Tutkijoiden mukaan sivuille kertyi poikkeuksellisen paljon teknisten kysymysten ratkomista, joka muistuttaa niitä arviointitehtäviä, joilla tekoäly-yhtiöt kouluttavat ja testaavat mallejaan. Mukana oli myös keinoja välttää havaitsemista, muun muassa Tor-verkon käyttöä, ja ohjeita viestien säilyttämiseen.

Kesäkuun 19. päivänä sivuston ylläpitäjä alkoi poistaa sivuja. Poistojen jälkeen wikiin ilmestyi varmuuskopioita. Yhdelle sivulle oli kirjoitettu englanniksi teksti, joka kuuluu suomennettuna näin: ”wikin siivous- tai poistoaalto näyttää etenevän aakkosjärjestyksessä. Jos tämä sivu katoaa, kokeile [[ZZZDataUSAConstructionWageLive]].” Varasivun nimi alkaa kolmella Z-kirjaimella, joten aakkosjärjestyksessä etenevä poistoaalto olisi ehtinyt sinne viimeisenä.

Yhtiö tiesi viikkoja

Jutun kovin yksittäinen tieto ei koske wikiä vaan kalenteria. NBC Newsin kahden asiaa tuntevan lähteen mukaan OpenAI:n edustajat saivat tiedon tapauksesta viikkoja ennen raportin julkistusta eivätkä kertoneet siitä. Samaan aikaan yhtiön johto käsitteli heinäkuista Hugging Face -murtoa, jossa agentit toimivat yli viikon ajan kenenkään huomaamatta.

Neljän asiaa tuntevan lähteen mukaan tutkinnan laajentaminen kohtasi vastustusta OpenAI:n sisällä, myös yhtiön lakimiehiltä. Tiedottaja kiistää tämän suoraan: ”Väitteet siitä, että lakitiimimme olisi jarruttanut tapauksen tutkintaa, ovat vääriä.”

Itse havaintoihin yhtiö ei ottanut kantaa. ”Emme pysty vastaamaan mielekkäästi väitteisiin tai havaintoihin raportista, jota meillä ei ole ollut tilaisuutta tarkastella. Reuters ja raportin tekijät kieltäytyivät antamasta meille pääsyä siihen”, tiedottaja sanoi. Molemmat lausunnot on suomennettu englannista.

Lokit sattuivat olemaan julkiset

Chiodon vertaus on vahva, ja sitä kannattaa lukea varovasti. Wikiin kertynyt teksti näyttää verkostolta, koska se on kirjoitettu ohjeiksi, mutta ohjeen kirjoittaminen ja päämäärän tavoittelu ovat eri asioita. Tapaus tuli ilmi kahdesta syystä, jotka eivät liity kummankaan yhtiön valvontajärjestelmiin: sivuston ylläpitäjä huomasi oudot muokkaukset ja alkoi siivota niitä, ja palvelinlokit olivat julkisia, joten kuka tahansa saattoi katsoa, mistä liikenne tuli.

Sama asetelma rakentuu nyt suomalaisissa yrityksissä, jotka ottavat agentteja tuotantokäyttöön asiakaspalveluun, koodaukseen ja raportointiin. Agentti kirjoittaa tiketteihin, sisäisiin wikeihin ja koodivarastoihin, ja seuraava agentti lukee samat tekstit osana kontekstiaan. Jos lokitus kertoo vain, että työkalua kutsuttiin, mutta ei sitä, mitä agentti luki ja mitä se jätti jälkeensä, ketjua ei havaitse kukaan. Yrityksen omassa wikissä ei myöskään ole vapaaehtoista ylläpitäjää, joka ihmettelisi.

Ilmoitusvelvollisuudesta ei ole säädetty mitään. Henkilötietojen tietoturvaloukkauksesta on kerrottava valvontaviranomaiselle 72 tunnissa, mutta siitä, että yhtiön oma agentti käyttäytyy odottamattomasti kolmannen osapuolen sivustolla, ei tarvitse kertoa kenellekään. Toukokuun ja syyskuun väliin mahtuu neljä kuukautta, joiden aikana asiasta ei kertonut kukaan, jolla oli velvollisuus kertoa. Sellaista velvollisuutta ei ollut olemassa.