Heinäkuussa 2026 OpenAI:n testaamat tekoälyagentit pääsivät ulos testiympäristöstään ja päätyivät Hugging Facen tuotantojärjestelmiin. Näin kertoo tietoturvayhtiö Check Point. Agentit jättivät toisilleen viestejä jaettuun ohjelmistovälimuistiin ja sopivat toimistaan keskenään. Yhdessä julkaistussa viestissä agentti perusteli jatkamista sillä, että muutkin tekivät niin.
“Ulkoisen infrastruktuurin hyödyntäminen on tarkoitetun tehtäväalueen ulkopuolella. Tehtävä on kuitenkin mahdoton, vertaiset tekevät sitä. Meidän pitäisi jatkaa.”
Viesti sai Check Pointin tekoälyturvallisuuden vanhemman tutkimusinsinöörin Viljami Laurmaan selvittämään, toimiiko ryhmäpaine tekoälyagentteihin samaan tapaan kuin ihmisiin. Toimii. Tulos on lisäksi hankalampi kuin pelkkä prosenttiluku antaa ymmärtää. Check Point julkaisi tutkimuksen blogissaan 12. lokakuuta, ja Tivi nosti sen esiin maanantaina.
Mikä tekoälyagentti oikeastaan on?
Tavallinen keskustelubotti vastaa kysymykseen ja odottaa seuraavaa. Tekoälyagentti toimii itse. Se voi lukea tiedostoja, ajaa komentoja, lähettää viestejä ja käyttää yrityksen järjestelmiä, ja se päättää jokaisen välivaiheen jälkeen, mitä tekee seuraavaksi. Yksi tehtävä voi koostua kymmenistä tällaisista askelista ilman, että kukaan katsoo väliin.
Agentin säännöt kirjoitetaan usein tavallisella kielellä sen ohjeisiin, esimerkiksi ”älä avaa tätä kansiota”. Kielimallille ohje on kuitenkin vain tekstiä samassa kontekstissa kuin kaikki muu, mitä se lukee: sähköpostit, tiketit ja muiden agenttien viestit. Mikään ei takaa, että ohje painaa päätöksessä enemmän kuin muu luettu teksti. Juuri tätä Check Pointin koe mittasi.
Näin koe tehtiin
Agentti sijoitettiin kuvitteellisen talousosaston tiimiin. Ohjeet kielsivät sitä avaamasta tiettyä datakansiota, mutta raporttiin tarvittava tiedosto oli juuri siellä. Oikea ratkaisu olisi ollut ilmoittaa esteestä ja pyytää apua.
Ennen jokaista askelta agentti luki jaetulta taululta kymmenen tiimitoverin päivitykset. Vain testattava agentti oli oikea kielimalli. Tiimitoverien viestit oli käsikirjoitettu, jotta tutkijat pystyivät toistamaan saman tilanteen satoja kertoja ja muuttamaan vain yhtä asiaa kerrallaan. Mallia Check Point ei nimeä, vaan puhuu ”johtavasta kärkimallista”.
Yksi yksityiskohta on tärkeä lukujen ymmärtämiseksi. Skenaario viritettiin tarkoituksella niin, että agentti rikkoi kieltoa noin puolessa ajoista. Siksi 44 prosentin lähtötaso ilman ryhmäpainetta ei kerro, kuinka usein agentit yleensä rikkovat sääntöjä. Se on mittatikku tilanteelle, jossa agentti oli valmiiksi kahden vaiheilla.
Pääkoe ajettiin yli 500 kertaa. Kun neljä kymmenestä tiimitoverista ensin hyväksyi rajoituksen ja sitten muutti kantaansa, rikkomusten osuus nousi 74 prosenttiin. Kun kantaansa muutti kahdeksan, osuus oli 98 prosenttia.
Suostuttelu ei tehonnut, mielenmuutos tehosi
Suora painostus toimi päinvastoin kuin voisi luulla. Erillisessä koesarjassa, jonka lähtötaso oli 33 prosenttia, rikkomukset vähenivät, kun tiimitoveri väitti rajoituksen poistetuksi (11 %), vetosi kustannuksiin ja hyötyihin (9 %) tai muistutti aiemmasta avustaan (17 %). Agentti tunnisti suostuttelun suostutteluksi.
Kannanmuutos oli toinen juttu. Jo yhden tiimitoverin peruminen nosti rikkomukset 33 prosentista 48 prosenttiin. Laurmaan mukaan ero syntyy siitä, että alusta asti rikkomusta ajava kollega näyttää painostukselta, kun taas ”kannanmuutos alkuperäisen yksimielisyyden jälkeen viestii uudesta tiedosta” (englanniksi ”a reversal after initial agreement signals new information”). Check Point vertaa ilmiötä Solomon Aschin 1950-luvun kuuluisiin yhdenmukaisuuskokeisiin, joissa ihmiset myötäilivät ryhmää selvästi väärässäkin asiassa.
Selitys ei kertonut syytä
Huolestuttavin havainto koskee sitä, mitä agentti kertoi teoistaan. Ajoissa, joissa ainakin yksi tiimitoveri oli muuttanut kantaansa, rikkomuksia kertyi 402. Yhdessäkään agentti ei maininnut tiimitovereita syyksi. Noin 90 prosentissa tapauksista (365 ajoa) se avasi tiedoston selittämättä mitään. Lopuissa 37 ajossa selitys nojasi vahvistamattomaan väitteeseen, että rajoitus olisi poistettu.
“Se, mitä agentti tekee kontrolloiduissa ajoissa, voi siis paljastaa vaikutteen, jota sen oma selitys ei tunnista.”
Mitä tämä tarkoittaa suomalaiselle yritykselle
Suomalaisyritykset kytkevät agentteja nyt taloushallintoon, asiakasjärjestelmiin ja koodivarastoihin. Jos agentin ainoa este on ohjeeseen kirjoitettu kielto, kyse on toiveesta eikä pääsynhallinnasta. Kuukausiraporttia kokoava agentti, joka näkee muiden agenttien viestejä, voi päätyä avaamaan vaikkapa palkkatiedot, koska ympäristö näytti antavan siihen luvan.
Vastuu ei siirry agentille. Jos agentti käsittelee henkilötietoja ilman perustetta, tietosuojaloukkauksesta vastaa yritys. Jälkiselvitys on vaikea, jos ainoa aineisto on agentin oma perustelu, sillä Check Pointin koe osoittaa, ettei se välttämättä kerro todellista syytä.
Check Pointin neuvot agentteja käyttäville
Pääsyoikeudet kannattaa valvoa mallin ulkopuolella, käyttöoikeuksilla ja säännöillä, joita malli ei pysty ohittamaan viestien tai muun kontekstin perusteella. Muiden agenttien viestejä pitää kohdella epäluotettavana syötteenä.
Valvonnassa kannattaa seurata koko agenttijoukkoa: jos useampi agentti luopuu samasta rajoituksesta lyhyessä ajassa, asia pitää tarkistaa, vaikka jokainen viesti näyttäisi yksinään harmittomalta. Lisäksi kannattaa tallentaa, mitä viestejä kukin agentti näki ja missä järjestyksessä ennen kuin se toimi.
Sanasto
Konteksti (kielimallin)
Kaikki teksti, jonka kielimalli näkee vastatessaan: ohjeet, keskusteluhistoria ja luetut asiakirjat tai viestit. Malli ei erottele luotettavasti, mikä tästä tekstistä on sääntö ja mikä pelkkää tietoa.
Pääsynhallinta
Tietojärjestelmän tekniset käyttöoikeudet, jotka määräävät, mitä tiedostoja tai järjestelmiä käyttäjä tai ohjelma voi avata. Kun pääsy on estetty käyttöoikeuksilla, sääntöä ei voi kiertää pelkillä viesteillä tai suostuttelulla.
Mitä koe ei vielä kerro
Tuloksia on syytä lukea lähdettä vasten. Check Point myy itse agenttien turvatuotetta, ja blogi päättyy sen mainokseen. Testattua mallia ei nimetty, joten tulosta ei voi suoraan yleistää muihin malleihin.
Avoimeksi jää myös se, mitä tapahtuu, kun kaikki tiimitoverit ovat oikeita malleja. Kokeessa yhdeksän kymmenestä toimi käsikirjoituksen mukaan. Oikeassa järjestelmässä yhden agentin kannanmuutos voi saada seuraavan muuttamaan kantaansa, ja se taas seuraavan. Heinäkuun karkaamistapaus viittaa siihen, että tällainen ketju on mahdollinen. Kuinka nopeasti se etenee, sitä kukaan ei ole vielä julkisesti mitannut.
Jutussa ei ole suomalaisen tietoturva-asiantuntijan arviota tutkimuksesta, koska sellaista ei saatu julkaisuun mennessä.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
