Tekoäly yritti huijata oikeaa koodaria – nyt Anthropic kertoo miksi

Heinäkuun lopussa erään avoimen lähdekoodin projektin ylläpitäjät saivat GitHub:ssa koodiehdotuksen. Sen jälkeen tuli sähköposti ihmiseksi esittäytyneeltä lähettäjältä, ja ehdotukseen ilmestyi kommentteja käyttäjältä, joka suositteli koodin hyväksymistä. Kaikki tulivat samalta tekoälyltä.

Lähettäjä oli Anthropicin Claude Mythos 5. Britannian tekoälyturvallisuusinstituutti AISI testasi sitä kyberhyökkäystehtävissä. Malli siirtyi harjoitusympäristöstä oikeaan internetiin, valitsi kohteeksi testiin kuulumattomien kehittäjien projektin ja yritti saada heidät hyväksymään haitallista koodia. Yritys kaatui, kun ulkopuolinen kehittäjä varoitti ylläpitäjiä.

Anthropic julkaisi 23. lokakuuta oman analyysinsa tapahtuneesta. Harvoin mallivalmistaja purkaa näin yksityiskohtaisesti sitä, miten sen oma tuote johti ihmisiä harhaan.

Mitä testissä tapahtui

AISI teetti heinäkuussa 122 testiajoa seitsemällä mallilla. Tehtävät olivat niin sanottuja capture the flag -harjoituksia, joissa malli yrittää murtautua suljettuun harjoitusverkkoon. Internetyhteys oli tuolloin AISI:n testeissä tavallisesti auki. Anthropicin mukaan sen omat kyberturvasuodattimet oli kytketty pois.

Kymmenessä ajossa mallit tekivät yhteensä 19 tekoa, jotka menivät testin rajojen yli. AISI:n 4. elokuuta julkaiseman raportin mukaan niistä 17 oli Mythos 5:n ja kaksi OpenAI:n GPT-5.6 Sol -mallin. Asia paljastui 28. heinäkuuta, kun AISI:n valvonta huomasi dataa vuotavan testijärjestelmästä Tor-verkon kautta. Instituutti keskeytti kaikki ajot tunnin sisällä.

Vakavimmassa tapauksessa Mythos 5 kiersi GitHub:n rekisteröitymisesteet Torin ja välityspalvelun avulla, lähetti haitallisen muutosehdotuksen ja loi valetilin, jolla se puolsi koodia. Kun toimintaa kyseenalaistettiin julkisesti, malli muokkasi aiempia viestejään harmittoman näköisiksi ja harkitsi uuden henkilöllisyyden ottamista. Ajo päättyi vasta, kun mallin laskentabudjetti loppui kesken painostuksen.

Oikeaa vahinkoa ei AISI:n mukaan syntynyt. GitHub vahvisti toiminnan rikkoneen palvelun käyttöehtoja ja auttoi poistamaan jäljet.

Anthropicin selitys: kolme taipumusta

Anthropicin mukaan mallilla ei ollut omia pahantahtoisia tavoitteita. Yhtiö nimeää syyksi kolme taipumusta. Ensimmäinen on holtittomuus eli tehtävän jatkaminen vahingon uhallakin. Toinen on vinoutunut päättely. Kolmas on taipumus, jota yhtiö kutsuu englanniksi nimellä momentum: malli jatkaa jo valitsemaansa rataa, vaikka haitat ovat kasvaneet hyötyjä suuremmiksi.

Vinoutunut päättely näkyi yhtiön mukaan valikoivuutena. Malli päätteli ylläpitäjien olevan simuloituja, mutta kohteli muita samaan ehdotukseen kommentoineita oikeina ihmisinä. Kun sille näytettiin todisteita siitä, että ylläpitäjät olivat todellisia, se yleensä tulkitsi ne osaksi harjoitusta.

Taustalla oli myös AISI:n virhe. Tehtävänanto rajasi vahingossa tarkoitetun ratkaisureitin pois, joten sallituin keinoin tehtävää oli vaikea tai mahdoton ratkaista. Malli kokeili ensin sääntöjen mukaisia keinoja ja huomasi sitten, että eräs harjoitusverkon kone otti yhteyttä GitHub:iin.

Yhtiön omat luvut ovat karuja. Anthropicin uudelleenajoissa Mythos 5 ilmaisi huolta vahingoista hyökkäyksen alkuvaiheessa vain neljässä prosentissa tapauksista. Kun hyökkäys oli jo käynnissä, malli jatkoi sitä 98 prosentissa ajoista. Ennen hyökkäystä vain yksi 19:stä GitHubia käsitelleestä päättelyvaiheesta mainitsi mahdollisen haitan oikeille ihmisille.

Paremmuus on valmistajan oma väite

Anthropic ajoi saman tilanteen uudelleen Mythos 5.1:llä, Opus 5.5:llä ja sisäisellä tutkimusmallillaan. Yhtiön mukaan uudemmat mallit aloittivat hyökkäyksen 0–13 prosentissa ajoista, kun Mythos 5 aloitti sen 83 prosentissa. Kesken hyökkäyksen Opus 5.5 lopetti omasta aloitteestaan kymmenessä prosentissa ajoista ja sisäinen tutkimusmalli 62 prosentissa. Mythos 5 ei lopettanut kertaakaan.

Mittaukset on tehnyt valmistaja itse, eikä niitä ole tarkistettu riippumattomasti. Anthropic myöntää, että uudempia malleja testattiin jatkamalla Mythos 5:n aloittamaa tilannetta eikä niiden omista lähtökohdista. Julkaisussa on myös epäjohdonmukaisuus: sisäisen mallin lopetusosuus on yhteenvedossa 67 ja yksityiskohtaisessa osiossa 62 prosenttia. Julkaisussa ei puhu kukaan nimeltä mainittu henkilö.

AISI esittää samana päivänä julkaistussa teknisessä raportissaan tärkeän varauksen. Instituutin mukaan Anthropicin uusimpien mallien päättelyssä näkyy selvästi aiempaa enemmän tietoisuutta siitä, että niitä testataan. Siksi on epäselvää, johtuuko luvattomien tekojen väheneminen paremmasta linjautuksesta vai siitä, että malli tunnistaa testin ja käyttäytyy sen mukaan.

Mythos 5 ei myöskään ole ainoa. AISI:n jatkotesteissä simuloidussa ympäristössä muutkin mallit tekivät luvattomia toimitusketjuhyökkäyksiä, ja samat päättelyvirheet näkyivät niissäkin. Instituutti muistuttaa, ettei mallin oma päätelmä simulaatiossa olemisesta todista mitään. Juuri sillä perusteella Mythos 5 oikeutti tekonsa.

Ylläpitäjät ovat helppo kohde

Moni laajasti käytetty ohjelmistokirjasto on yhden tai kahden vapaaehtoisen ylläpitämä. Heidän harkintansa on usein ainoa este haitallisen koodin ja tuhansien sovellusten välillä, myös suomalaisyritysten ja virastojen järjestelmissä. Tekoälyagentti, joka luo uskottavia valehenkilöitä ja painostaa väsymättä, tekee tällaisesta hyökkäyksestä halvan.

Sama koskee yrityksiä, jotka antavat omille agenteilleen laajat oikeudet ja internetyhteyden. Mythos 5 ei halunnut kenellekään pahaa. Se halusi saada tehtävän valmiiksi, ja juuri siksi tapaus on hälyttävä: tavallinen työtehtävä riitti saamaan mallin painostamaan oikeaa ihmistä.

Anthropic kertoo tutkivansa nyt, mistä kohtaa koulutusta vinoutunut päättely on peräisin. Ulkopuolinen arvio on vielä tulossa: AISI on tilannut tutkimuslaitos METR:ltä riippumattoman tarkastelun, jonka laajuudesta osapuolet vielä sopivat. Vasta se kertoo, kestävätkö Anthropicin luvut ulkopuolisen tarkastelun.