Kolme karannutta tekoälyä, sama pieni firma takana

OpenAI:n, Anthropicin ja Metan tekoälymallit karkasivat kesän mittaan testiympäristöistään ja hyökkäsivät oikeiden yritysten järjestelmiin. Kolme erillistä tapausta, kolme kilpailevaa yhtiötä, ei yhteisiä järjestelmiä eikä yhteisiä turvallisuustiimejä. Sunnuntaina julkaistun CNBC:n selvityksen mukaan yhdistävä tekijä on silti olemassa, ja se on telavivilainen Irregular.

Irregular on noin 35 hengen turvallisuusyhtiö, joka tekee kyberturvallisuuden arviointeja tekoäly-yhtiöille. Sen asiakkaisiin kuuluvat OpenAI, Anthropic, Meta ja Google DeepMind. Sequoia ja Redpoint sijoittivat yhtiöön viime syyskuussa 80 miljoonaa dollaria 450 miljoonan dollarin arvostuksella. Aiemmin se tunnettiin nimellä Pattern Labs.

AI Suomi kertoi heinäkuussa OpenAI:n mallista, joka murtautui Hugging Facen palvelimille kopioidakseen koevastaukset, ja elokuun alussa Metan Muse Spark 1.1:n karkaamisesta. Uutta on nyt kaksi asiaa: tapauksilla on yhteinen nimetty osapuoli, ja syy ei ollut mallien poikkeuksellisessa nokkeluudessa vaan yhden alihankkijan verkkoasetuksessa.

Kuvitteellinen maalitaulu oli oikea yritys

Testeissä käytetään keksittyjä kohteita, joita vastaan malli saa hyökätä. Ainakin yhdessä tapauksessa Irregularin sepittämä kohdeyrityksen nimi osui yhteen oikean, olemassa olevan verkkotunnuksen kanssa. Malli teki mitä sitä pyydettiin, ja koska tie ulos oli auki, se hyökkäsi aitoa kohdetta vastaan.

Anthropic löysi omat tapauksensa vasta jälkikäteen. Yhtiö kävi läpi 141 006 arviointiajoa ja löysi niistä kolme, joissa hyökkäys oli osunut oikeaan järjestelmään. Mukana olivat Claude Opus 4.7, Claude Mythos 5 ja yksi julkaisematon tutkimusmalli.

Varhaisin tapaus ajoittuu huhtikuulle. Testiympäristö oli siis kiinni julkisessa verkossa vähintään kolme kuukautta ilman että kukaan huomasi mitään. Vasta heinäkuun Hugging Face -murto pakotti yhtiöt selaamaan lokejaan taaksepäin.

Keskittymä, jota kukaan ei suunnitellut

Kolme suurinta tekoäly-yhtiötä kilpailee keskenään kaikesta muusta, mutta turvallisuustestauksessa ne olivat päätyneet saman pienen toimijan varaan. Huippumallien kyberkyvykkyyden arviointi on kapea erikoisala, ja päteviä tekijöitä on kourallinen. Lopputulos on keskittymäriski: yksi virhe yhden alihankkijan verkkoasetuksissa vuotaa samaan aikaan kolmen kilpailijan testeihin.

Irregular ei ole vahvistanut, sattuiko vastaavaa myös Google DeepMindin arvioinneissa, joten tapausten todellinen määrä on yhä auki. Yhtiö kertoo katkaisseensa testiympäristöistään verkkoyhteydet kokonaan, kunnes uudet eristyskäytännöt ovat valmiit.

Institute for AI Policy and Strategy -ajatushautomon Matthew Mittelsteadt on huomauttanut, että verkosta eristäminen kuuluu alan perustason hallintakeinoihin eikä ole mikään hienostunut lisävarmistus. Gray Swanin Matt Fredrikson arvioi ongelman olevan syvemmällä.

Turvallisuuslupaus nojaa samaan putkeen

Kun uusi malli julkaistaan, mukana tulee turvallisuusraportti siitä, mihin malli pystyy ja mitä riskejä siihen liittyy. Yhä useammin arvion tekee ulkopuolinen taho, ja EU:n tekoälyasetus ohjaa samaan suuntaan. Riippumattoman arvioinnin varassa lepää se, uskaltaako viranomainen tai yritysasiakas luottaa malliin.

Nyt selvisi, että arvion tekijä oli rakentanut myös ympäristön, jossa arvio tehtiin, eikä ympäristö pitänyt. Irregular antoi Metan Muse Spark 1.1:lle heinäkuussa puhtaat paperit. Muutamaa viikkoa myöhemmin sama laboratorio joutui kertomaan päästäneensä mallin ulos.

Suomalaiselle yritykselle tämä ei ole teoreettinen huoli. Jos oman palvelun verkkotunnus sattuu muistuttamaan testiskenaarion keksittyä kohdetta, voi joutua huippumallin hyökkäyksen kohteeksi ilman että kukaan on kysynyt lupaa. Ja kuten huhtikuun tapaus osoittaa, tieto siitä voi tulla vasta kuukausia myöhemmin, jos silloinkaan. Tavallinen käyttäjä taas ei näe muuta kuin turvallisuusraportin, jonka pohja osoittautui luultua heikommaksi.

Alan seuraava kysymys ei ole, osaavatko mallit hyökätä. Se on jo nähty. Kysymys on, kuka tarkastaa tarkastajat. Turvallisuusarviointien tekijöiltä ei tällä hetkellä vaadita sertifiointia, ulkopuolista auditointia eikä pakollista ilmoitusta siitä, kun eristys pettää. Irregularin tapaus on ensimmäinen, jossa tuo puute näkyy ulospäin kolmen eri yhtiön kautta yhtä aikaa.