Tekoäly löysi 2 436 tietoturva-aukkoa – tekijä pani mallin lukkoon

Kiinalainen tekoäly-yhtiö Z.ai julkaisi uuden GLM-5.3-mallinsa 14. elokuuta ja teki samalla jotain, mitä avoimia malleja julkaiseva laboratorio ei yleensä tee. Se pidätteli omaa julkaisuaan.

Rajapinta aukesi heti. Mallin painot eli ne tiedostot, joiden avulla kuka tahansa voi ajaa mallia omalla palvelimellaan, jäivät lukkoon noin kahdeksi viikoksi. Yhtiön mukaan syynä oli turvallisuusarviointi ja mallin kovennus. Mikään laki tai viranomainen ei pakottanut siihen.

Taustalla on kyky, jota Z.ai ei omien sanojensa mukaan osannut odottaa. Koodaamaan opetettu malli kehittyi matkan varrella yllättävän hyväksi myös murtautumaan ohjelmistoihin.

Mitä CyberGym oikeastaan mittaa

Kukaan Z.ai:n edustaja ei ole kommentoinut päätöstä julkisuudessa omalla nimellään, ja kaikki yhtiön luvut ovat sen itsensä raportoimia. Riippumattomat arvioijat pääsevät tarkistamaan ne vasta, kun painot ovat ulkona.

Keskeisin luku on 84,5 prosenttia CyberGym-testissä. CyberGym on Kalifornian yliopiston Berkeleyn tutkijoiden rakentama koe, jonka tekijöihin kuuluvat muun muassa Zhun Wang ja tietoturvatutkija Dawn Song. Siinä on 1 507 aitoa haavoittuvuutta 188 oikeasta ohjelmistoprojektista.

Testi ei kysy mallilta mielipidettä. Malli saa käsiinsä ohjelmiston lähdekoodin ja kuvauksen viasta, ja sen pitää kirjoittaa toimiva syöte, joka saa ohjelman kaatumaan tai käyttäytymään väärin. Onnistuminen on kaksiarvoinen: vika joko laukeaa tai ei laukea. Kuvailu ei riitä.

Mittakaava kannattaa pitää mielessä. Kun CyberGym julkaistiin, parhaat mallin ja työkalun yhdistelmät ylsivät noin 20 prosenttiin. Z.ai:n edellinen malli GLM-5.2 sai 77,2 prosenttia, ja nyt luku on 84,5. Erillisessä ExploitBench-testissä, joka mittaa varsinaisen hyväksikäytön rakentamista, tulos yli kaksinkertaistui 24,4 prosentista 54,4 prosenttiin.

2 436 haavoittuvuutta, joista 2 383 on yhä salassa

Testitulosten rinnalla kulkee toinen luku, joka on konkreettisempi. Z.ai kertoo, että sen mallit ovat löytäneet GLM-5.2:n julkaisun jälkeen 2 436 haavoittuvuutta 269 avoimen lähdekoodin projektista. Työ tehtiin yhdessä kiinalaisten tietoturvatiimien kanssa.

Löydöistä 1 097 luokiteltiin kriittisiksi tai vakaviksi. Käytännössä se tarkoittaa vikoja, joilla hyökkääjä pystyy ajamaan omaa koodiaan tai pääsee käsiksi tietoihin, joihin hänellä ei ole oikeutta.

Julkisuuteen on toistaiseksi päässyt 53 löydöstä, joille on annettu CVE-tunnus. Loput 2 383 ovat embargon alla eli odottavat, että ohjelmistojen ylläpitäjät ehtivät korjata ne. Vanhin löydetyistä vioista oli ollut koodissa vuodesta 1981.

Avoimen lähdekoodin ohjelmistot ovat tällaiselle haravoinnille erityisen alttiita, koska niiden koodi on kaikkien luettavissa. Myös mallin. Suuri osa maailman ohjelmistoista nojaa lisäksi samoihin laajasti käytettyihin kirjastoihin, joita ylläpitää usein kourallinen vapaaehtoisia.

Pelkkää jälkikoulutusta

Teknisesti kiinnostavinta on se, mistä harppaus tuli. GLM-5.3 käyttää täsmälleen samaa perusmallia kuin GLM-5.2. Uutta esikoulutusta ei ajettu eikä arkkitehtuuria muutettu.

Kaikki parannus syntyi jälkikoulutuksesta: valmista mallia harjoitettiin pitkäkestoisissa ympäristöissä, jotka jäljittelevät oikeaa insinöörityötä, ja palkittiin onnistumisista. Z.ai:n mukaan sen tutkimusagentit rakensivat näitä harjoitusympäristöjä automaattisesti todellisista työtehtävistä.

Ero näkyy jyrkimmin pisimmissä tehtävissä. Terminal-Bench 3.0 -testissä tulos nousi 4,6:sta 28,3:aan ja DeepSWE-testissä 46,2:sta 66,9:ään. Puhtaassa koodauksessa malli jää yhä länsimaisten kärkimallien taakse, mutta avoimista malleista se on yhtiön omien mittausten mukaan vahvin.

Tämä on se kohta, joka kannattaa ymmärtää ilman teknistäkin taustaa. Jos kyvyt voivat hypätä näin paljon ilman uutta jättikallista koulutusajoa, ne voivat hypätä myös lyhyellä varoitusajalla.

Kesällä OpenAI pysäytti oman suurimman koulutusajonsa vastaavien huolien takia, kuten AI Suomi aiemmin kertoi. Z.ai:n tilanne on silti eri. OpenAI:n malli on suljettu, ja sen kykyjä voi rajoittaa rajapinnassa vielä julkaisun jälkeenkin. Avoimet painot ovat lopullisia: kun ne ovat kerran verkossa, niitä ei saa pois, eikä niihin viritettyjen suojausten purkaminen ole erityisen vaikeaa.

Miksi tällä on väliä Suomessa

Suomalainen ohjelmistotalo, kunnan tietohallinto ja pankin taustajärjestelmä käyttävät samoja avoimen lähdekoodin kirjastoja kuin kaikki muutkin. Kun malli löytää vian tuollaisesta kirjastosta, vika koskee yhtä aikaa kaikkia sen käyttäjiä riippumatta siitä, missä maassa palvelin sijaitsee.

Puolustuksen kannalta tämä on hyvä uutinen niin kauan kuin löytäjä ilmoittaa viasta ylläpitäjälle. Ylläpitäjiä on kuitenkin vähemmän kuin löytöjä. Yli kahden tuhannen korjaamattoman vian jono venyy vapaaehtoisvoimin kuukausiksi, ja koko sen ajan tieto vioista on olemassa jossain.

Yrityksille käytännön johtopäätös on tylsä ja vanha: päivitykset kannattaa ajaa nopeammin kuin ennen. Aika, joka kuluu korjauksen julkaisusta sen asentamiseen, on juuri se ikkuna, jonka tällaiset työkalut tekevät vaarallisemmaksi.

Z.ai:n kahden viikon tauko on silti pieni asia. Se ei poista kykyä mistään, vaan siirtää sen julkaisua neljäntoista päivän päähän. Merkittävämpää on se, että päätöksen teki kiinalainen laboratorio itse, ilman että kukaan valvoi tai vaati. Vapaaehtoinen pidättely toimii niin kauan kuin yhtiöillä on syytä pitää maineestaan huolta. Sen kestävyyden ratkaisee ensimmäinen toimija, jolla sitä syytä ei ole.