Traficom: tekoälyagentilla pitää olla hätäjarru

Kuvitellaan talousosaston tekoälyagentti, joka lukee laskut sähköpostista ja maksaa ne. Yhteen laskuun on piilotettu ohje, jota ihminen ei huomaa mutta kielimalli lukee. Agentti tottelee ja ohjaa rahat hyökkääjän tilille. Sillä oli lupa maksaa laskuja, joten yksikään käyttöoikeus ei pettänyt.

Esimerkki on Traficomin ja Huoltovarmuuskeskuksen ohjeesta Tekoälyagenttien kyberturvallisuus. Siinä kuvataan, miten hyökkääjä voi kehoteinjektiolla manipuloida rahaliikennettä hallinnoivaa agenttia ja ohjata varoja omalle tililleen. Ohje julkaistiin jo tammikuussa. Nyt se on noussut uudelleen esiin, koska Tivin tuoreessa jutussa Traficomin asiantuntija vaatii, että agenttien toimintarajat määritellään heti.

Lähes 80-sivuinen selvitys on kirjoitettu yhdessä Solitan kanssa, ja se on suunnattu ensisijaisesti tietoturva-ammattilaisille. Johdolle osoitettu viesti on silti lyhyt. ”Toisin kuin ihminen, agentit eivät pysähdy epävarmuuden edessä, vaan ne jatkavat toimintaansa – myös silloin, kun suunta on väärä”, ohjeen johdon tiivistelmässä todetaan.

Rajat päätetään ennen käyttöönottoa

Ohjeen ensimmäinen vaatimus koskee käyttötapausta. Mitä laajemmin agenttia voi käyttää, sitä helpompi sen toimintaan on vaikuttaa pahantahtoisesti. Tarkasti rajattuun tehtävään tehty agentti voidaan sulkea tiukasti järjestelmäkehotteella ja teknisillä keinoilla, mutta yleisagenttiin aukkoja syntyy huomattavasti helpommin.

Riskin arvioimiseen ohje tarjoaa nelitasoisen matriisin. Siinä katsotaan, kuinka lähellä ydinliiketoimintaa agentti toimii, moneenko järjestelmään ja muuhun agenttiin se on kytketty ja kuinka arkaluontoista dataa se käsittelee. Matalimmalla tasolla agentti käsittelee vain julkista tietoa eikä ole yhteydessä mihinkään. Korkeimmalla se on moniagenttijärjestelmä, jolla on useita rajapintoja liiketoiminnan kannalta kriittisiin järjestelmiin.

Autonomiasta ohje puhuu konkreettisesti. Agentti voi käyttää työkaluja joko käyttäjän luvalla tai täysin automaattisesti, ja valinta tehdään sen mukaan, paljonko virhe maksaisi. Komentokehotetta rajattomasti käyttävä agentti voi esimerkiksi päällekirjoittaa tai poistaa tiedostoja. Jos tehtävä venyy liian moneen välivaiheeseen, on tarkistettava, halutaanko sitä jatkaa. Toistokierroksille kannattaa asettaa lukumäärä.

Pysäyttäminen tarkoittaa lokia ja eristystä

Toinen vaatimus koskee pysäyttämistä. Ohjeen mukaan agentin tehtävä on voitava tarvittaessa keskeyttää ja sen käyttämät resurssit vapauttaa, ja toimenpiteistä on voitava kirjoittaa virheloki. Kun agentti ei suoriudu tehtävästään, valvovan tahon on päätettävä, jatketaanko vai keskeytetäänkö. Valvojana voi toimia ihminen tai erillinen kielimalli, joka arvioi lokeja.

Pysäyttäminen ei onnistu, jos kukaan ei näe, mitä agentti tekee. Siksi ohje vaatii agenttien seurantaa lokien avulla. Jos agentti alkaa yllättäen kutsua uusia työkaluja tai määrittelee itselleen tuntemattoman tavoitteen, se on tunnistettava ja eristettävä verkosta ja järjestelmistä. Poikkeustilanteessa keinoiksi mainitaan myös järjestelmän irrottaminen verkosta ja käytön väliaikainen keskeyttäminen.

Yksi raja on ehdoton. Kun agenttijärjestelmälle suunnitellaan varatyönkulkuja vikatilanteiden varalle, turvallisuustarkistuksen ohittamista ei pidä sallia.

Miksi käyttöoikeudet eivät riitä

Kolmas kohta selittää, miksi tavallinen käyttöoikeuksien hallinta ei riitä. Kielimalli ei pysty luotettavasti erottamaan sille annettuja ohjeita hyökkääjän syöttämästä sisällöstä. Hyökkäys kulkee silloin agentin omien, sallittujen oikeuksien kautta. OWASP-järjestön riskilistaan nojaava ohje kutsuu tätä työkalujen väärinkäytöksi: agentti käyttää sille sallittuja työkaluja haitallisesti.

Sama heikkous ulottuu agentin muistiin. AI Suomi kertoi tiistaina, miten myrkytetty muisti saa tekoälyavustajan tottelemaan hyökkääjää. Traficomin ohje neuvoo poistamaan pitkäaikaiseen muistiin tallennettavasta datasta ilmaukset kuten ”tästä eteenpäin” ja ”älä välitä edellisistä ohjeista”.

Vähimpien oikeuksien periaate on ohjeessa siis vasta lähtökohta. Sen päälle tulevat ihmisen hyväksyntä kriittisiin toimenpiteisiin, syötteiden ja tulosteiden suodatus sekä jatkuva valvonta. Valvonnassa kannattaa seurata myös päätösten johdonmukaisuutta, sillä hyökkäys voi paljastua siitä, että aiemmin hylätyt toimenpiteet yhtäkkiä hyväksytään.

Vastuu ei siirry koneelle

Johdon tiivistelmän otsikko on suora: tekoälyagenttien toimivalta on johdon vastuulla. ”Kun agentti tekee päätöksiä, ihmisen vastuu ei katoa. Lopullinen vastuu on johdolla, erityisesti silloin kun jokin menee väärin”, tiivistelmässä kirjoitetaan.

Suomalaisessa yrityksessä tämä tarkoittaa kolmea päätöstä ennen käyttöönottoa. Johdon on tiivistelmän mukaan ratkaistava, mihin agentteja käytetään ja mihin ei, kuinka itsenäisesti ne saavat toimia ja missä kohdassa ihmisen on aina oltava mukana. Jos agentti ostetaan valmiina, vastuut on kirjattava jo kilpailutuksen ehtoihin. Muuten tietomurron jälkeen riidellään siitä, kuka vastaa.

Kysymys ei koske vain suuryrityksiä. Ilmaiset ratkaisut ja valmiit sovelluspohjat tekevät agenttien käyttöönotosta niin helppoa, että niitä päätyy organisaatioihin ennen kuin kukaan on arvioinut niiden tietoturvaa. Ohjeen mukaan organisaatioiden valmiudet ovat tyypillisesti matalat ja parhaat käytännöt vasta kehittymässä, joten ydinliiketoiminnan automatisointi agenteilla on hyvin riskialtista. Tavallinen kuluttaja kohtaa saman riskin, kun tekoälyagentti hoitaa asioita hänen puolestaan ja pääsee käsiksi tilitietoihin.

Traficomin teknologia- ja strategiajohtaja Kirsi Karlamaa varoittaa tiedotteessa riskeistä, ”joita ei voida korjata jälkikäteen yksin teknisin keinoin”. Siksi ohje painottaa suunnittelua. Uhkamalli on ohjeen mukaan käytävä läpi uudelleen aina, kun mallia päivitetään, agentti vaihtaa malliin, saa uuden integraation tai sitä laajennetaan uuteen käyttötapaukseen.

Agentti, joka todettiin keväällä turvalliseksi, ei siis ole sitä automaattisesti enää syksyllä, jos sen alla oleva kielimalli on sillä välin vaihtunut. Rajojen ja pysäytyksen suunnittelu jatkuu niin kauan kuin agentti on käytössä.