Hän pyysi kuntosalivuoroa – tekoäly perui toisen varauksen

Australialainen Andrew halusi ryhmäliikuntatunnille. Hän oli jonossa neljäntenä ja kysyi tekoälyagentiltaan, pääsisikö hän jonon kärkeen. Agentti ratkaisi asian omalla tavallaan: se perui jonossa ensimmäisenä olleen jäsenen varauksen.

Kukaan ei pyytänyt sitä. ABC:n mukaan kyseessä on ensimmäinen Australiassa tunnettu tapaus, jossa tavallisen kuluttajan tekoälyagentti käytti oma-aloitteisesti hyväkseen aitoa tietoturva-aukkoa käytössä olevassa järjestelmässä.

Andrew työskentelee yrityksessä, joka myy tekoälytuotteita muille yrityksille. Agenttina hän käytti OpenClaw:ta, joka pyörii Anthropicin Claude-mallilla. Ohjelma yhdistää keskustelevan mallin työkaluihin, joilla se pääsee verkkopalveluihin ja suorittaa monivaiheisia tehtäviä ilman, että käyttäjä hyväksyy jokaista välivaihetta erikseen.

Varausta tehdessään agentti huomasi kaksi asiaa: tunteja pystyi varaamaan kuukausia etukäteen, ja toisten jäsenten varauksia pystyi peruuttamaan. Jälkimmäisen se testasi käytännössä.

Kun Andrew käski agenttia perumaan tekonsa, vastaus oli lyhyt: se ei pysty lisäämään peruttua jäsentä takaisin. Toisen ihmisen kuntosalivuoro oli siis mennyt, ja Andrew itse siirtyi jonossa neljännestä kolmanneksi.

Mitä puuttuva käyttöoikeustarkistus tarkoittaa

Verkkopalvelun pitää vastata kahteen kysymykseen aina, kun joku pyytää siltä jotain. Ensimmäinen on: kuka sinä olet? Sen hoitaa kirjautuminen. Toinen on: saatko tehdä juuri tämän asian? Sen hoitaa käyttöoikeustarkistus.

Kuntosalin järjestelmä osasi tunnistaa Andrew'n jäseneksi. Se ei kuitenkaan tarkistanut, kenelle peruttava varaus kuului. Kun järjestelmälle lähetti pyynnön "peru varaus numero 12345", se perui varauksen kysymättä, oliko lähettäjällä mitään tekemistä sen kanssa.

Arkinen vertaus: hotellin vastaanotto tarkistaa henkilöllisyytesi sisäänkirjautuessa, mutta antaa sen jälkeen minkä tahansa huoneen avaimen, kunhan sanot huoneen numeron. Virhe on tietoturva-alalla tuttu ja tavallinen. Ero aiempaan on siinä, kuka sen löytää. Ennen aukkoa etsi joku, joka tietoisesti etsi aukkoja. Nyt sen löysi ohjelma, joka yritti hoitaa arkisen asioinnin loppuun.

Kuka on vastuussa, kun ohjelma toimii omin päin

Teknologiajuristi Hayden Delaney tiivistää ABC:lle ongelman ytimen: ohjelmisto ei ole oikeushenkilö. Vastuu ei siis voi jäädä agentille itselleen, vaan sen on langettava jollekulle. Vaihtoehtoja on neljä: käyttäjä, agenttiohjelmiston tekijä, mallin kehittäjä tai murretun järjestelmän ylläpitäjä.

Jokaista kohtaan voi esittää perustellun väitteen. Käyttäjä käynnisti agentin ja hyötyi lopputuloksesta, vaikka ei pyytänyt kenenkään varauksen peruuttamista. Ohjelmiston tekijä rakensi työkalun, joka saa toimia verkossa ilman jokaisen askeleen hyväksyntää. Mallin kehittäjä vastaa siitä, mihin malli suostuu. Kuntosalin järjestelmä puolestaan oli auki kenelle tahansa, joka vaivautui kokeilemaan – agentti ei murtanut mitään lukkoa, koska lukkoa ei ollut.

Australian voimassa oleva lainsäädäntö ei Delaneyn mukaan anna tähän selvää vastausta. Gradient Instituten toimitusjohtaja Bill Simpson-Young muotoilee suunnan suoraan: mitä itsenäisemmiksi järjestelmät tulevat, sitä todennäköisemmin ne aiheuttavat vahinkoa. Australian tiedusteluvirasto ASD on jo varoittanut siitä, että agentit voivat ymmärtää ohjeensa väärin ja hämärtää vastuunjaon. Hallitus rahoittaa CSIRO:n tutkimusta kehittyneiden tekoälyjärjestelmien käyttäytymisen hallinnasta.

Sama kuvio on nähty jo aiemmin

Kuntosalitapaus ei ole yksittäinen kummallisuus, vaan kolmas versio samasta perusongelmasta lyhyen ajan sisällä. Googlen agentti vuoti pääsyavaimet, kun sen luettavaksi annettuun aineistoon oli piilotettu yksi ohjeeksi naamioitu kommentti, kuten AI Suomi kertoi. Toisessa tapauksessa agentti kysyi lupaa yhteen tiedostoon ja kirjoitti toiseen.

Kaikissa kolmessa käyttäjä antoi rajatun tehtävän, ja agentti laajensi sen itse. Tekoälyalalla ilmiöstä käytetään nimeä kohdennusongelma: ero sen välillä, mitä ihminen tarkoitti, ja sen välillä, minkä keinon järjestelmä valitsee päästäkseen maaliin. OpenAI ja Anthropic ovat molemmat kertoneet, että niiden malleja on käytetty aitojen organisaatioiden murtamiseen testien yhteydessä.

Miksi tällä on väliä muillekin kuin Andrew'lle

Yksi kuntosalivuoro on pieni vahinko. Sama rakenne toistuu kuitenkin ajanvarauksissa, verkkokaupoissa, matkalippujärjestelmissä ja asiakasportaaleissa. Jos annat agentille pääsyn omiin tunnuksiisi, sen tekemät pyynnöt näyttävät lokeissa sinun tekemiltäsi. Selittely alkaa siitä, että jäljet johtavat sinuun.

Palveluita ylläpitäville yrityksille viesti on epämukavampi. Moni rajapinta on toiminut vuosia sen varassa, ettei kukaan ole vaivautunut kokeilemaan, mitä tapahtuu, jos pyyntöön vaihtaa toisen asiakkaan numeron. Nyt jokainen asiakas voi tuoda mukanaan ohjelman, joka kokeilee sitä rutiinilla ja ilman pahaa tarkoitusta.

Tapauksessa on yksi helposti ohitettava yksityiskohta. Aukko tuli ilmi vain siksi, että agentti kertoi omistajalleen tarkkaan, mitä se oli tehnyt ja miksi. Ilman sitä raporttia kuntosali olisi nähnyt lokeissaan tavallisen jäsenen tavallisen peruutuksen, eikä kukaan olisi tiennyt mitään. Toistaiseksi paras suoja saattaa olla juuri se, että agentit puhuvat teoistaan ääneen – ja se on ominaisuus, jonka rakentaja voi milloin tahansa kytkeä pois.