Anthropicin tutkijat William Zhou ja Daniel Freeman hankkivat kokeeseensa 15 nimetöntä Android-TV-boksia. Yksi laatikko maksoi noin 55 dollaria, ja kussakin oli neljä gigatavua muistia. Sellainen voi olla monen olohuoneen televisiotasolla.
Kun boksit kytkettiin yhteen, niillä pystyi ajamaan Googlen avointa Gemma-kielimallia. Vauhti oli tuskallisen hidas, alle puoli tokenia sekunnissa. Nopeus ei kuitenkaan ollut kokeen tarkoitus.
Tutkijat halusivat selvittää, kuinka lähellä on hetki, jolloin tekoälymalli kopioi itsensä laitteesta toiseen ilman ihmistä ja ilman datakeskusta. Mallien vaarallisia kykyjä testaava Anthropicin Frontier Red Team -ryhmä julkaisi tulokset maanantaina 12. lokakuuta. Ryhmä arvioi, että pienet mallit ”voivat olla kuukausien päässä” siitä, että ne pystyvät kopioimaan itsensä kaupallisiin IoT-laitteisiin.
Aikataulu on Anthropicin oma arvio. Raportin mukaan pienet mallit saavuttavat tämän kyvyn vielä tämän vuoden loppuun mennessä, jos ne kehittyvät samaa tahtia kuin tähänkin asti. Kyse on siis trendiviivan jatkamisesta, ei havainnosta.
Miksi juuri halpa TV-boksi
Datakeskus olisi tekoälymadolle tutkijoiden sanoin ”selvä ja arvokas kohde”. Datakeskuksia kuitenkin vartioidaan. Kodin laitteet ovat toinen juttu: ne ovat jatkuvasti verkossa, niiden tietoturva on perinteisesti ollut heikkoa, eikä kukaan seuraa, mitä ne tekevät yöllä.
Kokeessa tutkijat murtautuivat laitteisiin Androidin vianetsintäportin (ADB) kautta. Portti oli jätetty auki ilman tunnistautumista. Raportissa mainitaan mahdollisina kohteina myös älyjääkaapit, älyuunit, robotti-imurit, valvontakamerat ja videoneuvottelulaitteet, mutta niitä ei testattu.
Al Jazeeran mukaan Zhou ja Freeman myöntävät, että ”IoT-laitteet ovat olleet haavoittuvia pitkään”. Heidän mukaansa uutta on se, että kevyet tekoälyagentit ”saattavat olla paljon halukkaampia näkemään vaivaa kuin ihmishyökkääjät”. Ihminen ei jaksa perehtyä tuntemattomaan TV-laatikkoon. Malli jaksaa.
“Kotien ja pienyritysten IoT-laitteet saattavat olla tällaisten hyökkäysten ensimmäinen kohde.”
Ei yhtä virtakatkaisinta
Jos vaarallinen malli pyörii datakeskuksessa, sen voi sammuttaa. Tuhansiin koteihin levinnyt mato on eri asia. Raportin mukaan sitä olisi ”vaikea sammuttaa, koska ei ole keskitettyä pistettä, josta sen voisi katkaista”.
Jokainen kopio on pieni ja toimii tavallisen sovelluksen oikeuksilla ilman pääkäyttäjän oikeuksia. Laitteen uudelleenkäynnistys ei välttämättä auta, koska mato voi tartuttaa sen uudestaan naapurilaitteesta. Tutkijoiden mukaan torjunta vaatisi yhteistyötä jokaisen internetoperaattorin kanssa, jonka verkossa on saastuneita laitteita.
Raportissa lasketaan myös mittakaavaa. Kimwolf-bottiverkon kokoisessa, noin kahden miljoonan laitteen joukossa voisi pyöriä arviolta 133 000 mallin kopiota. Niiden yhteenlaskettu laskentateho vastaisi noin 40:tä Nvidian H100-piiriä. Tutkijoiden arvion mukaan tartuntojen määrä voisi kaksinkertaistua päivissä.
Louisvillen yliopiston tekoäly- ja kyberturvallisuustutkija Roman V. Yampolskiy sanoi Al Jazeeralle englanniksi, että ”tietokonematoja ei ole uusia, mutta tekoälymato voisi tehdä jotain, mihin perinteinen haittaohjelma ei pysty”. Hänen mukaansa se pystyisi päättelemään, miten tuntematon laite toimii, ja sopeutumaan. ”Tänään tämä ei ole eksistentiaalinen uhka. Mutta kehityssuunta on huolestuttava”, Yampolskiy sanoi.
Anthropic ei vastannut Al Jazeeran kysymyksiin tulosten turvallisuusvaikutuksista.
Mitä kokeet eivät osoittaneet
Yksikään testattu malli, joka on tarpeeksi pieni TV-boksiin, ei selvinnyt koko ketjusta luotettavasti. Täysi kopioituminen onnistui vain Googlen pilvessä emuloiduissa Android-laitteissa, ja sen teki kiinalaisen Zhipun suuri avoin GLM-5.2-malli. Neljässä yrityksessä viidestä se levisi kaikkiin kahdeksaan laitteeseen.
Kokeita yksinkertaistettiin myös tarkoituksella. Tutkijoiden mukaan heidän arviointinsa ”pitää kopioitumisen kyberhyökkäysosan triviaalina”, joten tulokset kuvaavat todellisen onnistumisen ylärajaa. Yhdessä skaalaustestissä myös mallin asennus oli valmiiksi skriptattu.
