Jos ylläpidät pientä suomalaista verkkosivustoa, palvelimesi lokissa on todennäköisesti rivejä, joissa vierailija esittelee itsensä ClaudeBotina. Useimmiten se on totta. Heinä- ja elokuussa se ei aina ollut.
Tietoturvayhtiö GreyNoise kertoi 28. elokuuta julkaisemassaan raportissa havainneensa 824 IP-osoitetta, jotka esiintyivät tunnettujen tekoälyrobottien niminä ja skannasivat sivustoja 28. heinäkuuta ja 23. elokuuta välisenä aikana. Osoitteet jakautuivat 795 eri verkkolohkoon, eli käytännössä lähes jokainen osoite tuli omasta lohkostaan. Vilkkain päivä oli jakson viimeinen.
Väärennettyjä robotinnimiä oli kuusi. Mukana olivat Anthropicin ClaudeBot, OpenAI:n GPTBot ja Googlen Google-Extended sekä Perplexityn indeksoija. Liikenteessä esiintyi myös kaksi Amazonin robotinnimeä, näitä vielä suuremmalla volyymilla, eikä kumpikaan vastannut tunnistetta, jonka Amazon omassa dokumentaatiossaan julkaisee. Kaikki kuusi nimeä tulivat saman HTTP-sormenjäljen takaa.
Pyyntöjen sisältö ei jätä tulkinnanvaraa. Skannerit hakivat .env-tiedostoja ja niiden muunnelmia .env.local, .env.production, .env.bak ja .env.swp, polkua /.aws/credentials, tiedostoa /.git/config sekä yksityisavaimia ja salasanavarastoja. Tällaisia pyyntöjä kertyi tämän yhden sormenjäljen alla GreyNoisen mukaan miljoonia.
“Aito indeksointirobotti lukee ensin /robots.txt-tiedoston, jossa sivusto kertoo sääntönsä. Näiden kuuden väärennetyn nimen alla tuota tiedostoa ei pyydetty kertaakaan.”
Robots.txt on se, mitä väärentäjä ei muistanut hakea
Robots.txt on tavallinen tekstitiedosto sivuston juuressa, esimerkiksi osoitteessa omasivusto.fi/robots.txt. Siinä sivuston pitäjä kertoo, mihin osiin automaattiset robotit saavat mennä ja mihin eivät. Tiedosto ei estä ketään teknisesti. Se on sopimus, jota kunnolliset indeksoijat noudattavat, ja juuri siksi ne myös hakevat sen ensimmäisenä.
GreyNoisen aineistossa aito ClaudeBot haki /robots.txt-tiedostoa useammin kuin mitään muuta yksittäistä polkua. Osuus oli 12 prosenttia sen koko liikenteestä. Anthropic kertoo omalla tukisivullaan, että sen robotit noudattavat robots.txt-direktiivejä eivätkä yritä kiertää esimerkiksi CAPTCHA-tunnistusta. Väärentäjät eivät hakeneet tiedostoa kertaakaan, mikä on omalla tavallaan johdonmukaista: kun tarkoitus on löytää salasanatiedostoja, sivuston omat säännöt eivät kiinnosta.
Näin tarkistat oman lokisi
1. Etsi palvelinlokista rivit, joiden user agent -kentässä lukee ClaudeBot, GPTBot, Google-Extended tai muu tekoälyrobotin nimi. Poimi niistä IP-osoitteet.
2. Katso, hakiko sama osoite jossain vaiheessa /robots.txt-tiedoston. Jos ei kertaakaan, mutta pyysi kymmeniä muita polkuja, merkitse osoite epäilyttäväksi.
3. Vertaa osoitetta yhtiön julkaisemaan listaan. Anthropic julkaisee omansa osoitteessa claude.com/crawling/bots.json, OpenAI osoitteissa openai.com/gptbot.json ja openai.com/searchbot.json. Jos osoite ei ole listalla, nimi on väärennetty.
Hälytyksen arvoisia ovat myös kaikki pyynnöt polkuihin /.env, /.aws/credentials ja /.git/config riippumatta siitä, minkä nimisenä pyytäjä esittäytyy.
Tässä ei murtauduttu Anthropicin järjestelmiin
Ero aiempaan tapaukseen kannattaa tehdä selväksi. AI Suomi kertoi aiemmin siitä, kuinka varas pääsi Claude-tilille ilman salasanaa varastetun istuntoevästeen avulla. Silloin kohteena oli käyttäjän tili. Nyt Anthropicilta ei murrettu mitään. Hyökkääjät kirjoittivat pyyntöihinsä ClaudeBotin nimen samalla tavalla kuin kuka tahansa voi kirjoittaa kirjekuoreen väärän lähettäjän. User agent -kenttä on pelkkää tekstiä, jonka lähettäjä valitsee itse.
GreyNoise korostaa, että sen tunnistama sormenjälki kertoo, mikä ohjelmisto pyynnöt tekee, ei sitä, mikä kone sitä ajaa. Yhtiö ei nimeä tekijöitä. Raportissa sanotaan suoraan, ettei mikään havainto kerro yhdenkään tiedoston palautuneen hyökkääjälle tai yhdenkään organisaation kärsineen vahinkoa.
Suomalaisen pienyrityksen verkkokauppa tai yhdistyksen sivusto ei ole tässä erityinen kohde, ja juuri siinä on koko juju. Skannaus on umpimähkäistä. Se koputtelee kaikkia ovia ja etenee sinne, mistä löytyy auki jäänyt .env-tiedosto. Sellaisessa tiedostossa on usein tietokannan salasana, maksupalvelun avain tai sähköpostipalvelun tunnus, ja yhden väärin sijoitetun tiedoston hinta voi olla koko asiakasrekisteri.
Riski kasvaa erityisesti silloin, kun sivusto on julkaistu siirtämällä koko projektikansio palvelimelle sellaisenaan. Mukaan lähtee helposti myös .env ja .git-hakemisto. Moni pk-yritys ostaa sivustonsa mainostoimistolta ja saa lokinsa auki hallintapaneelista muutamalla klikkauksella. Se riittää tähän tarkistukseen.
Lukuihin liittyy yksi varaus, joka on reilua kertoa. Havainnot ovat peräisin yhdeltä toimijalta, ja GreyNoise myy palvelua juuri tällaisen skannausliikenteen tunnistamiseen. Riippumatonta vahvistusta 824 osoitteen tai miljoonien pyyntöjen määrille ei ole julkaistu, eikä raportissa esiinny yhtään nimeltä mainittua tutkijaa: se on julkaistu yhtiön nimissä ilman kirjoittajaa. Robots.txt-havainnon logiikan voi silti tarkistaa yhtiöiden omista ohjeista, ja ne tukevat sitä. Sekä Anthropic että OpenAI kertovat julkaisevansa robottiensa IP-osoitteet nimenomaan siksi, että pelkkään nimeen ei voi luottaa.
Naamion valinta kertoo jotain muutakin. Tekoälyrobottien liikenne on kasvanut niin arkiseksi, että moni sivusto päästää sen läpi kysymättä ja moni ylläpitäjä on lakannut lukemasta niitä lokirivejä ollenkaan. Väärennös toimii, koska siihen on totuttu. Seuraava naamio tuskin on ClaudeBot, vaan jokin nimi, johon on totuttu vielä vahvemmin.
Sanasto
User agent
Tekstikenttä, jonka jokainen selain tai ohjelma lähettää verkkosivulle kertoakseen, mikä se on. Kentän sisällön valitsee lähettäjä itse, joten kuka tahansa voi kirjoittaa siihen mitä haluaa.
HTTP-sormenjälki
Tunnistetieto, joka syntyy siitä, missä järjestyksessä ja millä tavalla ohjelma muotoilee verkkopyyntönsä. Sen perusteella voi päätellä, että eri nimillä esiintyvät pyynnöt tulevat samasta ohjelmasta.
.env-tiedosto
Ohjelmistoprojektin asetustiedosto, johon kootaan salasanat ja palveluavaimet erilleen varsinaisesta koodista. Sen on tarkoitus jäädä palvelimelle piiloon, eikä sen pitäisi koskaan näkyä verkkoselaimelle.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
