Avoin verkko sai hintalapun tekoälyboteille

Avoin verkko sai hintalapun

Internetin pelisäännöt ovat muuttumassa. Cloudflare ja GoDaddy julkistivat 7. huhtikuuta kumppanuuden, jonka keskiössä on AI Crawl Control -työkalu. Se antaa verkkosivustojen omistajille kolme vaihtoehtoa tekoälyrobottien käsittelyyn: salli pääsy ilmaiseksi, estä kokonaan tai vaadi maksu jokaisesta sivulatauksesta.

Käänne on merkittävä. Tähän asti tekoäly-yhtiöt ovat lähettäneet robottejaan keräämään sisältöä verkosta lähes esteettä. Nyt sivustojen omistajat saavat käyttöönsä eräänlaisen tullimuurin, joka päättää, kuka pääsee sisään ja millä hinnalla.

GoDaddy integroi Cloudflaren työkalun omaan hosting-palveluunsa. Cloudflare suojaa noin 20 prosenttia maailman verkkosivuista ja GoDaddy on yksi suurimmista hosting-palveluista, joten vaikutuspiiri ulottuu pienistä blogeista suuriin mediataloihin. Kumppanuus ei syntynyt tyhjiössä – verkossa on käynnissä laajempi siirtymä, jossa sisällöntuottajat vaativat yhä kovemmin korvauksia tekoäly-yhtiöiltä sisältöjensä käytöstä.

Näin pay-per-crawl toimii

Cloudflaren järjestelmä perustuu HTTP 402 -tilakoodiin, joka tarkoittaa kirjaimellisesti "maksu vaaditaan". Kun tekoälybotti yrittää hakea sivun sisällön, palvelin palauttaa hintatiedon. Botti voi joko maksaa ja saada sisällön tai poistua tyhjin käsin.

Minimihinta on sentti per pyyntö. Sivuston omistaja asettaa kiinteän hinnan koko verkkotunnukselleen, ja Cloudflare hoitaa laskutuksen sekä tilittää tulot. Teknistä osaamista ei vaadita: hinnan voi asettaa hallintapaneelista muutamalla klikkauksella. Stack Overflow lähti ensimmäisten joukossa mukaan ja myy ohjelmointisisältöään tekoälyboteille maksua vastaan.

Pelkkä hintalappu ei riitä, jos botit voivat valehdella henkilöllisyytensä. Siksi kumppanuuteen kuuluu kaksi avointa standardia. GoDaddyn kehittämä Agent Name Service käyttää DNS-järjestelmää ja julkisen avaimen infrastruktuuria bottien tunnistamiseen. Cloudflaren Web Bot Auth puolestaan varmistaa jokaisen pyynnön kryptografisella allekirjoituksella. Yhdessä ne tekevät henkilöllisyyden väärentämisestä huomattavasti vaikeampaa kuin pelkän robots.txt-tiedoston kiertämisestä.

Kahdeksan miljardia pyyntöä kahdessa kuukaudessa

Tekoälybottien liikenne verkossa kasvaa kovaa vauhtia. Vuoden 2026 alussa botit muodostivat jo kaksi prosenttia kaikesta verkkoliikenteestä. Se kuulostaa vähäiseltä, mutta kyse on 400 prosentin kasvusta vuoden 2025 alkuun verrattuna. DataDomen mukaan pelkästään tammi–helmikuussa 2026 havaittiin lähes kahdeksan miljardia tekoälyagenttien pyyntöä.

Määrä ei ole ainoa ongelma. Osa tekoäly-yhtiöistä toimii häikäilemättömästi: Perplexityn bottien on havaittu naamioituvan tavallisiksi Chrome-selaimiksi ohittaakseen robots.txt-estot. Jokainen botin lataama sivu kuluttaa palvelimen resursseja, mutta toisin kuin hakukoneet, tekoälybotit eivät yleensä ohjaa käyttäjiä takaisin alkuperäiselle sivustolle.

TollBit-palvelu on jo osoittanut, että bottiliikenteen rahastaminen toimii käytännössä. Palvelu on kerännyt lähes 7 000 julkaisijasivustoa verkostoonsa, ja noin 20 prosenttia niistä on ansainnut rahaa tekoälybottien liikenteestä. Tulot vaihtelevat sadoista dollareista kymmeniin tuhansiin kuukaudessa.

Vertailu mainosestäjien nousuun 2010-luvulla on osuva. Silloinkin sisällöntuottajat joutuivat miettimään ansaintamallejaan uusiksi, kun käyttäjät alkoivat torjua mainoksia. Tekoälybottien kohdalla tilanne on kuitenkin erilainen: botit eivät ole käyttäjiä vaan yrityksiä, ja niiltä voi vaatia suoraa maksua.

Suomenkielinen data on harvinaista ja arvokasta

Suomalaisille mediataloille kehitys avaa kiinnostavan mahdollisuuden. Sanoma, Alma Media ja Yle tuottavat valtavan määrän suomenkielistä sisältöä, jota tekoälymallit tarvitsevat oppiakseen suomen kieltä. Pieni kielialue voi tässä olla etu: suomenkielinen data on suhteellisen harvinaista ja siksi arvokasta koulutusaineistona.

Tilannetta havainnollistaa yksinkertainen esimerkki. Jos OpenAI:n tai Googlen tekoälymalli haluaa ymmärtää suomalaista asuntomarkkinaa tai terveydenhuoltojärjestelmää, se tarvitsee Kauppalehden, Ylen ja erikoismedioiden artikkeleita. Tätä dataa ei voi korvata englanninkielisellä aineistolla. Pay-per-crawl antaa suomalaisille julkaisijoille ensi kertaa keinon hinnoitella tämä arvo.

Suomalaiset mediatalot ovat jo tottuneita tekoälyn käyttäjiä. Alma Medialla on käytössä lähes 20 tekoälytyökalua ja Ylen toimittajat hyödyntävät YleGPT-järjestelmää päivittäin. Nyt nämä samat talot voisivat kääntyä myös datan myyjiksi tekoäly-yhtiöille. Erityisesti pienet erikoissivustot ja bloggaajat voivat hyötyä, sillä Cloudflaren ja GoDaddyn yhteistyö tuo työkalut kaikkien saataville ilman vaatimusta omasta teknisestä osaamisesta.

Tilanne on kuitenkin kaksipiippuinen juttu. Maksullinen bottikäytäntö tuo uutta tuloa, mutta jos tekoälypalvelut eivät enää indeksoi sisältöä, sivusto voi menettää näkyvyyttä hakutuloksissa. Hakukoneiden omia robotteja ei kannata estää, mutta puhtaasti koulutuskäyttöön tarkoitettujen bottien veloittaminen on perusteltua. Jos julkaisijat laajasti sulkevat botteja ulos, tekoälymallien koulutusdata kallistuu, mikä suosii suuria tekoäly-yhtiöitä, joilla on varaa maksaa.

Jokaisen julkaisijan on pian päätettävä, mitkä botit päästää ilmaiseksi ja mistä veloittaa. Cloudflaren ja GoDaddyn työkalu tekee valinnasta aiempaa helpomman, mutta strateginen pohdinta jää edelleen ihmisten tehtäväksi.