Cloudflare käänsi kytkimen tänään – sivustot eivät tiedä

Cloudflaren Bryan Becker julkaisi tiistaina yhtiön blogissa kirjoituksen, joka muuttaa oletusasetuksia miljoonilla verkkosivuilla. Heinäkuussa ilmoitettu muutos astui voimaan tänään 15. syyskuuta. Ydin on yksinkertainen: jos sivustolla on mainoksia, tekoälyn hakurobotti ei enää pääse sisään pelkästään siksi, että se sattuu myös indeksoimaan sisältöä hakukonetta varten.

Käytännössä muuttui kolme asiaa. Cloudflaren estoasetukset koskevat nyt myös niin sanottuja sekakäyttöisiä robotteja, joita ne eivät aiemmin koskeneet. Vanha Block AI Bots -kytkin poistuu, ja sen tilalle tulevat erilliset säätimet haulle, koulutukselle ja tekoälyagenteille. Managed Robots.txt korvautuu elokuussa julkaistulla Bot Preference Sync -toiminnolla.

Uusille mainosrahoitteisille verkkotunnuksille oletukseksi tulee Disallow AI Training, ja tekoälyagentit estetään mainoksia sisältävillä sivuilla. Sivustoilla, joilla mainoksia ei ole, oletukset pysyvät sallivina. Heinäkuun linjauksen mukaan oletusesto koskee uusia asiakkaita, vanhojen asiakkaiden uusia sivustoja ja kaikkia ilmaisversion käyttäjiä.

Tiedot muutoksen sisällöstä perustuvat Cloudflaren omaan ilmoitukseen. Yhtiö myy samaan aikaan palvelua, jolla sivuston omistaja voi laskuttaa tekoäly-yhtiöitä sisällön käytöstä, eikä muutoksen vaikutuksia ole toistaiseksi mitannut yksikään ulkopuolinen taho.

Yksi robotti, kaksi tarkoitusta

Sekakäyttöinen robotti tarkoittaa indeksointia, joka palvelee kahta päämäärää yhdellä käynnillä. Sama vierailu tuottaa aineistoa hakukoneen hakemistoon ja kielimallin koulutukseen. Beckerin muotoilu on tyly: kiellä toinen, ja kiellät molemmat.

Juuri siksi esto on ollut monelle sivuston omistajalle liian kallis. Robotin sulkeminen ulos on voinut pudottaa sivun pois hakutuloksista ja tekoälyvastauksista samalla kertaa. Osa toimijoista on eriyttänyt robottinsa: Applen Applebot-Extended ja Googlen Google-Extended tottelevat robots.txt-tiedoston kieltoa, ja molemmat yhtiöt ovat ilmoittaneet, ettei koulutuskielto vaikuta hakusijoitukseen. Microsoft nojaa toistaiseksi NOARCHIVE-metatagiin ja rakentaa robots.txt-tukea vuoden 2027 alkuun.

Näille kolmelle Cloudflare antaa Accountable-merkinnän. Se edellyttää neljää asiaa: koulutuskäytöstä pitää voida kieltäytyä robots.txt-tiedostolla tai vastaavalla, tekoälytiivistelmistä pitää voida kieltäytyä erikseen, omistajan pitää nähdä osoitetasolla mitä sisältöä on käytetty, ja operaattorin pitää taata ettei koulutuskiellosta seuraa rangaistusta haussa. Muut robotit jäävät eston puolelle.

Kuka Suomessa joutuu valitsemaan

Cloudflaren takana on iso osa suomalaista verkkoa: uutissivustoja, verkkokauppoja, yhdistysten sivuja ja pienyritysten kotisivuja. Moni niistä päätyi sinne siksi, että mainostoimisto tai palveluntarjoaja laittoi sen sinne vuosia sitten. Hallintapaneeliin ei ole sen jälkeen kirjauduttu kertaakaan.

Vanhat maksavat asiakkaat pitävät valitsemansa asetukset, mutta heilläkin vanha kytkin poistuu käytöstä, joten asetukset on käytävä siirtämässä uusiin säätimiin. Uusi mainosrahoitteinen verkkotunnus taas saa koulutuskiellon ilman että kukaan on sitä pyytänyt. Päätöksen tekee siis joko sivuston omistaja tai sitten Cloudflare hänen puolestaan.

Verkkokaupalle kysymys on rahaa. Kun asiakas kysyy chatilta suositusta lastenrattaista tai pyöränosista, tekoäly poimii vastauksensa niiltä sivuilta, joihin sillä on pääsy. Suomenkielistä tuotetietoa on verkossa vähän, ja sen katoaminen malleilta näkyy nimenomaan pienten kauppojen kohdalla. Pienyrittäjä, jonka kotisivu on ilmaisversion takana, ei todennäköisesti tiedä asiasta mitään.

Medialle asetelma kääntyy toisin päin. Uutissivustolle koulutusaineiston vuotaminen ulos ilman korvausta on ollut vuosien kiistakysymys, ja Cloudflaren muutos antaa kiellolle teknisen selkärangan ilman että hakunäkyvyydestä tarvitsee luopua. Muutoksesta ei ole toistaiseksi kotimaista uutisointia, eivätkä suomalaiset media- tai kaupan alan järjestöt ole kommentoineet sitä julkisuudessa.

Este on myös hintalappu

Cloudflaren logiikassa esto ei ole päätepiste. Yhtiö tarjoaa Pay Per Crawl -mallia, jossa sivuston omistaja voi asettaa sisällölleen hinnan ja Cloudflare hoitaa laskutuksen. Heinäkuussa esiteltiin myös Pay Per Use, jossa maksu syntyy silloin kun sisällöstä on tekoälylle hyötyä, ei pelkästään hakuhetkellä. Ensimmäiset kumppanit ovat Ceramic.ai ja You.com.

Sisällöntuottajalle oletusesto on siis neuvotteluasema. Ilman sitä keskustelu käydään tilanteessa, jossa aineisto on jo otettu. Cloudflaren omien lukujen mukaan 17 prosenttia sivustoista on ottanut käyttöön jonkin koulutuksen estävän mekanismin, eli valtaosa ei ole tehnyt asialle mitään. Oletuksen kääntäminen siirtää tämän enemmistön toiselle puolelle pöytää.

Yksi asia jää auki. Accountable-merkintä nojaa siihen, että robotin operaattori kertoo itse mihin sisältöä käyttää, ja Cloudflare valvoo lupauksen pitämistä. Microsoftin robots.txt-tuki ja Cloudflaren oma tiivistelmäkielto on luvattu vasta vuoden 2027 alkuun, joten siihen asti osa merkinnän ehdoista on lupausten varassa. Sitä kannattaa tarkistaa silloin uudelleen.