Yksi rivi voi pian estää tekoälyä oppimasta sivustoltasi

Googlen hakuneuvoja John Mueller julkaisi perjantaina blogikirjoituksen, joka koskee jokaista suomalaista sivuston ylläpitäjää verkkokauppiaasta paikallisyhdistykseen. Jatkossa tekoälykoulutuksen voi kieltää usealta yhtiöltä samalla kertaa.

Googlen lisäksi mukana ovat Microsoft, Anthropic ja OpenAI. Yhtiöt tukevat yhteistä merkintää, jonka sivuston ylläpitäjä lisää robots.txt-tiedostoon. Ehdotuksen on kirjoittanut Anthropicin Kevin Kelley IETF:lle eli internetin standardeja laativalle järjestölle, ja se julkaistiin 30. lokakuuta.

Taustaksi: crawler eli hakurobotti on ohjelma, joka kulkee verkossa sivulta toiselle ja kopioi sisältöä talteen. Robots.txt on sivuston juuressa sijaitseva tekstitiedosto, josta robotit tarkistavat, minne ne saavat mennä. Hakukoneet ovat noudattaneet sitä vuosikymmeniä.

Tähän asti tekoälykoulutuksen kieltäminen on ollut näpertelyä. OpenAI:n robotti on GPTBot ja Anthropicin ClaudeBot, ja Googlen koulutuskielto kulkee nimellä Google-Extended. Jokaiselle on pitänyt kirjoittaa oma rivinsä, ja uusia robotteja on ilmestynyt tasaiseen tahtiin.

Uuden merkinnän nimi on __usage_ai-training. Se ei ole minkään robotin nimi vaan käyttötarkoitus: sillä ilmaistaan, ettei sivun sisältöä saa käyttää generatiivisen tekoälymallin kouluttamiseen. IETF-luonnoksen mukaan mallit, joita koulutetaan pelkästään muihin kuin generatiivisiin tehtäviin, jäävät määritelmän ulkopuolelle.

Toimiiko se jo?

Ei vielä. Microsoft kertoo alkavansa noudattaa merkintää 1. helmikuuta 2027. Googlen dokumentaation mukaan sen tuki tulee alkuvuodesta 2027. SiliconANGLEn mukaan OpenAI aikoo lisätä tuen tulevien kuukausien aikana. Rivin voi silti lisätä jo nyt, jolloin se on paikallaan, kun yhtiöt alkavat lukea sitä.

Google lupaa, että jos sivusto kieltää koulutuksen yhteisellä merkinnällä eikä mainitse Google-Extendediä erikseen, se tulkitaan samaksi kuin Google-Extendedin estäminen. Yhtiökohtaiset rivit toimivat edelleen uuden merkinnän rinnalla, joten jo tehtyjä estoja ei kannata poistaa.

Mitä rivi ei tee

Ensinnäkin rivi ei pudota sivustoa Googlen hausta. Merkintä koskee vain tekoälykoulutusta, eikä Google-Extended Googlen mukaan vaikuta hakutuloksiin. Microsoft lupaa saman Bingin osalta: uudet asetukset eivät muuta sitä, voiko sivusto näkyä Bingin tavallisissa hakutuloksissa.

Kielto ei myöskään koske jo kerättyä aineistoa. Anthropicin ohjeen mukaan ClaudeBotin estäminen tarkoittaa, että sivuston tulevat sisällöt jätetään pois koulutusaineistosta. IETF-luonnoksen mukaan sisältöön sovelletaan sitä robots.txt-tiedostoa, joka oli voimassa, kun sisältö haettiin.

Kolmas aukko ovat toimijat, jotka eivät ole mukana. SiliconANGLEn mukaan Meta on tukenut ajatusta, mutta se ei ole sitoutunut toteuttamaan merkintää. Pienemmät tekoäly-yritykset ja tiedonkeruupalvelut voivat jättää rivin kokonaan huomiotta.

Neljänneksi merkintä koskee vain koulutusta. Se ei koske tilannetta, jossa tekoälyavustaja hakee sivun vastatakseen käyttäjän kysymykseen. Microsoft tarjoaa tähän erillisen niin sanotun grounding-asetuksen. Microsoft Bingin tuotepäällikkö (Principal Product Manager) Krishna Madhavan kuvaa uudistusta englanninkielisessä blogissaan näin: yhtiö tarjoaa ”uudempia, yksinkertaisempia ja selkeämpiä asetuksia, joiden avulla voit tehdä valintoja koulutuksesta, groundingista tai molemmista”.

Tärkein rajoitus on kuitenkin se, että signaali on pyyntö eikä lukko. IETF:n mukaan luonnos on yksittäinen ehdotus, jolla ei ole virallista asemaa. AIPREF-työryhmän tehtäviin ei myöskään kuulu valvoa teknisesti, noudatetaanko toiveita.

Hake ei ole tyytyväinen siihen, että luonnoksen mukaan toiveet eivät koske käyttäjän käynnistämiä toimintoja. Hän muistuttaa, että kuka tahansa voi osallistua IETF:n työhön. ”He eivät lähetä kutsuja”, Hake kirjoitti englanniksi.

EU-laki antaa rivin taakse painoa

Suomalaisella sivustolla on käytössään myös lakiin perustuva keino. EU:n digitaalisten sisämarkkinoiden tekijänoikeusdirektiivi sallii tekstin- ja tiedonlouhinnan kaupallisiin tarkoituksiin, ellei oikeudenhaltija ole kieltänyt sitä. Kun sisältö on julkisesti saatavilla verkossa, kielto ilmaistaan koneluettavassa muodossa. Direktiivi on pantu täytäntöön myös Suomen tekijänoikeuslaissa, joten se koskee suomalaisia tekijöitä.

Googlen mukaan uusi merkintä on linjassa EU:n tekoälyasetukseen liittyvän käytännesäännöstön kanssa. Säännöstö koskee yleiskäyttöisten tekoälymallien tarjoajia, ja se tunnustaa robots.txt:n ensisijaiseksi tavaksi ilmaista koneluettavia toiveita. Robots.txt-rivi ei siis itsessään ole sopimus, mutta EU:ssa se voi olla juuri sellainen koneluettava kielto, jota tekijänoikeuslaki edellyttää. Miten tätä lopulta tulkitaan, ratkaisevat tuomioistuimet.

Kenen sitten kannattaa lisätä rivi? Mediatalolle ja bloggaajalle, joiden tuote on teksti, päätös on helppo. Verkkokauppias voi päätyä toiseen ratkaisuun: jos tuotekuvaukset päätyvät tekoälyn koulutusaineistoon, avustajat saattavat tuntea kaupan tuotteet paremmin. Ensimmäistä kertaa valinnan voi tehdä yhdellä rivillä.

Varmin tapa on lisätä uusi merkintä nyt ja pitää GPTBotin, ClaudeBotin ja Google-Extendedin erilliset estot paikallaan. Luonnoksen yksityiskohdat voivat vielä muuttua, joten tiedosto kannattaa tarkistaa uudelleen helmikuussa, kun Microsoft ottaa merkinnän ensimmäisenä käyttöön.