Tekoäly-yhtiöt ostavat kirjoja miljoonittain ja silppuavat ne

Kirja ostetaan divarista tai varastoliikkeestä. Selkä leikataan irti hydraulikäyttöisellä leikkurilla, irtolehdet syötetään teollisuusskanneriin ja loput päätyvät kierrätykseen. Sama toistuu miljoonia kertoja.

Näin on syntynyt osa siitä tekstimassasta, jolla nykyiset kielimallit on koulutettu. Yhdysvaltalaismediat 404 Media ja Washington Post ovat viime viikkoina kuvanneet, miten tekoäly-yhtiöt hankkivat painettuja kirjoja teollisessa mittakaavassa ja tuhoavat kappaleet skannauksen jälkeen.

Ostot tehdään välikäsien kautta. Myyjä ei tiedä, kenelle kirjat menevät.

Kirjatietokanta ISBNdb markkinoi heinäkuussa palvelua, jolla tekoäly-yhtiö saattoi tilata kerralla tuhannesta miljoonaan kirjaa. Yhtiö lupasi salassapitosopimuksen: asiakkaan identiteettiä, strategiaa tai hankintakohteita ei paljasteta kenellekään.

Markkinointisivu katosi verkosta 28. heinäkuuta, päiviä 404 Median jutun jälkeen. ISBNdb kertoo nyt, ettei se ole koskaan ostanut, skannannut tai myynyt yhtään kirjaa ja että kyse oli vain markkinakiinnostuksen testaamisesta.

Mittaluokan paljastaa Anthropicin oikeudenkäyntiaineisto. Yhtiön sisäisessä hankkeessa, jonka nimi oli Project Panama, alihankkijan tarjous puhui 500 000–2 miljoonan kirjan käsittelystä puolen vuoden aikana. Anthropic palkkasi hankkeeseen Tom Turveyn, joka oli aiemmin vetänyt Google Booksin kumppanuuksia, ja osti kirjoja muun muassa Better World Booksilta ja World of Booksilta.

Ennen vuotta 2023 painettu teksti on puhdasta tavaraa

Kirjojen kysyntä ei johdu siitä, että verkosta olisi loppunut teksti. Se johtuu siitä, minkälaista teksti nykyään on.

ChatGPT:n julkaisun jälkeen verkko on täyttynyt koneen tuottamasta sisällöstä. Kukaan ei osaa sanoa tarkkaa osuutta, mutta alan toimijat pitävät sitä riittävän suurena ollakseen ongelma. Mallin kouluttaminen toisen mallin jäljillä heikentää tulosta, ja huono aineisto on vaikea tunnistaa jälkikäteen.

Painettu kirja on tässä tilanteessa poikkeuksellisen luotettava todiste. Painovuosi kertoo, että jonkun ihmisen on täytynyt kirjoittaa teksti ja jonkun toisen toimittaa se. ISBNdb sanoi asian mainoksessaan suoraan: ennen rajapäivää painetut kirjat ovat rakenteellisesti puhtaita.

Fyysikot tuntevat vastaavan ilmiön. Ennen ensimmäisiä ydinkokeita valettu teräs on herkissä mittalaitteissa arvokkaampaa kuin uusi, koska siihen ei ole päässyt ilmakehään levinneitä isotooppeja. Kirjoitetulle kielelle kävi sama vuonna 2022.

Koulutusdatan kannalta muutos on iso. Data ei ole enää loputon luonnonvara, jota syntyy lisää sitä mukaa kuin internet kasvaa. Arvokkain osa siitä on kiinteä, painovuodella päivätty varanto, joka ei kasva enää koskaan.

Siksi silppuri eikä torrent

Tuomio selittää, miksi kirjoja kannattaa ostaa ja tuhota sen sijaan että ne ladattaisiin ilmaiseksi.

Piraattikopio maksaa hankintahetkellä nolla euroa ja oikeudessa tuntemattoman summan. Käytetty pokkari maksaa muutaman euron ja tuo mukanaan oikeuden tehdä siitä yksi digitaalinen kappale. Anthropicin 1,5 miljardin dollarin sovinto tekee laskutoimituksesta yksinkertaisen.

Tuhoaminen ei ole tässä sivutuote vaan osa laillisuutta. Jos yhtiö säilyttäisi sekä painetun että skannatun kappaleen, se olisi tehnyt kokoelmaansa uuden kopion eikä vain vaihtanut yhden muotoa toiseksi. Juuri se logiikka teki menettelystä hyväksyttävän.

Ei-tuhoava skannaus on teknisesti mahdollista, mutta hitaampaa ja selvästi kalliimpaa. Kun tavoite on kaksi miljoonaa kirjaa puolessa vuodessa, leikkuri voittaa.

Divareille myyntipiikki, harvinaisille painoksille loppu

Ilmiö näkyy jo kirjakaupan pohjalla. Hollannissa, Saksassa, Sveitsissä ja Espanjassa antikvariaatit kertovat epätavallisista massatilauksista, jotka kohdistuvat kapeisiin erikoisaloihin. Yksi pieni myyjä kertoi 404 Medialle myyneensä aiemmin noin 20 kirjaa viikossa, huhtikuusta lähtien satoja.

Myyjälle kauppa on hyvä. Vuosia hyllyssä seissyt niteistö menee kerralla ja rahat tulevat tilille.

Kirjailija ei saa mitään. Käytetyn kirjan myynnistä ei kerry rojalteja, joten teksti päätyy malliin ilman että sen kirjoittaja tietää asiasta tai hyötyy siitä. Sama koskee suomalaista tietokirjailijaa, jonka 1990-luvun teosta myydään divarissa kolmella eurolla.

Pidemmällä aikavälillä vaikutus näkyy siinä, mitä on ylipäätään saatavilla. Loppuunmyydystä painoksesta voi olla maailmassa muutama sata kappaletta. Jos niistä iso osa syötetään leikkuriin, kirja ei katoa vain markkinoilta vaan myös kaukolainaverkosta ja seuraavan tutkijan ulottuvilta. Kukaan ei tee päätöstä hävittää juuri sitä teosta, se vain kuluu loppuun massaerän sisällä.

Kiinnostavinta koko jutussa on se, mitä tuhoaminen kertoo arvosta. Tekoäly-yhtiöt maksavat siitä, että saavat käsiinsä tekstiä, jota kone ei ole ollut tekemässä. Ne ovat siis valmiita maksamaan ihmisen kirjoittamasta kielestä enemmän kuin oman tuotantonsa kierrättämisestä, ja hinta nousee joka vuosi, koska varanto ei kasva.

Seuraava kysymys on, mistä puhdasta tekstiä haetaan, kun divarit on käyty läpi. Todennäköisiä kohteita ovat lehtiarkistot, väitöskirjat, oikeudenkäyntiaineistot ja kansalliskirjastojen digitoimattomat kokoelmat. Ne ovat aineistoja, joiden käyttöehdoista ei ole juuri keskusteltu, koska kukaan ei ole aiemmin ollut valmis maksamaan niistä.