Oxfordin yliopiston tutkija Aleksandar Petrov ja hänen kollegansa tekivät yksinkertaisen kokeen. He ottivat FLORES-200-aineiston, jossa sama teksti on käännetty ammattilaisvoimin kahdellesadalle kielelle, ja ajoivat sen kymmenien tekoälymallien tekstinpilkkojien läpi. Sitten he laskivat, moneenko palaan kukin kieliversio hajosi.
Suomi pärjäsi huonosti. OpenAI:n GPT-4-sukupolven pilkkoja (cl100k_base) tarvitsi suomenkieliseen tekstiin 105 276 tokenia, kun englanninkieliseen versioon riitti 52 835. Kerroin on 1,99.
Tivi nosti hiljattain esiin, että suomeksi tekoälyn käyttö maksaa enemmän kuin englanniksi. Emme saaneet Tivin juttua auki, joten tarkistimme luvut suoraan tutkimuksen julkisesta aineistosta ja hinnat mallien tarjoajien omista hinnastoista.
Mikä token on?
Otetaan esimerkiksi sana talossanikin. Englanniksi sama ajatus vaatii neljä sanaa: in my house too. Tekoälymalli ei lue tekstiä sana kerrallaan vaan pilkkoo sen tuttuihin palasiin, joita kutsutaan tokeneiksi.
Pilkkojat on opetettu enimmäkseen englanninkielisellä tekstillä. Siksi house on niille yksi valmis pala. Suomen taivutusmuodot ne joutuvat kokoamaan osista, suunnilleen talo + ssa + ni + kin. Mitä harvinaisempi muoto, sitä pienempiin palasiin se hajoaa.
Tällä on suora yhteys rahaan, sillä tekoälypalveluiden rajapintoja hinnoitellaan tokeneina. Kun sama asia vie suomeksi kaksi kertaa enemmän palasia, se maksaa myös kaksi kertaa enemmän.
“Sama teksti eri kielille käännettynä voi tuottaa rajusti eripituisia tokenisointeja.”
Ero ei johdu siitä, että suomi olisi tekoälylle mahdoton kieli. Samassa aineistossa ruotsi ja saksa vievät GPT-4:n pilkkojalla noin 1,58-kertaisesti tokeneita englantiin verrattuna, ja tavallisesti monikielisiksi suunnitellut pilkkojat pärjäävät suomen kanssa paljon paremmin. Metan käännösmalli NLLB:n pilkkojalla kerroin on 1,21 ja XLM-RoBERTalla 1,14.
Ero on siis valinta, jonka mallin tekijä tekee rakentaessaan pilkkojaa. Petrovin ryhmä päätyy suosittelemaan, että tulevat mallit koulutettaisiin kielten kesken reiluilla pilkkojilla.
Paljonko se maksaa?
Kuvitellaan yritys, jonka asiakaspalvelubotti käy kuukaudessa 10 000 keskustelua. Englanniksi yksi keskustelu vie 2 000 tokenia syötettä ja 500 tokenia vastausta, eli kuukaudessa kertyy 20 miljoonaa syöte- ja 5 miljoonaa vastaustokenia. Suomenkielisen version luvut kerroimme tutkimuksen kertoimella 1,99.
OpenAI:n GPT-6.1 Sol maksaa hinnaston mukaan 2 dollaria miljoonalta syötetokenilta ja 10 dollaria miljoonalta vastaustokenilta. Englanniksi botin kuukausilasku olisi 90 dollaria, suomeksi noin 179 dollaria. Anthropicin Claude Opus 5.5 (4 ja 20 dollaria) nostaisi summan 180 dollarista noin 358 dollariin. Halvimmassa päässä OpenAI:n GPT-6 Luna (0,10 ja 0,50 dollaria) maksaisi englanniksi 4,50 dollaria ja suomeksi noin yhdeksän.
Laskelmaan liittyy varaus. Kerroin 1,99 on mitattu GPT-4-sukupolven pilkkojalla, eikä OpenAI tai Anthropic julkaise hinnastoissaan uusimpien malliensa kielikohtaisia tokenimääriä. Uusien pilkkojien kerroin voi olla pienempi tai suurempi. Emme pystyneet mittaamaan sitä itse ennen julkaisua.
Tokenin hinta ei myöskään ole vertailukelpoinen mallien välillä. Anthropic kertoo dokumentaatiossaan, että Claude 4.7:stä alkaen käytössä oleva uusi pilkkoja tuottaa englanninkielisen alkutekstin sanoin ”noin 30 prosenttia enemmän tokeneita samasta tekstistä”. Hinnaston rivi kertoo siis vain puolet totuudesta.
Entä kuukausitilaus?
Kiinteähintaisessa kuluttajatilauksessa, kuten 20 dollarin kuukausihintaisessa ChatGPT Plussassa, lasku pysyy samana kielestä riippumatta. Lisähinta näkyy käyttörajoissa. Palvelut laskevat kulutusta tokeneina, joten suomenkielinen keskustelu voi syödä rajaa nopeammin kuin samanmittainen englanninkielinen. Käyttörajojen toiminnasta kerroimme tarkemmin jutussa ChatGPT:n käyttöraja voi loppua yllättäen.
Sama koskee konteksti-ikkunaa, eli sitä tekstimäärää, jonka malli pystyy pitämään mielessään kerralla. Jos suomi vie kaksi kertaa enemmän tokeneita, pitkästä suomenkielisestä sopimuksesta tai raportista mahtuu ikkunaan vain noin puolet siitä, mitä englanninkielisestä mahtuisi. Geminin hinnoittelua ja suomen kielen tukea vertasimme Gemini-oppaassamme.
Suurimman laskun maksavat suomalaiset yritykset ja julkiset organisaatiot, jotka rakentavat palveluita rajapintojen varaan. Helsinkiläinen ohjelmistoyritys voi maksaa samasta asiakaspalvelubotista lähes kaksinkertaisen hinnan lontoolaiseen kilpailijaan verrattuna. Pidempi tokenijono tarkoittaa myös hitaampia vastauksia.
Näin pienennät suomenkielisen tekoälyn kuluja
Kirjoita pitkät järjestelmäohjeet englanniksi ja pyydä mallia vastaamaan suomeksi. Testaa ensin, ettei vastausten laatu kärsi.
Käytä välimuistia toistuvalle sisällölle. Anthropicin hinnastossa Opus 5.5:n välimuistiosuma maksaa 0,20 dollaria miljoonalta tokenilta, kun tavallinen syöte maksaa 4 dollaria.
Aja kiireettömät tehtävät eräajona. Anthropicin batch-hinnoittelu puolittaa Opus 5.5:n hinnan.
Rajoita vastausten pituutta. Vastaustokenit maksavat tyypillisesti viisi kertaa syötetokeneiden hinnan.
Mittaa ennen kuin valitset. Aja sama suomenkielinen esimerkkiteksti ehdokasmallien tokenilaskureiden läpi ja vertaa kokonaiskustannusta.
Sanasto
Välimuisti (prompt caching)
Palvelu tallentaa usein toistuvan tekstin, kuten saman pitkän ohjeen, jotta sitä ei tarvitse käsitellä joka kerta uudelleen. Kun tallennettua tekstiä käytetään uudelleen (välimuistiosuma), se maksaa vain murto-osan tavallisesta hinnasta.
Eräajo (batch)
Tapa lähettää paljon tehtäviä kerralla käsiteltäviksi silloin, kun palvelulle sopii. Vastaukset tulevat viiveellä, esimerkiksi tuntien kuluessa, mutta hinta on halvempi.
Tutkimuksen kiinnostavin havainto koskee hintojen vertailua. Monikieliset pilkkojat osoittavat, että suomen lisähinnan voi melkein poistaa. Siihen asti mallien vertailussa kannattaa katsoa, mitä sama suomenkielinen teksti maksaa kussakin mallissa, eikä pelkkää hinnaston riviä.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
