Suomeksi kysyminen voi tulla tekoälyltä kalliimmaksi

Intialaisen tekoälyrahaston Activate AI:n perustajajäsen Pratyush Choudhury selittää ongelman opettajan avulla. Hyvä tutor muistaa, missä oppilas kompastui viime viikolla ja miten asia silloin selitettiin. Jos tekoälytutorin muisti täyttyy puolessa ajassa vain siksi, että oppilas puhuu ”kalliimpaa” kieltä, opetus heikkenee.

Choudhury puhui Rest of World -julkaisulle, joka kertoi lokakuun lopussa tutkimuskoalitio CLEARin (Coalition for Language Equity in AI Research) selvityksestä. Sen viesti on yksinkertainen: tekoälymallit käsittelevät eri kieliä eri hinnalla. Englannilla pääsee halvimmalla.

Taksimittari, joka naksuu tavuista

Selitys löytyy tokenista. Kielimalli ei lue sanoja eikä kirjaimia vaan tokeneita eli tekstin palasia, joihin niin sanottu tokenisoija pilkkoo jokaisen syötteen. Token toimii kuin taksimittarin naksahdus. Mittari ei laske, kuinka kauas pääset, vaan kuinka monta kertaa se naksahtaa matkan aikana, ja asiakas maksaa naksahduksista.

Tokenisoija oppii palansa koulutusaineistosta. Englanti on verkon valtakieli, joten yleiset englannin sanat mahtuvat usein yhteen tokeniin. Harvinaisemman kielen sana pilkotaan useammaksi palaksi. Suomessa vaikutusta voimistaa taivutus: talo, talossa ja taloissammekin ovat mallille eri merkkijonoja, ja pitkä taivutettu sana hajoaa helposti moneksi palaksi.

Pahimmillaan 17-kertainen ero

CLEARin mukaan internetin 20 suosituimman kielen joukossa kallein kieli vaati 1,5–5 kertaa niin monta tokenia kuin halvin. Kun tutkijat laajensivat vertailun 200 kieleen, ero kasvoi yhdessä mallissa 17-kertaiseksi.

Kirjoitusjärjestelmä ratkaisee yllättävän paljon. Pohjois-Espanjassa puhuttu asturia pärjää vähäisestä puhujamäärästään huolimatta hyvin, koska se kirjoitetaan latinalaisin aakkosin ja on sukua laajalti käytetyille romaanisille kielille. Lähes kaikissa malleissa huonoimmassa asemassa olivat kielet, joiden kirjaimistoa tokenisoijat ovat nähneet vähän, kuten burma, tiibet, khmer ja lao.

Suomi asettuu väliin. Latinalaiset aakkoset auttavat, mutta lähisukukieliä verkossa ei juuri ole, ja sanat ovat pitkiä. Rest of Worldin juttu ei kerro suomen lukuja, eikä CLEARin kielikohtaisia tuloksia ollut saatavilla tätä kirjoitettaessa.

Selvitys tiivistää seuraukset yhteen virkkeeseen: ”Suuremmat tokenimäärät tarkoittavat suurempaa viivettä ja pienempää käytettävissä olevaa kontekstikapasiteettia.” (alkuperäinen englanniksi)

Mitä ero tarkoittaa laskussa

Rajapinnan kautta tekoälyä käyttävä yritys maksaa jokaisesta tokenista, sekä kysymyksestä että vastauksesta. Jos sama sisältö vie suomeksi puolitoista kertaa enemmän tokeneita kuin englanniksi, myös lasku on puolitoistakertainen. Kerroin on tässä havainnollistus eikä mitattu suomen arvo: se on CLEARin suosituimpien kielten vaihteluvälin alaraja.

Sama kerroin näkyy muistissa. Konteksti-ikkuna eli tekstimäärä, jonka malli pystyy pitämään kerralla mielessään, mitataan tokeneina. Puolitoistakertainen tokenimäärä tarkoittaa, että ikkunaan mahtuu vain kaksi kolmasosaa siitä tekstistä, joka englanniksi mahtuisi. Pitkä sopimus, kokouspöytäkirjojen pino tai asiakaspalvelun keskusteluhistoria täyttää ikkunan nopeammin, ja malli alkaa unohtaa alkupäätä.

Vastauskin syntyy hitaammin, koska malli tuottaa tekstin token kerrallaan. Kuluttajalle vaikutus on epäsuora. Kuukausimaksullisessa chat-palvelussa tokeneista ei laskuteta erikseen, mutta käyttörajat ja keskustelun muisti lasketaan niissäkin tokeneina.

Yrityksille ero on suora. Suomenkielistä asiakaspalvelubottia pyörittävä yhtiö voi maksaa samasta palvelusta enemmän kuin kilpailija, joka palvelee englanniksi. CLEAR kuvaa saman asetelman intialaisesta näkökulmasta: ”Bengalurulainen startup saattaa maksaa lisämaksua jokaisesta kehotteesta ja vastauksesta, kun sen kilpailija Austinissa ei maksa.”

Tokenit halpenevat, epätasa-arvo jää

Keskustelevaa tekoälyä kehittävän Maya Researchin toimitusjohtaja Dheemanth Reddy muistuttaa Rest of Worldille, että tokenien hinnat laskevat hyvin nopeasti, joten suora kustannusvaikutus pienenee ajan mittaan. Hänen mukaansa kuilu umpeutuu silti vasta, kun laboratoriot suunnittelevat tulevat tokenisoijat tarkoituksella myös vähemmän palvelluille kielille.

Choudhury menisi pidemmälle. Hänen mielestään kielitehokkuus pitäisi nostaa tuotevaatimukseksi tarkkuuden, nopeuden ja luotettavuuden rinnalle, ja laboratorioiden pitäisi julkaista kielikohtaiset tulostaulukot. Ihmeitä hän ei odota. ”Täydellinen tasa-arvo voi olla epärealistista”, hän sanoo.

Suomessa tällaisista taulukoista olisi käytännön hyötyä. Kun kunnat, virastot ja yritykset kilpailuttavat tekoälypalveluja, tokenien määrä suomenkielistä sivua kohden olisi yhtä tärkeä vertailuluku kuin hinta miljoonaa tokenia kohden. Nyt halvimmalta näyttävä malli voi suomeksi käytettynä olla kalliimpi kuin listahinta antaa ymmärtää.

Kannattaako kysyä englanniksi?

Joskus. Englanti kannattaa, kun syöte on pitkä ja kielellinen muoto toisarvoinen: koodi, tekniset lokit, laajat taustamateriaalit, joista haetaan tietoa, tai rajapintakäyttö suurella volyymilla. Jos aineisto on valmiiksi englanniksi, sitä ei kannata kääntää suomeksi mallia varten.

Suomi kannattaa pitää, kun lopputulos tarvitaan suomeksi tai kun vivahteilla on väliä. Englanniksi kysyminen säästää vain kysymyksen osuudessa, jos vastaus pyydetään silti suomeksi. Käännös voi myös kadottaa juuri sen, mitä hait: lakitermin, viranomaiskielen tai asiakkaan sävyn.

Lyhyissä arkikysymyksissä ero jää sentin murto-osiin. Niiden takia kieltä ei kannata vaihtaa.