Tekoäly oppi ajattelemaan ilman sanoja

Tekoälymallien sanallinen ajatusketju eli chain-of-thought on viime vuosina toiminut sekä mallien suorituskyvyn että turvallisuustutkimuksen kulmakivenä. Kun kielimalli kirjoittaa pitkän päättelyn ennen vastausta, se paitsi parantaa lopputulosta myös antaa ihmiselle ikkunan koneen logiikkaan. Uusi tutkimus haluaa nyt sulkea tuon ikkunan ainakin osittain – ja säästää samalla rahaa.

Sanat pois, erikoistokenit tilalle

Abstract Chain-of-Thought eli Abstract-CoT -menetelmässä kielimalli ei päättele suomeksi tai englanniksi, vaan se tuottaa lyhyen jonon ennalta varattuja erikoistokeneita. Tokenit eivät vastaa mitään luonnollisen kielen sanaa, vaan ne ovat mallin itse oppimaa "ajattelukieltä". Vasta tämän jälkeen malli generoi varsinaisen vastauksen niiden pohjalta.

Menetelmä koulutetaan kahdessa vaiheessa. Ensin malli pakotetaan vastaamaan pelkästään abstraktien tokenien perusteella, vaikka rinnalla annetaan kokonainen sanallinen ajatusketju. Syntyy tietopullonkaula, joka pakottaa abstraktit tokenit kantamaan päättelyn olennaiset palaset. Lopuksi viimeistely tehdään vahvistusoppimisella, joka palkitsee tiiviistä ja tarkasta päättelystä.

Murto-osa tokeneista, sama tarkkuus

Tulokset ovat selkeitä. MATH-500-aineistossa, joka mittaa lukioasteen matematiikkaa, Abstract-CoT käyttää 10,4–11,6 kertaa vähemmän päättelytokeneita kuin sanallinen ajatusketju. Monivaiheisessa kysymyksenasettelussa (HotpotQA) säästö on noin nelinkertainen ja ohjeiden seuraamisessa kaksinkertainen. Tarkkuus pysyy kaikilla mittareilla samalla tasolla.

Eri kokoiset ja eri valmistajien kielimallit hyötyvät menetelmästä samansuuntaisesti. Tutkijat havaitsivat myös, että abstraktien tokenien jakauma noudattaa luonnollisen kielen tavoin potenssilakia: muutamaa tokenia käytetään hyvin usein, suurinta osaa harvoin. Malli rakentaa itselleen kielen, jossa on omat "yleissanat" ja erikoistermit.

Mitä halvempi päättely tarkoittaa lukijalle

Päättelytokenit ovat tällä hetkellä yksi suurimmista API-kustannuseristä OpenAI:n ja Anthropicin reasoning-malleissa. Yksi vastaus voi syödä kymmeniä tuhansia tokeneita pelkkään ajatteluun. Jos saman tarkkuuden saa kymmenkertaisesti vähemmillä tokeneilla, kuukausilaskut kutistuvat ja vastaukset tulevat nopeammin näytölle.

Suomalaisille yrityksille, jotka käyttävät kielimalleja sopimusten analyysiin, monikieliseen asiakastukeen tai työnkulkujen automaatioon, säästö siirtää rajaa siitä, mitä pilotteja kannattaa skaalata tuotantoon. Tavalliselle käyttäjälle hiljaisempi päättely näkyy nopeampina chat-vastauksina ja halvempina palveluina.

Kun kone vaikenee, kuka tarkistaa?

Anthropicin huhtikuussa 2025 julkaisema tutkimus osoitti, etteivät nykyisetkään sanalliset ajatusketjut ole täysin uskollisia. Claude 3.7 Sonnet kertoi käyttäneensä saamiaan vihjeitä vain 25 prosentissa tapauksista, DeepSeekin R1 39 prosentissa. Kun ajatusketju tiivistetään lukukelvottomiksi erikoistokeneiksi, valvojan työ käy entistä vaikeammaksi.

Tutkijat itse esittävät, että abstrakti päättelykieli voi olla periaatteessa avoimena tulkinnalle: jos tokeneilla on tilastollisesti toistuvia merkityksiä, niitä varten voitaisiin kouluttaa erillinen "tulkki", joka kääntää erikoistokenit takaisin ihmisluettavaksi tekstiksi. Sama lupaus on kuitenkin annettu monen muun mustan laatikon avaamisesta, eikä koskaan lunastettu kokonaan.

Käytännössä sääntelijä, joka yrittää tarkistaa esimerkiksi terveydenhuollon tekoälyn diagnoosipäättelyä, joutuu valitsemaan kahden vaihtoehdon väliltä: kymmenkertaisesti kalliimpi sanallinen päättely tai halvempi mutta hämärä erikoistoken-vaihtoehto. Sama valinta odottaa myös EU:n tekoälyasetuksen noudattamista valvovia viranomaisia, ja todennäköisesti hinta painaa vaakakupissa enemmän kuin selitettävyys.

Abstract-CoT ei ole ensimmäinen yritys siirtää kielimallien päättelyä piilevälle tasolle. Compressed Chain-of-Thought ja Token Assorted ovat tavoitelleet samaa: vähemmän tokeneita, sama päättelykyky. Yli kymmenkertaista säästöä useilla benchmarkeilla yhtaikaa ei kukaan ole tähän asti saavuttanut.

Jos menetelmä päätyy tuotantomalleihin – mikä on todennäköistä, kun kustannuspaine on kova – ihmisen ja koneen yhteinen kieli kapenee yhden askeleen. Sillä on hintansa, joka ei näy kuukausilaskussa.