Moonshot AI julkaisi tällä viikolla Kimi K3:n, avoimen kielimallin, jonka kokonaisparametrimäärä on 2,8 biljoonaa. Se tekee siitä suurimman julkisesti saatavilla olevan mallin, jonka kuka tahansa voi periaatteessa ladata ja ajaa omilla koneillaan. Kiinnostavaa ei kuitenkaan ole pelkkä koko, vaan se, miten malli on rakennettu.
Kimi K3 on niin sanottu Mixture-of-Experts -malli eli MoE. Sen 2,8 biljoonaa parametria on jaettu 896 asiantuntijaan, joista jokaista tokenia laskettaessa aktivoidaan vain 16. Käytännössä malli käyttää kerrallaan alle kahta prosenttia painoistaan. Tämä on ratkaiseva ero perinteisiin tiheisiin malleihin: koko on valtava, mutta laskenta pysyy hallittavana, koska koneisto herää eloon vain tarpeen mukaan.
Uusi tapa katsoa pitkää kontekstia
Mallin näyttävin arkkitehtuurinen uutuus on Kimi Delta Attention, lyhyesti KDA. Se on hybridimuoto lineaarisesta attentiosta, ja sen tehtävä on ratkaista se pullonkaula, joka vaivaa lähes kaikkia suuria malleja: mitä pidempi teksti mallille syötetään, sitä raskaammaksi jokaisen uuden sanan tuottaminen käy. Moonshotin mukaan KDA purkaa miljoonan tokenin kontekstin jopa 6,3 kertaa nopeammin kuin aiempi lähestymistapa.
Miljoonan tokenin ikkuna tarkoittaa käytännössä sitä, että malliin mahtuu kokonainen kirja, laaja koodikanta tai satojen sivujen sopimusaineisto yhdellä kertaa. Aiemmin tällaisen aineiston läpikäynti hidastui loppua kohti tuskastuttavasti. KDA:n idea on karsia sitä työtä, jonka malli tekee muistellessaan aiemmin näkemäänsä, ilman että vastausten laatu romahtaa.
KDA:n rinnalla malli hyödyntää Attention Residuals -mekanismia, joka Moonshotin mittauksissa nostaa koulutuksen tehokkuutta noin neljänneksellä alle kahden prosentin lisäkustannuksella. Näiden ratkaisujen yhteisvaikutus on se, että K3:n väitetään skaalautuvan noin 2,5 kertaa edeltäjäänsä Kimi K2:ta tehokkaammin.
Arkkitehtuuri vastaan raaka laskenta
Benchmark-tuloksissa K3 nousee kärkijoukkoon. Se johtaa koodausta mittaavassa Program Benchissä pisteellä 77,8 ja agenttitehtäviä testaavassa BrowseComp-kokeessa lukemalla 91,2. Dokumenttien käsittelyssä OmniDocBench antaa mallille 91,1 pistettä. Vaativimmissa ohjelmistotehtävissä K3 jää niukasti Claude Fable 5:n ja GPT 5.6 Solin taakse, mutta ero länsimallien huippuun on kaventunut selvästi.
Tässä on koko uutisen ydin. Länsilaboratoriot OpenAI, Anthropic ja Google ovat pitkälti hakeneet lisää suorituskykyä kasvattamalla laskentaa: enemmän piirejä, enemmän sähköä, isommat konesalit. Moonshot on valinnut toisen tien. Kimi K3:n edistysaskeleet ovat ennen muuta rakenteellisia, ei laskennallisia. KDA ja harva asiantuntijaverkko tarkoittavat, että sama tulos syntyy pienemmällä laskutaakalla.
Valinta ei ole sattumaa. Kiinalaisten toimijoiden pääsyä huippuluokan piireihin on rajoitettu vientisäännöillä, joten tehokkuudesta on tullut pakon sanelema kilpailuetu. Kun raaka laskenta ei ole rajattomasti saatavilla, se on pakko käyttää fiksummin.
