Ilmainen tekoälymalli, jonka ajaminen vaatii 18 näytönohjainta

Kiinalainen tekoäly-yhtiö Moonshot AI julkaisee Kimi K3:n painokertoimet 27. heinäkuuta kello 00.00 UTC, Suomen aikaa kolmelta aamuyöllä. 2,8 biljoonan parametrin malli on kooltaan suurin vapaasti ladattavaksi asetettu kielimalli, mitä tähän mennessä on nähty. Latauslinkki ei silti ratkaise sitä ongelmaa, joka useimmilla kiinnostuneilla on.

Malli tuli maksulliseen käyttöön aiemmin kesällä, ja kysyntä ylitti kapasiteetin niin pahasti, että Moonshot sulki oven uusilta tilaajilta – kuten AI Suomi aiemmin kertoi. Painokertoimien julkaisu luvattiin jo silloin. Nyt tiedossa ovat myös mitat.

MXFP4-kvantisoituna eli neljän bitin liukulukumuodossa paketti on noin 1,4 teratavua. Kuudentoista bitin tarkkuudella sama malli veisi noin 5,6 teratavua. Kimi K3 on sekaosaajamalli, jossa yhtä tokenia kohti aktivoituu vain noin 50 miljardia parametria, mutta koko 2,8 biljoonan joukon on oltava muistissa koko ajan, koska mikä tahansa niistä voi olla seuraavaksi vuorossa. Konteksti-ikkuna on miljoona tokenia.

Kahdeksantoista korttia, ja siitä se vasta alkaa

Muisti on tässä sitova rajoite, ei laskentateho. Julkaisua ennakoineessa teknisessä analyysissä 1,4 teratavun mahduttaminen tarkoittaa suuruusluokaltaan kahdeksaatoista 80 gigatavun kiihdytintä eli käytännössä H100-korttia. Uudemmalla Blackwell- tai MI400-sukupolven raudalla, jossa muistia on 192 gigatavua kortilla, sama onnistuisi kahdeksalla.

Luku on julkaisuhetkellä laskennallinen. Kukaan ulkopuolinen ei ole vielä ajanut mallia, Moonshot ei ole julkaissut virallisia laitteistosuosituksia eikä lisenssiehtojakaan ole nähty – yhtiön oman kehystyksen mukaan ne saapuvat vasta julkaisun mukana.

Mitä tämä maksaisi suomalaiselle yritykselle

Pilvestä ei vuokrata kahdeksaatoista korttia. Vuokrattava yksikkö on kahdeksan kortin solmu, joten käytännön minimi on kolme solmua eli 24 H100-korttia. Lambdan listahinta kahdeksan kortin instanssissa on 3,99 dollaria kortilta tunnissa, RunPodin vastaava 2,99 dollaria. Kolmelle solmulle se tekee 72–96 dollaria tunnissa.

Ympärivuorokautisessa ajossa summa on noin 52 000–69 000 dollaria kuukaudessa, karkeasti 45 000–65 000 euroa. Suomalaisessa mittakaavassa se vastaa kuuden tai seitsemän kokoaikaisen ohjelmistokehittäjän kokonaiskustannusta. Hinta juoksee myös silloin, kun kukaan ei kysy mallilta mitään, koska painokertoimet on pidettävä muistissa jatkuvasti.

Uudempi rauta on tässä tapauksessa halvempaa, mikä ei ole itsestään selvää. Kahdeksan B200-korttia maksaa noin 47–54 dollaria tunnissa eli reilut 35 000 dollaria kuukaudessa, koska muistia on kortilla enemmän ja kortteja tarvitaan vähemmän. Kahdeksan 180 gigatavun kortin yhteismuisti on kuitenkin 1,44 teratavua, eli painokertoimien jälkeen tilaa jää neljäkymmentä gigatavua. Miljoonan tokenin kontekstin välimuistille se ei riitä lähimainkaan, joten realistinen kokoonpano on tätäkin isompi.

Kenelle malli on oikeasti auki

Pienempien avointen mallien vetovoima on ollut siinä, että ne kannettiin läppärille ja ajettiin ilman ulkopuolista palveluntarjoajaa. Se reitti ei ulotu 1,4 teratavuun. Käytännön ajajiksi jäävät inferenssipalveluiden tarjoajat, pilviyhtiöt ja kourallinen isoja yrityksiä, joilla on valmiiksi Blackwell- tai MI400-luokan konesali.

Suomessa muistia riittäisi periaatteessa Kajaanin LUMI-supertietokoneella, jonka grafiikkasolmuissa on neljä AMD:n MI250X-kiihdytintä ja 512 gigatavua muistia solmua kohti. Karkeasti kolme solmua kattaisi painokertoimet. Kyseinen sukupolvi ei kuitenkaan tue MXFP4-formaattia natiivisti, joten painot pitäisi purkaa suurempaan tarkkuuteen – ja silloin ollaan lähempänä 5,6 teratavua ja yli kymmentä solmua. Tämäkin on arvio, ei testattu kokoonpano.

Suomalaiselle pk-yritykselle, sairaanhoitopiirille tai kunnalle ero on olennainen. Avoimet painokertoimet ovat olleet se argumentti, jolla arkaluontoisen datan käsittely on pystytty pitämään omissa käsissä: malli ladataan taloon, eikä potilastieto tai asiakasrekisteri lähde ulos. Tämän kokoluokan mallissa lupaus pätee vain niille, joilla on jo konesali. Muut vuokraavat mallin rajapintana joko Moonshotilta tai pilviyhtiöltä, eli päätyvät samaan toimittajariippuvuuteen, jota olivat pakenemassa – nyt vain useammalla vaihtoehtoisella toimittajalla.

Avoimuuden mittari on siis siirtymässä. Vielä pari vuotta sitten ratkaiseva kysymys oli, saako painokertoimet ladata. Kimi K3:n kohdalla lataaminen on helppo osuus, ja erotteleva kysymys on, kenellä on varaa pitää malli päällä. Se on eri kysymys kuin lisenssiehdot, joita ei julkaisua edeltävänä päivänä ole vielä nähty – ja jotka ehtivät ratkaista vain sen, mitä mallilla saa tehdä, ei sitä, kuka sen ylipäätään käynnistää.