Ranskalainen Mistral AI julkaisi maanantaina Small 4 -mallin: 119 miljardia parametria, 128 erikoistunutta asiantuntijamoduulia ja avoin Apache 2.0 -lisenssi. Julkistus tapahtui Nvidian vuotuisessa GTC-konferenssissa. Samalla Nvidia ilmoitti perustavansa Nemotron-koalition avoimen tekoälyn edistämiseksi ja nimesi Mistralin sen ensimmäiseksi kumppaniksi.
128 asiantuntijaa, mutta vain neljä töissä kerrallaan
Small 4 perustuu MoE-arkkitehtuuriin (Mixture of Experts), jossa malli jakautuu 128 erikoistuneeseen asiantuntijamoduuliin. Jokaista kyselyä kohden aktivoituu vain neljä asiantuntijaa eli noin kuusi miljardia parametria. Kokonaisparametrimäärä on 119 miljardia, mutta todellinen laskentakuorma vastaa murto-osaa siitä.
Perinteisessä tiheässä mallissa jokainen parametri osallistuu jokaiseen kyselyyn. MoE-lähestymistapa kääntää tämän päälaelleen: malli valitsee kuhunkin tehtävään sopivimmat asiantuntijat ja jättää loput lepotilaan. Tulos näkyy sekä nopeudessa että kustannuksissa. Mistralin mukaan Small 4 vastaa 40 prosenttia nopeammin ja käsittelee kolme kertaa enemmän kyselyjä sekunnissa kuin edeltäjänsä Small 3.
MoE ei ole uusi idea – Googlen tutkijat esittelivät periaatteen jo vuosia sitten – mutta Mistral on onnistunut pakkaamaan sen kaupallisesti kilpailukykyiseen ja täysin avoimeen malliin. Konteksti-ikkuna ulottuu 256 000 tokeniin, mikä riittää satojen sivujen dokumenttien käsittelyyn yhdellä kertaa. Yrityskäytössä tämä tarkoittaa, että Small 4 tarjoaa ison mallin kapasiteetin pienemmällä rautainvestoinnilla ja matalammilla käyttökustannuksilla.
Päättely, kuvat ja koodaus samassa paketissa
Small 4 yhdistää neljä aiemmin erillistä kykyä yhteen malliin: nopean ohjeistuksen seuraamisen, säädettävän päättelyn, kuvien tulkinnan ja agenttipohjaisen koodauksen. Aiemmin kehittäjän olisi pitänyt ketjuttaa useampi erikoismalli peräkkäin saadakseen vastaavan tuloksen.
Käytännössä yhdellä mallilla voi nyt rakentaa sovelluksen, joka analysoi kuvakaappauksen, päättelee mitä siinä näkyy ja kirjoittaa koodia ratkaisuksi. Uusi reasoning_effort-parametri antaa käyttäjälle hallinnan päättelyn syvyyteen: kevyemmällä asetuksella malli vastaa nopeasti, raskaammalla se tuottaa analyyttisempiä vastauksia Magistral-erikoismallin tasolla.
Benchmarkeissa Small 4 erottuu tiiviydellään. Mistralin mittauksissa mallin vastausten keskipituus on 1 600 merkkiä, kun kilpailijoilla vastaava luku on 5 800–6 100 merkkiä. LiveCodeBench-koodaustestissä malli päihittää GPT-OSS 120B:n samalla kun tuotettu koodi on 20 prosenttia lyhyempää. Tiiviyden merkitys on käytännöllinen: lyhyemmät vastaukset kuluttavat vähemmän laskentatehoa ja tulevat halvemmiksi.
Googlen Gemma 3:een ja OpenAI:n GPT-4o-miniin verrattuna Small 4 tuo harppauksen erityisesti monipuolisuudessa. Aiemmat pienet mallit ovat tyypillisesti erikoistuneet yhteen tai kahteen tehtävään. Mistral pyrkii osoittamaan, että yksi avoin malli voi hoitaa sen, mihin on aiemmin tarvittu useampaa. Pienemmille kehitystiimeille tämä on käytännössä iso asia: yksi malli on helpompi ottaa käyttöön ja ylläpitää kuin kolme.
Nvidia-koalitio ja avoin lisenssi
Julkistuksen ajoitus ei ollut sattumaa. Nvidia perusti samana päivänä Nemotron-koalition, jonka tehtävä on edistää avoimia huipputason perusmalleja. Kahdeksan perustajajäsenen joukossa ovat Mistralin lisäksi muun muassa koodieditori Cursor, hakukone Perplexity ja tekoälykehys LangChain. Koalition ensimmäinen hanke on yhteinen perusmalli, jonka Mistral ja Nvidia kehittävät DGX Cloud -infrastruktuurilla.
Apache 2.0 -lisenssi tarkoittaa, että kuka tahansa voi ladata Small 4:n, muokata sitä ja käyttää kaupallisissa sovelluksissa ilman rajoituksia. Kyseessä on yksi vapaimmista avoimen lähdekoodin lisensseistä. Tämä erottaa Small 4:n esimerkiksi Metan Llama-malleista, joissa käyttöehdot rajaavat suurimpia toimijoita pois. Eurooppalaisille yrityksille avoin lisenssi on erityisen arvokas: malleja voi räätälöidä omiin tarpeisiin ilman riippuvuutta suljetuista yhdysvaltalaisista palveluista.
Malli on ladattavissa Hugging Facesta ja käytettävissä Mistralin API:n sekä Nvidian NIM-alustan kautta. Ajaminen vaatii vähintään neljä Nvidia H100-näytönohjainta, joten kyseessä on palvelinluokan ratkaisu, ei kotikoneille tarkoitettu työkalu.
