Thinking Machines astui markkinoille avomallilla
Mira Muratin perustama Thinking Machines julkaisi keskiviikkona ensimmäisen tekoälymallinsa. Inkling on avoin malli, jonka painot kuka tahansa voi ladata ja muokata. Yhtiö ei kuitenkaan lupaa markkinoiden parasta suorituskykyä, päinvastoin.
Muratin taustalla on OpenAI:n teknologiajohtajan pesti. Hänen yhtiönsä pysyi pitkään poissa julkisuudesta, ja nyt ensimmäinen tuote on ulkona. Inkling rakennettiin yrityksen mukaan noin yhdeksässä kuukaudessa, kun vertailukohtina esitetyt suuret laboratoriot tarvitsivat vuosia.
Iso malli, joka käyttää vain murto-osaa itsestään
Inklingin kokonaiskoko on 975 miljardia parametria, mutta yhtä tehtävää ratkoessaan se aktivoi niistä vain noin 41 miljardia. Kyse on MoE-arkkitehtuurista eli asiantuntijasekoituksesta (mixture of experts).
Käytännössä malli on jaettu lukuisiin osaverkkoihin, ja jokainen kysymys ohjataan vain niille asiantuntijoille, jotka siihen parhaiten sopivat. Loput parametrit lepäävät. Näin malli saa suuren mallin tietämyksen mutta pienemmän mallin laskentakustannukset.
Inkling on koulutettu 45 biljoonalla tokenilla, joukossa tekstiä, kuvaa, ääntä ja videota. Se ymmärtää siis useaa syötemuotoa, mutta tuottaa toistaiseksi vain tekstiä, koodi ja rakenteinen data mukaan lukien.
“Inkling ei ole tänään saatavilla olevista malleista vahvin, ei avoin eikä suljettu.”
Miksi julkaista malli, jonka myöntää häviävän?
Yhtiön veto ei ole raaka suorituskyky vaan muokattavuus ja hinta. Avoimet painot tarkoittavat, että yritys voi ladata mallin omalle palvelimelleen ja hienosäätää sen omaan käyttöönsä. Thinking Machines tarjoaa tähän Tinker-nimisen alustan, jolla mallia hienosäädetään ja ajetaan.
Räätälöity malli voi kapeassa tehtävässä päihittää yleismallin. Yhtiö kertoo tehneensä yhteistyötä sijoitusjätti Bridgewaterin kanssa: talouspäättelyn testeissä hienosäädetty Inkling ylsi 84,7 prosenttiin ja voitti suljetut mallit, mutta maksoi ajaa noin neljästoistaosan niiden hinnasta.
Edullisuus näkyy myös laskennassa. Yhtiön mukaan Inkling saavuttaa Nvidian Nemotron 3 Ultraan verrattavan koodaustuloksen kolmasosalla tokenimäärästä. Vähemmän tokeneita tarkoittaa vähemmän koneaikaa ja pienempää laskua.
Avomallien kenttä käy ahtaaksi
Avoimien mallien tarjonta on kasvanut nopeasti. Nvidia on työntänyt omia Nemotron-mallejaan ja Meta on pitänyt Llama-linjaansa auki kehittäjille. Näihin verrattuna Thinking Machines ei kilpaile huipputuloksilla vaan sillä, että malli taipuu asiakkaan muottiin.
Rahansa yhtiö aikoo tehdä Tinker-alustan koulutus- ja ajopalveluista, ei itse mallin lisenssistä. Inkling koulutettiin Nvidian GB300 NVL72 -järjestelmillä, ja varhaisessa jälkikoulutuksessa hyödynnettiin muiden avomallien tuottamaa dataa. Vastuun mallin turvallisesta käytöstä yhtiö siirtää muokkaajalle itselleen.
