Kahden Harvardin opintonsa keskeyttäneen perustama sirufirma Etched on noussut viiden miljardin dollarin arvoon ja kirjannut jo miljardin dollarin edestä tilauksia. Erikoista on se, että yhtiö ei ole vielä toimittanut asiakkaille ainuttakaan sirua. Tilauskirja kertoo kysynnästä vaihtoehdolle, joka haastaa Nvidian hallitseman inferenssimarkkinan.
Perustajat Gavin Uberti ja Robert Wachen jättivät Harvardin kesken ja saivat Thiel-stipendin. Vielä vuonna 2023 heidän oli vaikea saada sijoittajia kiinnostumaan ideasta. Nyt takana on 800 miljoonan dollarin rahoitus ja poikkeuksellisen nimekäs joukko sijoittajia.
Yksi siru, yksi tehtävä
Etchedin veto on radikaali yksinkertaistus. Sen Sohu-siru osaa ajaa vain yhdenlaista tekoälymallia: transformer-arkkitehtuuriin perustuvaa. Juuri transformer on kaikkien nykyisten suurten kielimallien perusta, olipa kyse OpenAI:n GPT:stä, Anthropicin Claudesta tai Googlen Geministä.
Nvidian grafiikkasirut ovat yleiskäyttöisiä. Ne taipuvat moneen, mikä on samalla niiden vahvuus ja heikkous. Kun Etched luopuu joustavuudesta, se voi omistaa koko piisirun yhdelle tehtävälle. Yhtiön mukaan tämä tarkoittaa moninkertaista suorituskykyä samalla piipinta-alalla.
Mikä on Sohu?
Sohu on niin sanottu ASIC-siru eli tiettyyn tehtävään rakennettu piiri. Toisin kuin yleiskäyttöinen grafiikkasiru, se on suunniteltu ajamaan vain transformer-malleja. Erikoistuminen tuo nopeutta, mutta poistaa joustavuuden.
“Jos transformerit katoavat, me kuolemme. Mutta jos ne jäävät, meistä tulee yksi maailman arvokkaimmista yhtiöistä.”
Nopeampi ja halvempi, ainakin paperilla
Etchedin lupaukset ovat kovia. Yhtiön mukaan yksi kahdeksan Sohu-sirun palvelin vastaa noin 160:tä Nvidian H100-grafiikkasirua ja ajaa Llama 70B -mallia yli 500 000 tokenin sekuntivauhtia. Nämä ovat toistaiseksi yhtiön omia lukuja, joita riippumattomat testit eivät ole vahvistaneet.
Sivustollaan Etched kuvaa kahta tekniikkaa. Low Voltage Inference ajaa suuria malleja matalalla jännitteellä ilman lämpörajoituksia, ja Cluster Scale Memory yhdistää HBM- ja SRAM-muistia suureen läpäisyyn. Ensimmäiset laitekaapit on määrä toimittaa tänä kesänä.
Mitä miljardin tilauskanta kertoo
Miljardin dollarin tilauskanta on iso luku, mutta se kannattaa suhteuttaa. Tilaukset eivät ole vielä liikevaihtoa, eikä siruja ole toimitettu. Kyse on ennakkositoumuksista tuotteeseen, jota asiakkaat vasta testaavat.
Silti signaali on selvä. Sijoittajien joukossa on kauppahuoneita kuten Jane Street, Hudson River Trading ja Two Sigma, joille millisekunnit ovat rahaa. Enkelisijoittajina ovat mukana tekoälytutkijat Andrej Karpathy, Geoffrey Hinton ja Fei-Fei Li. Sekä raha että osaaminen uskovat, että inferenssiin kannattaa rakentaa erikoissirua.
Mitä tämä tarkoittaa Euroopalle
Inferenssi, eli valmiin mallin ajaminen käyttäjien kyselyihin, on kasvanut tekoälyn suurimmaksi kustannuseräksi. Se kuluttaa sähköä ja sitoo laitteistoa jatkuvasti, toisin kuin kertaluontoinen mallien koulutus. Jos erikoissiru leikkaa inferenssin hintaa ja sähkönkulutusta, se näkyy suoraan datakeskusten taloudessa.
Suomessa on kylmää ilmaa ja verrattain edullista sähköä, mikä on houkutellut datakeskusinvestointeja. Tehokkaampi inferenssilaitteisto voisi parantaa näiden keskusten kilpailukykyä. Tavalliselle käyttäjälle halvempi inferenssi näkyy pidemmällä aikavälillä edullisempina tekoälypalveluina, kun mallien ajaminen ei maksa yhtä paljon.
Tekoälymallien arkkitehtuuri eli perusrakenne, joka oppii tekstin sanojen väliset yhteydet. Se on lähes kaikkien nykyisten kielimallien, kuten ChatGPT:n ja Clauden, pohjana.
Token
Tekstin perusyksikkö, jonka kielimalli käsittelee. Yksi token on noin puoli suomen sanaa, joten 500 000 tokenia sekunnissa tarkoittaa valtavaa tekstimäärää.
Kaikki tai ei mitään
Etchedin veto on juuri niin binäärinen kuin miltä se kuulostaa. Siru on sidottu transformeriin, joten jos tekoälykenttä siirtyy jonain päivänä toisenlaiseen arkkitehtuuriin, Sohusta tulee kallis erikoistyökalu ilman käyttöä. Juuri siksi Nvidian yleiskäyttöisyys on sille myös vakuutus.
Kilpailu ei rajoitu Nvidiaan ja Etchediin. Samoilla markkinoilla ovat Cerebras, Groq sekä Amazonin, Googlen ja OpenAI:n omat sirut. Etched lyö vetoa siitä, että transformer pysyy tekoälyn selkärankana vielä vuosia. Toistaiseksi veto näyttää pitävän.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.