Nvidian haastaja rakensi sirun vain transformereille

Kahden Harvardin opintonsa keskeyttäneen perustama sirufirma Etched on noussut viiden miljardin dollarin arvoon ja kirjannut jo miljardin dollarin edestä tilauksia. Erikoista on se, että yhtiö ei ole vielä toimittanut asiakkaille ainuttakaan sirua. Tilauskirja kertoo kysynnästä vaihtoehdolle, joka haastaa Nvidian hallitseman inferenssimarkkinan.

Perustajat Gavin Uberti ja Robert Wachen jättivät Harvardin kesken ja saivat Thiel-stipendin. Vielä vuonna 2023 heidän oli vaikea saada sijoittajia kiinnostumaan ideasta. Nyt takana on 800 miljoonan dollarin rahoitus ja poikkeuksellisen nimekäs joukko sijoittajia.

Yksi siru, yksi tehtävä

Etchedin veto on radikaali yksinkertaistus. Sen Sohu-siru osaa ajaa vain yhdenlaista tekoälymallia: transformer-arkkitehtuuriin perustuvaa. Juuri transformer on kaikkien nykyisten suurten kielimallien perusta, olipa kyse OpenAI:n GPT:stä, Anthropicin Claudesta tai Googlen Geministä.

Nvidian grafiikkasirut ovat yleiskäyttöisiä. Ne taipuvat moneen, mikä on samalla niiden vahvuus ja heikkous. Kun Etched luopuu joustavuudesta, se voi omistaa koko piisirun yhdelle tehtävälle. Yhtiön mukaan tämä tarkoittaa moninkertaista suorituskykyä samalla piipinta-alalla.

Nopeampi ja halvempi, ainakin paperilla

Etchedin lupaukset ovat kovia. Yhtiön mukaan yksi kahdeksan Sohu-sirun palvelin vastaa noin 160:tä Nvidian H100-grafiikkasirua ja ajaa Llama 70B -mallia yli 500 000 tokenin sekuntivauhtia. Nämä ovat toistaiseksi yhtiön omia lukuja, joita riippumattomat testit eivät ole vahvistaneet.

Sivustollaan Etched kuvaa kahta tekniikkaa. Low Voltage Inference ajaa suuria malleja matalalla jännitteellä ilman lämpörajoituksia, ja Cluster Scale Memory yhdistää HBM- ja SRAM-muistia suureen läpäisyyn. Ensimmäiset laitekaapit on määrä toimittaa tänä kesänä.

Mitä miljardin tilauskanta kertoo

Miljardin dollarin tilauskanta on iso luku, mutta se kannattaa suhteuttaa. Tilaukset eivät ole vielä liikevaihtoa, eikä siruja ole toimitettu. Kyse on ennakkositoumuksista tuotteeseen, jota asiakkaat vasta testaavat.

Silti signaali on selvä. Sijoittajien joukossa on kauppahuoneita kuten Jane Street, Hudson River Trading ja Two Sigma, joille millisekunnit ovat rahaa. Enkelisijoittajina ovat mukana tekoälytutkijat Andrej Karpathy, Geoffrey Hinton ja Fei-Fei Li. Sekä raha että osaaminen uskovat, että inferenssiin kannattaa rakentaa erikoissirua.

Mitä tämä tarkoittaa Euroopalle

Inferenssi, eli valmiin mallin ajaminen käyttäjien kyselyihin, on kasvanut tekoälyn suurimmaksi kustannuseräksi. Se kuluttaa sähköä ja sitoo laitteistoa jatkuvasti, toisin kuin kertaluontoinen mallien koulutus. Jos erikoissiru leikkaa inferenssin hintaa ja sähkönkulutusta, se näkyy suoraan datakeskusten taloudessa.

Suomessa on kylmää ilmaa ja verrattain edullista sähköä, mikä on houkutellut datakeskusinvestointeja. Tehokkaampi inferenssilaitteisto voisi parantaa näiden keskusten kilpailukykyä. Tavalliselle käyttäjälle halvempi inferenssi näkyy pidemmällä aikavälillä edullisempina tekoälypalveluina, kun mallien ajaminen ei maksa yhtä paljon.

Kaikki tai ei mitään

Etchedin veto on juuri niin binäärinen kuin miltä se kuulostaa. Siru on sidottu transformeriin, joten jos tekoälykenttä siirtyy jonain päivänä toisenlaiseen arkkitehtuuriin, Sohusta tulee kallis erikoistyökalu ilman käyttöä. Juuri siksi Nvidian yleiskäyttöisyys on sille myös vakuutus.

Kilpailu ei rajoitu Nvidiaan ja Etchediin. Samoilla markkinoilla ovat Cerebras, Groq sekä Amazonin, Googlen ja OpenAI:n omat sirut. Etched lyö vetoa siitä, että transformer pysyy tekoälyn selkärankana vielä vuosia. Toistaiseksi veto näyttää pitävän.