Biljoonan parametrin malli ilman Nvidiaa
DeepSeek julkaisee tällä viikolla V4-mallinsa – biljoonan parametrin multimodaalimallin, joka on rakennettu pyörimään kiinalaisella raudalla Nvidian sijaan. Kyseessä on yhtiön ensimmäinen suuri julkaisu sitten tammikuun 2025 R1-päättelymallin, joka aiheutti aikanaan niin sanotun Sputnik-hetken amerikkalaiselle teknologiateollisuudelle.
Financial Timesin lähteiden mukaan DeepSeek on työskennellyt Huawein ja Cambriconin kanssa optimoidakseen V4:n näiden valmistajien uusimmalle raudalle. Malli tuottaa tekstiä, kuvia ja videota. Julkaisun ajoitus ei ole sattumaa: Kiinan kansankongressi kokoontuu 4.–5. maaliskuuta, ja samalla hyväksytään maan 15. viisivuotissuunnitelma, joka painottaa tekoälyä ja puolijohdeomavaraisuutta.
Biljoona parametria, 32 miljardia kerrallaan
V4:n arkkitehtuuri perustuu Mixture of Experts -rakenteeseen (MoE), jossa mallin biljoona parametria jakautuu satoihin erikoistuneisiin aliverkkoihin. Jokaiselle syötteelle aktivoituu vain noin 32 miljardia parametria kerrallaan, kun 16 asiantuntijaverkkoa valitaan per kerros. Tämä harva aktivointi tekee mallista tehokkaan pyörittää, vaikka kokonaisparametrimäärä on valtava.
Toinen keskeinen innovaatio on DeepSeek Sparse Attention (DSA), joka mahdollistaa jopa miljoonan tokenin konteksti-ikkunan. DSA käyttää kevyttä indeksointimallia, joka poimii 2 048 olennaisinta tokenia kontekstista sen sijaan, että koko syöte käsiteltäisiin kerralla. DeepSeekin mukaan tämä vähentää laskentakuormaa 50 prosenttia verrattuna perinteisiin Transformer-malleihin.
Huawein ja Cambriconin sirujen todellisuus
Huawein Ascend 910C on kiinalaisen siruteollisuuden lippulaiva. Se tarjoaa 800 teraflopsia FP16-laskentatehoa ja 128 gigatavua HBM3-muistia – muistia on siis enemmän kuin Nvidian H100:ssa, jossa sitä on 80 gigatavua. Päättelysuorituskyvyssä Ascend 910C yltää kuitenkin vain noin 60 prosenttiin H100:n tasosta DeepSeekin omien testien perusteella. Raaka laskentateho ei yllä samalle tasolle, mutta muistikapasiteetti antaa etua suurten mallien ajamisessa.
Ascend 910C:n merkittävin heikkous on sirujen välinen tiedonsiirto. Piiri valmistetaan SMIC:n 7 nanometrin prosessilla, ja sen yhteenliitäntäteknologia jää Nvidian NVLink-ratkaisusta selvästi. Päättelyssä tämä ei ole ongelma, koska yksittäisiä kyselyitä voidaan käsitellä rinnakkain. Koulutuksessa hitaat yhteydet muodostuvat sen sijaan pullonkaulaksi.
Cambricon tuo peliin Siyuan 590- ja tulevan Siyuan 690 -sirun. Yhtiö tavoittelee 500 000 sirun toimituksia vuonna 2026, mutta valmistuksen saantoaste on huolestuttavan matala – vain noin 20 prosenttia siruista läpäisee laadunvalvonnan. Cambricon on silti onnistunut rakentamaan ohjelmistoekosysteemiä: yhtiö on julkaissut avoimen lähdekoodin päättelymoottorin vLLM-MLU:n, joka tukee DeepSeekin malleja suoraan.
“Pitkäkestoisen koulutuksen luotettavuus on kiinalaisten prosessorien kriittinen heikkous. Nvidia on rakentanut laitteiston ja ohjelmiston yhteensopivuutta yli kahdenkymmenen vuoden ajan.”



