Will DePue työskenteli OpenAI:lla muun muassa Sora-videomallin, GPT-4o:n ja o3:n parissa. Nykyään hän johtaa voittoa tavoittelematonta Unemployment Labsia. Se julkaisi 12. marraskuuta raportin, jonka väite on poikkeuksellisen suora.
DePuen mukaan neljä kiinalaista tekoäly-yhtiötä, DeepSeek, Moonshot AI, MiniMax ja Ant Group, on luonut ainakin kuusi kielimalliaan Nvidian Blackwell-siruilla. Yhdysvaltain vientirajoitukset kieltävät näiden sirujen myynnin Kiinaan.
Kuten AI Suomi aiemmin kertoi, aiempi raportti koski sitä, mitä DeepSeekille oli luvattu. DePue väittää nyt nähneensä jäljen siitä, mitä yhtiöt todella käyttivät. Todisteeksi hän ei tarjoa vuotoja tai nimettömiä lähteitä vaan mallit itse.
“Todisteet perustuvat kokonaan mallien omiin julkaistuihin painoihin eivätkä vuotoihin tai sisäpiiriläisten kertomuksiin.”
Sormenjälki jää sanoihin, joita kukaan ei käytä
Menetelmä perustuu siihen, miten malli syntyy. Ennen koulutusta sen miljardit painot täytetään satunnaisluvuilla. Näytönohjain jakaa tämän työn laskentaytimilleen, ja ytimien määrä vaihtelee sirusukupolven mukaan: Nvidian edellisen polven Hopper-siruissa (H100, H800) niitä on 132, Blackwell-siruissa 148 tai 152.
Työn jakaminen jättää satunnaislukuihin pienen säännönmukaisuuden, joka paljastaa ytimien määrän. Koulutus hävittää sen lähes kaikkialta. Ei kuitenkaan aivan kaikkialta.
Mallin sanastossa on merkkejä, joita koulutusaineistossa ei käytännössä esiinny. Niihin liittyvät painot jäävät lähes ennalleen, kuin sormenjälki ovenkahvaan, johon kukaan ei ole sen jälkeen koskenut. DePue lukee nämä jäljet suoraan julkisesti saatavilla olevista painotiedostoista.
Menetelmää testattiin 24 kontrollimallilla, joiden laitteisto tiedettiin etukäteen. Yksi niistä oli Metan H100-siruilla koulutettu Llama 3.1. DePuen mukaan menetelmä tunnisti kaikkien laitteiston oikein. DeepSeek-V4-Flashin ja Kimi K3:n tulokset hän kertoo toistaneensa oikeilla B300- ja GB200-siruilla.
Kuusi mallia, neljä yhtiötä
Raportin mukaan 148 ytimen Blackwell-jälki (B200/B300) löytyy DeepSeek-V4-Flashista ja MiniMax-M3:sta. 152 ytimen jälki (GB200/GB300) näkyy DeepSeek-V4-Prossa, Moonshotin Kimi K3:ssa ja K3.1-Prossa sekä Ant Groupin Ling-3.1-flashissa.
Samojen yhtiöiden vanhemmissa malleissa, kuten DeepSeek-V3:ssa, Kimi K2.5:ssä, MiniMax-M2.7:ssä ja Ling-3.0-flashissa, on Hopper-jälki. Siitä ei voi päätellä paljon, sillä menetelmä ei erota Kiinaan aikanaan sallittua H800:aa kielletyistä H100- ja H200-siruista. Alibaban Qwen3.8:sta sekä Zhipun, Tencentin, Xiaomin ja StepFunin malleista löytyi vain Hopper-jälki. Meituanin LongCat-2.0:n jälki viittaa Huawein siruihin.
The Decoderin yhteenvedon mukaan tarkastellut koulutusajot olisivat vaatineet yhteensä noin 12 000 Blackwell-sirua, ja laitteiston arvo olisi yli 500 miljoonaa dollaria. Luvut ovat karkeita. DePue korjasi laskelmia jo julkaisupäivänä, koska ensimmäinen versio oletti sirujen toimivan yhtä tehokkaasti kuin Nvidian omissa vertailuissa.
Mitä raportti ei todista
Kyse on yksittäisen tutkijan ja hänen tiiminsä väitteestä, jota kukaan ulkopuolinen ei ole julkisesti vahvistanut. The Decoderin mukaan DePue sanoo OpenAI:n ja Anthropicin kokeneiden tutkijoiden tarkistaneen tulokset, mutta raportti itse ei nimeä ulkopuolisia tarkastajia. Koodi ja säilötyt painot ovat GitHubissa, joten kuka tahansa voi ajaa tarkistukset uudelleen.
Jälki kertoo, millä laitteella painot alustettiin. Se ei kerro, millä laitteella koko koulutus tehtiin. Myös vientirajoitusten alainen AMD MI300X voisi periaatteessa tuottaa saman kuvion, ja DePue kertoo sulkeneensa AMD:n pois vain DeepSeek-V4-Flashin kohdalla.
Painoista ei näe sirujen sijaintia eikä omistajaa. Kiinalaisyhtiöt voivat vuokrata laskentatehoa Kiinan ulkopuolisista datakeskuksista.
“Löydöksemme ovat teknistä näyttöä pääsystä kehittyneeseen laskentalaitteistoon, mutta ne eivät osoita, missä sirut sijaitsivat, miten pääsy saatiin tai rikottiinko vientirajoituksia.”
Näytönohjaimen laskentaydin, joka suorittaa monta laskutoimitusta yhtä aikaa. Ytimien määrä vaihtelee sirumallin mukaan, joten luvusta voi päätellä, mistä sirusta on kyse.
Merkki (token)
Kielimallin sanaston perusyksikkö, esimerkiksi sana, sanan osa tai välimerkki. Mallin sanastossa voi olla merkkejä, joita sen koulutusaineistossa ei juuri esiinny.
Sama kiista näkyy Anthropicin pörssiannissa
Nvidia, DeepSeek, Moonshot, MiniMax ja Ant Group eivät ole kommentoineet raporttia julkisesti. Yhdysvaltain viranomaiset ja tiedotusvälineet ovat epäilleet DeepSeekin ja Moonshotin Blackwell-käyttöä aiemminkin, mutta teknistä näyttöä ei ole julkaistu.
Raportti osuu viikolle, jolloin vientivalvonta näkyy myös rahoitusmarkkinoilla. Bloombergin mukaan useat pankit ovat hylänneet Manner-Kiinasta ja Hongkongista tulleita merkintöjä Anthropicin listautumisantiin. Osa niistä on vedonnut Yhdysvaltain puolustustarvikkeiden vientisääntöihin (ITAR). Anthropic kieltäytyi kommentoimasta. Osakkeen hinta on määrä vahvistaa 18. marraskuuta.
Anthropic on aiemmin syyttänyt kolmea DePuen raportissa mainittua yhtiötä, DeepSeekiä, Moonshotia ja MiniMaxia, Clauden vastausten luvattomasta hyödyntämisestä noin 16 miljoonan kyselyn avulla. Yhdysvaltalaisille tekoäly-yhtiöille kysymys on siis myös kilpailusta eikä pelkästään kauppapolitiikasta.
Suomalaisyrityksille asia ei ole kaukainen. Moni käyttää DeepSeekin tai Kimin avoimia malleja omilla palvelimillaan, koska ne ovat halpoja ja hyviä. Jos Washington päättää, että mallit on tehty kielletyillä siruilla, seuraukset voivat kohdistua yhtiöihin ja niiden palveluihin. Katse voi kääntyä myös niihin datakeskuksiin, jotka vuokraavat Blackwell-kapasiteettia Kiinan ulkopuolella.
Jälki on helppo pyyhkiä
Menetelmän vahvuus on avoimuus: kuka tahansa voi tarkistaa väitteen, ja riippumattomia tarkistuksia on odotettavissa pian. Heikkous liittyy samaan asiaan. Kun kiinalaislaboratoriot tietävät, mitä etsitään, jäljen pyyhkimiseen riittäisi todennäköisesti se, että painot alustetaan toisella laitteella tai käyttämättömät sanastorivit nollataan. DePuen menetelmä ei välttämättä toimi enää seuraavien mallien kohdalla.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
