Kehittäjä, joka avasi maanantaiaamuna Alibaba Cloudin mallilistan, löysi sieltä uuden nimen: qwen4-max. Kiinalaisen teknologiajätin uusi lippulaivamalli tuli maksulliseen rajapintaan viisi päivää sen jälkeen, kun yhtiö oli avannut siitä esiversion ilman testituloksia ja hintoja.
Perustiedot ovat selvät. Mallissa on 2,4 biljoonaa parametria, joista japanilaisen teknologiasivusto Xenospectrumin mukaan kunkin tokenin käsittelyyn osallistuu noin 71 miljardia. Konteksti-ikkuna on miljoona tokenia, joten malli voi lukea kerralla kokonaisen koodikannan tai satoja sivuja asiakirjoja. Isoimman mallin painoja Alibaba ei avaa.
Kovin väite kulki Bloombergin kautta. Alibaban mukaan Qwen4-Max voittaa koodaustesteissä Anthropicin Claude Fable 5.1:n ja kiinalaisen Moonshotin Kimi K3.1 Pron. Yhtiö kertoo myös, että keskimääräinen tehtäväkohtainen kustannus putosi yli 60 prosenttia edeltäjään Qwen3.8-Maxiin verrattuna.
Kenen mittarilla Qwen voittaa?
Kaikki nämä luvut ovat Alibaban omia. Yhtiö valitsi testit, ajoi ne ja julkaisi tulokset. Bloombergin uutisessa tai muissa lukemissamme lähteissä ei ollut nimeltä mainitun Alibaban edustajan kommenttia, vaan väitteet esitettiin yhtiön nimissä.
Riippumatonta vertailua ei maanantaina vielä ollut. Emme löytäneet Qwen4-Maxin tuloksia SWE-benchin julkiselta tulostaululta, ja ihmisten äänestyksiin perustuvan LMArenan (nykyään Arena) sivu ei avautunut meille. Uuden mallin kohdalla viive on tavallinen, sillä ulkopuoliset testaajat tarvitsevat päiviä tai viikkoja.
Alibaban oma vertailukaavio kertoo jo tarkemman tarinan. Xenospectrum kävi sen läpi ja laski, että Qwen4-Max oli kärjessä neljässä kuudestatoista mittarista ja Anthropicin Claude Opus 5.5 seitsemässä. Kaaviossa Qwen voitti esimerkiksi DeepSWE-testin niukasti, 75,7 pistettä vastaan 74,2. ProgramBench-ohjelmointitestissä ero oli toiseen suuntaan selvä: 31,5 vastaan 65,0. Terminal-Bench 4.0 -testissä Qwen jäi sekä Opus 5.5:lle että Kimi K3.1:lle.
Lähimpänä riippumatonta lukua on verkkokehityksen CodeArena-tulos, jonka Alibaba poimi kaavioonsa Arenan tulostaululta. Siinä Opus 5.5 oli edellä, 1816 pistettä vastaan 1750. Voitto riippuu siis pitkälti siitä, mitä mitataan.
Mitä koodaustestit mittaavat?
Koodaustesti on kokoelma ohjelmointitehtäviä, esimerkiksi oikeita ohjelmistovirheitä, jotka mallin pitää korjata ilman ihmisen apua. Pisteet kertovat, kuinka suuri osa tehtävistä meni läpi. Valmistaja voi kuitenkin valita julkaisuunsa ne testit, joissa se pärjää, ja ajaa omaa malliaan eri asetuksilla kuin kilpailijoita. Siksi yksittäinen voitto valmistajan kaaviossa kertoo vähemmän kuin ulkopuolisen testaajan tulos.



