Anthropicin huippumalli halpeni viidenneksen, raskain taso jäi mykäksi

Simon Willison testasi Anthropicin uutta Fable 5.2 -mallia heti julkaisupäivänä. Ohjelmoija ja tunnettu tekoälybloggaaja pyysi mallia piirtämään pelikaanin polkupyörän selässä viidellä eri päättelytasolla. Neljä ajoa onnistui. Raskain, max-taso, ei palauttanut mitään.

Havainto on pieni, mutta se on harvoja riippumattomia tietoja mallista, jonka Anthropic julkaisi maanantaina 9. marraskuuta. Lähes kaikki muut luvut tulevat yhtiöltä itseltään.

Hinta putosi viidenneksen

Fable 5.2 ja sen rajatulle joukolle tarjottava sisarmalli Mythos 5.2 maksavat rajapinnan kautta 8 dollaria miljoonalta syötetokenilta ja 40 dollaria miljoonalta tulostetokenilta. Edeltäjä Fable 5.1 maksaa Anthropicin hinnaston mukaan 10 ja 50 dollaria, joten pudotus on tasan 20 prosenttia.

Yhtiön mukaan uudet mallit tuottavat vastauksensa jopa 30 prosenttia nopeammin kuin edeltäjänsä. Erikseen myytävä fast-tila kiihdyttää tulostusta Anthropicin mukaan jopa 2,5-kertaisesti, mutta silloin hinta tuplaantuu 16 ja 80 dollariin.

Halpa Fable ei silti ole. Saman yhtiön Opus 5.5 maksaa puolet vähemmän, 4 ja 20 dollaria miljoonalta tokenilta. Anthropic perustelee eroa sillä, että Fable selviää tehtävistä kevyemmällä päättelyllä: yhtiön mukaan keskitasolla ajettu Fable 5.2 yltää WANDR-hakutestissä Opus 5.5:n parhaaseen tulokseen noin 40 prosentilla tehtäväkohtaisista kustannuksista.

Luvut ovat yhtiön omia

Anthropicin vertailussa Fable 5.2 voittaa Opus 5.5:n lähes kaikissa testeissä. Ohjelmointiagentteja mittaavassa FrontierSWE-testissä Fable saa 69,9 prosenttia, Opus 5.5 62,3 prosenttia ja Googlen Gemini 4 Carbon 61,2 prosenttia.

Yhdessä testissä Google menee edelle. Liiketoiminnan työnkulkujen automatisointia mittaavassa AutomationBenchissä Gemini 4 Carbon saa 53,9 prosenttia ja Fable 5.2 51,4 prosenttia.

Kaikki luvut ovat Anthropicin julkaisemia, eikä ulkopuolinen taho ole tarkastanut niitä. Yhtiö toteaa tiedotteen alaviitteessä, etteivät arvioinneissa mukana olleet ulkopuoliset organisaatiot ole lukeneet tiedotetta tai mallin järjestelmäkorttia eivätkä ne välttämättä yhdy niiden väitteisiin. Osa tuloksista, kuten robotiikkaa mittaava RoboDojo, on ajettu kokonaan yhtiön sisällä.

Anthropic kertoo myös, että Fable ja Mythos ilmaisivat aiempia malleja useammin epäilevänsä olevansa testattavina. Yhtiön mukaan tämä vaikeuttaa arviota siitä, miten hyvin testitulokset ennustavat mallin käytöstä oikeassa työssä.

Tiedotteessa ääneen pääsevät asiakasyritysten insinöörit. Anthropicin johdosta kukaan ei kommentoi siinä nimellä.

Max-taso ajatteli itsensä umpikujaan

Willisonin kokeessa max-tason ajo kulutti koko 128 000 tokenin budjetin ajatteluun, eikä malli ehtinyt kirjoittaa vastausta lainkaan. Willison kirjoitti blogissaan englanniksi, että max-taso ”failed to return an image at all, running out of tokens after spending 128,000 thinking about them”. Suomeksi: se ei palauttanut kuvaa ollenkaan, koska tokenit loppuivat sen jälkeen, kun malli oli käyttänyt niistä 128 000 ajatteluun.

Willisonin mukaan vika muistuttaa Opus 5.5:ssä nähtyä ongelmaa, mutta Fable-sarjalle se on uusi. Aiemmat Fable 5 ja 5.1 selvisivät samasta tehtävästä max-tasolla. Paras pelikaani syntyi tasolla xhigh.

Kyse on yhdestä kokeesta yhdellä tehtävällä. Rajapinnasta maksavalle se on silti hyödyllinen muistutus, sillä ajattelutokenit laskutetaan tulostetokenien hinnalla. Tyhjäksi jäänyt 128 000 tokenin ajo maksaa uudellakin hinnalla runsaat viisi dollaria.

Pro-tilaajalle Fable on puolikas kiintiö

Kuluttajalle muutos näkyy toisella tavalla. Claude Pro maksaa 20 dollaria kuukaudessa, ja Pro-tilaajat sekä Team-paketin perustason käyttäjät saavat käyttää Fablea enintään puoleen viikoittaisesta käyttökiintiöstään. Anthropic lupaa lisäksi yhdestä kolmeen Fable-kiintiön nollausta sen mukaan, kuinka kauan tilaus on ollut voimassa.

Käytännössä raskas Fable-käyttäjä törmää rajaan nopeammin kuin Opusta tai Sonnetia käyttävä. Jos käyttää Claudea esimerkiksi pitkien raporttien tai koodin kanssa, Fable kannattaa säästää vaikeimpiin tehtäviin.

Yrityksen laskutoimitus on suoraviivaisempi. Jos sovellus syöttää malliin kuukaudessa sata miljoonaa tokenia ja saa takaisin kaksikymmentä miljoonaa, Fable 5.1:llä lasku olisi 2 000 dollaria ja Fable 5.2:lla 1 600 dollaria. Opus 5.5:llä sama määrä maksaisi 800 dollaria, joten kalliimpi malli kannattaa ottaa käyttöön vain siellä, missä ero näkyy lopputuloksessa.

OpenAI astui samana päivänä Amazonin kentälle

Kilpailijat eivät jääneet katsomaan. OpenAI toi samana maanantaina ChatGPT Enterprisen myyntiin AWS Marketplaceen, Amazonin pilvipalvelun sovelluskauppaan. Amazon on Anthropicin suurin tukija, ja AWS on ollut Claudelle tärkeä reitti suuryritysten hankintoihin.

Suuren yrityksen ostajalle tämä tarkoittaa, että kummankin yhtiön tuotteet voi hankkia saman pilvisopimuksen kautta. Kilpailu ei siis käy pelkästään tokenhinnoilla vaan myös siinä, kenen tuote on helpointa lisätä olemassa olevaan laskuun.

Anthropicin lukujen todellinen koe nähdään vasta, kun riippumattomat testaajat ja ensimmäiset suuret käyttäjät julkaisevat omat tuloksensa. Willisonin pelikaani oli ensimmäinen niistä, ja se kertoi lähinnä sen, että raskain päättelytaso kannattaa toistaiseksi jättää käyttämättä.