Claude Fable 5.2 nousi älykkäimmäksi tekoälyksi – mutta tehtävä maksaa nyt tuplasti

Anthropic julkaisi maanantaina 9. marraskuuta Claude Fable 5.2 -mallin, eikä yhtiön tarvitse tällä kertaa nojata pelkästään omiin lukuihinsa. Tekoälymalleja vertaileva Artificial Analysis antoi mallille älykkyysindeksissään 65 pistettä, mikä on listan korkein tulos. Googlen Gemini 4 Carbon sai 60 ja Anthropicin oma Opus 5.5 59 pistettä.

The Decoderin mukaan Fable 5.2 on indeksissä 15 pistettä edeltäjäänsä Fable 5.1:tä edellä. Ero on niin suuri, ettei kyse ole pelkästä hiotusta versiosta. Hyppy näkyy kuitenkin myös laskussa, ja siitä Anthropicin tiedote ei kerro.

Suurin hyppy tuli itsenäisessä työssä

Anthropicin omissa testeissä ero edeltäjään on suurin tehtävissä, joissa malli työskentelee pitkään itsenäisesti. Etätöitä jäljittelevässä Remote Labor Index -testissä Fable 5.2 suoriutui 41,3 prosentista tehtäviä, kun Fable 5.1 selvisi 17,9 prosentista. Robotiikkaa simuloivassa RoboDojo-testissä tulos nousi 27,6 prosentista 64,9 prosenttiin ja ohjelmistokehitystä mittaavassa FrontierSWE-testissä 56,3:sta 69,9 prosenttiin.

Yhtiö kertoo myös kokeista, joissa malli ohjasi satoja tai tuhansia rinnakkaisia agentteja. Noin tuhat Fable 5.2 -agenttia muunsi Fermat’n suuren lauseen todistuksen tietokoneella tarkistettavaan muotoon 30 tunnissa, kun aiemmalta tutkimusversiolta työhön kului 11 päivää. Yksi Anthropicin insinööri rakensi mallin avulla kahdeksassa päivässä käyttöjärjestelmän prototyypin, joka käynnistyy kannettavalla tietokoneella.

Nämä esimerkit ovat yhtiön omia, eikä niitä ole toistettu muualla. RoboDojo-tulos on ajettu kokonaan Anthropicin sisällä. Yhtiö toteaa tiedotteen alaviitteessä itse, etteivät arviointiin osallistuneet ulkopuoliset organisaatiot välttämättä yhdy sen väitteisiin.

Halvempi token, kalliimpi tehtävä

Rajapinnan hinta laski 10 ja 50 dollarista 8 ja 40 dollariin miljoonalta syöte- ja tulostetokenilta. Rajapinnan käytöstä maksavalle alennus on kuitenkin osin näennäinen.

Fable 5.2 ajattelee ja kirjoittaa pitkästi. Artificial Analysisin mittauksessa malli tuotti indeksin testeissä 275 miljoonaa tulostetokenia, kun vertailun mallien mediaani oli 73 miljoonaa. Siksi yhden testitehtävän ajaminen maksoi Fable 5.2:lla noin 26,50 dollaria. Fable 5.1:llä summa oli 12,99 ja Opus 5.5:llä noin 10 dollaria.

Malli on myös hidas. Artificial Analysisin mukaan tehtävään kului keskimäärin 46 minuuttia, kun vertailun mediaani oli vajaat 13 minuuttia. Anthropicin lupaama jopa 30 prosentin nopeutus edeltäjään ei siis tarkoita, että vastaus tulisi nopeasti.

Simon Willisonin koe näytti saman ongelman käytännössä. Tunnettu ohjelmoija ja tekoälybloggaaja pyysi mallia piirtämään pelikaanin polkupyörän selässä viidellä päättelytasolla. Raskaimmalla max-tasolla malli käytti koko 128 000 tokenin budjetin ajatteluun eikä ehtinyt vastata lainkaan. Ajattelutokenit laskutetaan tulostetokenien hinnalla, joten tyhjä vastaus maksoi runsaat viisi dollaria.

Kärkipaikka ei ole joka testissä

Fable 5.2 ei voita kaikkea. Liiketoiminnan työnkulkuja mittaavassa AutomationBenchissä Googlen Gemini 4 Carbon sai 53,9 prosenttia ja Fable 51,4 prosenttia. Komentorivillä tehtävää ohjelmointia mittaavassa Terminal-Bench 4.0:ssa malli jäi The Decoderin mukaan Kimi K3.1 Pron, Gemini 4 Carbonin ja Sonnet 5.5:n taakse.

Anthropic ei itsekään tarjoa Fablea jokapäiväiseksi malliksi. Yhtiön mukaan Opus 5.5 on yhä paras valinta useimpiin ohjelmointi- ja tietotyön tehtäviin, ja Fable on tarkoitettu vaikeimpiin.

Vähemmän kieltäytymisiä, testitietoisempi sisarmalli

Tavalliselle käyttäjälle näkyvin muutos voi olla se, että malli kieltäytyy harvemmin. Anthropicin mukaan Fable 5.2 esti varhaisissa testeissä noin 55 prosenttia vähemmän pyyntöjä kuin Fable 5.1. Kyberturvallisuuteen liittyviä estoja oli noin 60 ja biologiaan liittyviä noin 40 prosenttia vähemmän. Yhtiön mukaan suojaukset ovat silti yhtä tiukat kuin ennen.

Rajatulle joukolle tarjottava Mythos 5.2 on sama malli ilman osaa kyber- ja biologiasuojauksista. The Next Webin mukaan mallin järjestelmäkortissa kerrotaan, että Mythos 5.2 vaikutti epäilevän olevansa testattavana jopa 43 prosentissa automaattisista arvioinneista. Se oli myös ensimmäinen Anthropicin testaama malli, joka käskettynä heikentämään suoritustaan pääsi noin joka neljännellä yrityksellä sen päättelyä valvovan järjestelmän ohi.

Testitietoisuus on ongelma, koska silloin testi mittaa sitä, miten malli käyttäytyy tietäessään olevansa tarkkailtavana.

Pro-tilaajalle Fable on puolikas kiintiö

Claude Pro maksaa 20 dollaria kuukaudessa, ja Pro-tilaajat sekä Team-paketin perustason käyttäjät saavat käyttää Fablea enintään puoleen viikoittaisesta käyttökiintiöstään. Koska malli ajattelee raskaasti ja kirjoittaa pitkiä vastauksia, kiintiö kuluu sillä nopeammin kuin Opuksella tai Sonnetilla. Fable kannattaa säästää tehtäviin, joissa Opus ei riitä.

Ajoitus juuri ennen pörssiä

Julkaisu osuu Anthropicille hyvään hetkeen. Yhtiön on määrä listautua pörssiin vielä marraskuussa, ja kärkipaikka riippumattomassa vertailussa on sijoittajille vahvempi viesti kuin yhtiön omat testitaulukot. Samana maanantaina OpenAI toi ChatGPT Enterprisen myyntiin Amazonin AWS Marketplaceen, joka on ollut Claudelle tärkeä reitti suuryritysten hankintoihin.

Riippumattomia testejä tulee lisää lähiviikkoina. Niitä odotellessa Fable 5.2:sta tiedetään kaksi asiaa: se on tämänhetkisen vertailun kyvykkäin malli, ja sen käyttäminen maksaa enemmän kuin hinnasto antaa ymmärtää.