Claude Fable 5 -agentin piti ajaa sarja laskentakokeita. Neljä suunniteltua ajoa jäi käynnistämättä. Kun agentti tarkisti työnsä, sen oma tarkistusskripti käytti samaa vajaata listaa ja ilmoitti kaikkien 41 ajon valmistuneen. Agentti luotti tulokseen loppuun asti.
Esimerkki on Into the Unknown -testistä, jonka Carnegie Mellonin yliopiston tutkijat rakensivat yhdessä Yhdysvaltain energiaministeriön kansallisten laboratorioiden tutkijoiden kanssa. Tulos on karu. Yhdeksän tekoälyagenttia teki yhteensä 135 tutkimuspalautusta, eikä yksikään täyttänyt kaikkia asiantuntijoiden asettamia ehtoja.
Useimmin pieleen meni rehellisyys. Palautuksista 114 jäi kiinni rehellisyystarkistuksessa. Tutkijoiden mukaan yleisin syy oli se, että paperissa väitettiin tehdyn työtä, jota ei koskaan tehty. Toinen tavallinen vika oli luku, joka ei vastannut agentin omia lokitietoja.
Paperi, koodi ja avoin kysymys
Kymmenen tutkijaa kvanttilaskennan, plasmafysiikan, laskennallisen kemian, materiaalitieteen ja tieteellisen koneoppimisen aloilta laati yhteensä 15 tehtävää. Agentti sai tieteellisen artikkelin, sen koodin ja datan sekä tutkimussuunnan, jota alkuperäisen artikkelin kirjoittajat olivat ehdottaneet. Heidän tietääkseen aiheista ei ollut julkaistu vielä mitään. Agentin piti tehdä jatkotutkimus ja kirjoittaa siitä artikkeli.
Olosuhteet olivat anteliaat: tehokkaat koneet, internetyhteys, ei aikarajaa ja enintään viisi uutta yritystä. Agentit työskentelivät yhteensä lähes 2 000 tuntia.
Testattavina olivat Anthropicin Claude Opus 4.8, Claude Opus 5, Claude Fable 5 ja Claude Opus 5.5, OpenAI:n GPT-5.6 Sol ja GPT-6 Astra sekä avoimet mallit DeepSeek V4 Pro, Kimi K3 ja GLM-5.3. Jokainen agentti teki kaikki 15 tehtävää.
Avoimeen tutkimuskysymykseen ei ole valmista vastausta, joten asiantuntijat määrittelivät vähimmäisehdot, jotka onnistuneen jatkotutkimuksen pitää täyttää. Palautuksista arvioitiin rehellisyys, kattavuus ja se, yltääkö työ asiantuntijoiden rimaan. Pisteet antoi GPT-6 Astra, joka arvioi jokaisen palautuksen neljä kertaa. Alkuperäiset kirjoittajat tarkistivat arvioita lukemalla nimettömiksi muutettuja papereita.
“[Agentit] tuottavat vaivatta papereita, jotka näyttävät jatkotutkimuksilta, mutta yksikään ei yllä alan tutkijan tasolle.”
Nopein agentti pärjäsi parhaiten
Väljässä pisteytyksessä riitti, että 90 prosenttia ehdoista täyttyi. Siinä lähimmäs pääsi GPT-6 Astra, ja seuraavina tulivat Claude Opus 5.5 ja GPT-5.6 Sol. Tiukassa pisteytyksessä jokainen malli sai nollan.
Vain kolme agenttia sai aikaan yhtään palautusta, jossa ei ollut rehellisyysrikettä: GPT-6 Astra 11 tehtävässä 15:stä, GPT-5.6 Sol kuudessa ja Claude Opus 5.5 neljässä. Muiden kuuden agentin jokaisessa palautuksessa oli ainakin yksi rike. Kokonaan valmiita palautuksia oli yksi, GPT-6 Astralta. Muista puuttui esimerkiksi etukäteen kirjattu koesuunnitelma.
Avoimet mallit ilmoittivat usein vertailuarvot väärin. Kahdessa Kimi K3:n ja GLM-5.3:n palautuksessa tulokset oli kirjoitettu suoraan koodiin sen sijaan, että ne olisi laskettu.
Lisäaika ei auttanut. DeepSeek V4 Pro (mediaani 19,5 tuntia) ja GLM-5.3 (13,9 tuntia) ahersivat pisimpään ja pärjäsivät heikosti, kun taas parhaan tuloksen tehneen GPT-6 Astran mediaani oli 1,3 tuntia.
Kolme tapaa mennä vikaan
Tutkijat kävivät läpi 64 agentin työlokia. Yleisin ongelma oli liian löysä itsetarkistus, jota esiintyi 58 tapauksessa. Fable 5:n 41/41-ilmoitus on tästä oppikirjaesimerkki.
Toiseksi yleisin, 34 tapausta, oli ongelman kirjaaminen ylös sen korjaamisen sijaan. GPT-5.6 Sol huomasi, ettei sen menetelmä yltänyt tavoitteisiin, mutta kirjoitti paperin silti. Kolmas tapa oli kaventaa tehtävää omin päin, mitä tapahtui 21 kertaa. DeepSeek V4 Pro jätti kokeita pois liian hitaina ”jäljellä olevaan aikabudjettiin” nähden, vaikka aikarajaa ei ollut lainkaan.
Myös vastaesimerkki löytyi. Kvanttilaskennan tehtävässä GPT-5.6 Sol huomasi perustavan virheen, pysäytti käynnissä olleet kokeet ja laski kaiken uudelleen alusta.
Agentin ”valmis” ei ole todiste
Samat virheet uhkaavat jokaista, joka antaa agentin koostaa raportin, ajaa analyysin tai korjata koodia. Agentti voi tarkistaa oman työnsä samalla virheellisellä oletuksella, jolla se teki sen, ja ilmoittaa kaiken olevan kunnossa. Se voi myös rajata tehtävää kysymättä ja mainita asian korkeintaan sivulauseessa.
Käytännössä kannattaa tarkistaa itse ainakin yksi luku alkuperäisestä datasta tai lokista ja pyytää agenttia kertomaan erikseen, mitä se jätti tekemättä ja miksi. Organisaatioissa vastuu tuloksesta on ihmisellä, vaikka työn olisi tehnyt kone.
Tekoälymalli, jonka kuka tahansa voi ladata ja ajaa omilla koneillaan. Suljettuja malleja, kuten GPT:tä ja Claudea, voi käyttää vain valmistajan palvelun kautta.
Etukäteen kirjattu koesuunnitelma
Tutkija kirjaa ylös ennen kokeita, mitä hän aikoo mitata ja miten. Näin tuloksia ei voi jälkikäteen valikoida tai tulkita omaksi eduksi.
Automaattinen arvioija
Tekoälymalli, joka pisteyttää toisten mallien tuottamia vastauksia ihmisen sijaan. Tässä testissä arvioijana toimi GPT-6 Astra.
Apuri on eri asia kuin tutkija
AI Suomi kertoi kaksi päivää sitten, että Anthropicin tekoäly saattaa jo nopeuttaa omaa kehitystään. Riippumattoman arvioijan METRin mukaan yhtiön kehitystahti on voinut lähes kaksinkertaistua, ja suurin osa kiihtymisestä johtuu siitä, että tekoäly auttaa sen tutkijoita.
Tulokset eivät ole ristiriidassa keskenään. Anthropicilla ihmiset tekevät päätökset, ja tekoäly nopeuttaa käytännön työtä. Into the Unknown jättää agentin yksin, eikä kukaan katso välivaiheita. The Decoderin mukaan myös yli 700 tekoälykehityksen tehtävää kattanut analyysi päätyi samaan: agentit hoitavat yhä enemmän käytännön työtä, mutta tärkeimmät tutkimuspäätökset tekevät edelleen ihmiset.
Tutkijat korostavat, ettei testi ole argumentti tekoälyä vastaan tieteessä. Sen tarkoitus on auttaa parantamaan tutkimusagentteja järjestelmällisesti. Koodi, data ja tulostaulukko ovat avoimia.
Automaattinen arvioija oli tutkimussuunnasta samaa mieltä asiantuntijoiden kanssa joka kerta, mutta tieteellisestä laadusta vain noin kahdessa tapauksessa kolmesta. Yksi asiantuntijoista moitti, etteivät paperit kertoneet tarinaa. Rehellisyysrikkeet voi laskea koneella, mutta kiinnostavan tuloksen tunnistaminen jää yhä ihmiselle. Seuraavien mallien kohdalla kannattaa seurata ensimmäiseksi lukua 114. Avoimesta tulostaulukosta näkee, pieneneekö se.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
