AI-agentit saivat NanoGPT-kisassa neljä merkintää 77:stä

Mitä METR mittasi

NanoGPT-speedrun on Andrej Karpathyn käynnistämä avoin kilpailu, jossa tutkijat optimoivat 124 miljoonan parametrin transformerimallin koulutusta kahdeksalla H100-näytönohjaimella. Lähtötaso oli 45 minuuttia toukokuussa 2024. Maaliskuussa 2026 nopein ajo on 1,43 minuuttia – 31-kertainen nopeutuminen alle kahdessa vuodessa. METR-tutkimuslaitoksen Manish Shetty kävi 21. huhtikuuta julkaistussa selvityksessä läpi kaikki 77 viralliseen historiaan kirjattua merkintää ja luokitteli ne kahdella akselilla: idean syvyys (läpimurto, syvä, keskitasoa, pinnallinen) ja alkuperä (keksitty kilpailussa, sovellettu, suoraan lainattu).

Luokittelu tehtiin Claude Codella. Tämä on asetelman ilmeinen heikkous: tekoäly arvioi tekoälyagenttien työtä. Shetty mainitsee rajoituksen itse ja julkaisee raakadatan classifications.csv-tiedostona, jotta kuka tahansa voi haastaa luokitukset. Aineisto on silti yksi harvoista, joissa AI:n ja ihmisen panos on edes yritetty erotella johdonmukaisesti samassa tehtäväavaruudessa.

Neljä merkintää 77:stä

Agenttipanos on toistaiseksi laihaa. Hiverge AI:n agentti hioi hajautettua koulutusta ja skip-yhteyksien gating-mekanismia (merkintä 32). Intologyn Locus fuusioi softcap-cross-entropy-kernelin (60). Aster Labin agentti optimoi kernelin muistinkäyttöä (69). Dualverse AI:n Station nosti oppimisnopeuden alarajaa ja löysi sivutuotteena hiljaisen window_size-virheen, jonka ihmiset olivat sivuuttaneet (72). Kaikki neljä on luokiteltu pinnallisiksi tai keskitasoa oleviksi, ja jokaisella on ihmistekijä rinnalla. Yhtiöt eivät kerro, kuinka paljon laskenta-aikaa agentit kuluttivat tai kuinka monta epäonnistunutta yritystä jäi tekemättä.

Mitä luvut eivät kerro

Pinnalliset ja keskitasoiset parannukset ovat tuottaneet noin 21-kertaisen osan 31-kertaisesta nopeutumisesta. Voisi tehdä mieli päätellä, että syviä ideoita ei juuri tarvita. Kuva on harhaanjohtava. Yksittäinen läpimurto, kuten Keller Jordanin Muon-optimoija (merkintä 3 lokakuussa 2024), levisi sittemmin frontier-malleihin GLM-4.5:een ja Kimi K2:een. Pinnalliset hyperparametrisäädöt eivät synny tyhjästä, vaan istuvat alustalle, jonka harvat syvät keksinnöt rakentavat.

Shetty kirjoittaa, että neljästä agenttirivistä ei vielä saa lopullista vastausta kysymykseen, tuottavatko agentit pinnallisempia ideoita kuin ihmiset. Tuoreimmissa ihmismerkinnöissä on samaa pinnallista painoa kuin agenttien töissä. Vertailupohja on siis sama, mutta kontaminaation riski on todellinen: jos agentin koulutusdata sisältää speedrun-foorumikeskustelut tai muut julkiset NanoGPT-toistot, uusi idea voi olla tunnettu rakenne uudessa kuoressa. Survivorship bias kalvaa kumpaakin osapuolta: vain onnistuneet ajot kirjataan, epäonnistumiset jäävät näkymättömiin.

Suomalainen vertailupohja

Suomen tekoälykeskus FCAI ja Aalto-yliopiston ProbML-ryhmä tekevät juuri sitä, mitä speedrun jauhaa: optimoijia, todennäköisyyspohjaista mallinnusta ja varianssin vähentämistekniikoita. Otin aamulla yhteyttä FCAI:n viestintään ja kahteen ProbML-tutkijaan ja kysyin, käyttävätkö he agentteja omissa kokeissaan ja miten he suhteutuvat METR:n metodologiaan. Vastausta ei ehtinyt deadlinen aikatauluun, mutta päivitän juttua, kun kommentti saapuu.

METR:n metodinen viesti suomalaisille tutkimusryhmille on silti selvä: kun agenttien osuus koodikatselmaan kasvaa, kannattaa kirjata erikseen, mikä idea tuli ihmiseltä, mikä agentilta ja kuinka monta inferenssikutsua sen takana oli. Speedrun-aineisto näyttää, että puuttuvat tiedot – etenkin laskentakustannukset – kaventavat tulkinnan mahdollisuuksia jo nyt.

Mikä tästä jää käteen

Suomalaiselle lukijalle, joka ei kirjoita CUDA-koodia, METR:n tulos kertoo yhden konkretian. AI-agentit alkavat näkyä tutkimusrekistereissä, mutta toistaiseksi rinnakkaistekijöinä ja vain kapeissa, hyvin määritellyissä tehtävissä. Pelätty käänne, jossa AI parantelisi itseään eksponentiaalisesti, ei vielä näy datassa. Riskit ovat metodologisia: kontaminaatio, läpinäkyvyyden puute ja mittakaavarajoitus.

Resurssipuoli on toinen kulma. NanoGPT-speedrun pyörii 8×H100-koneella, joka maksaa pilvessä noin 25 euroa tunnissa. Aalto-yliopiston gradutyölle tämä on saavutettavaa, frontier-mallien koulutus ei. METR tarjoaa pienemmälle yhteisölle, kuten suomalaiselle, realistisen mittapöydän, jossa agentteja voi testata ilman miljardibudjettia. Ratkaisematta jää silti se, miten agentin todellinen panos erotetaan ihmisen ohjauksesta, kun molemmat istuvat saman pull requestin ääressä.