Greg Kamradt ajoi saman mallin läpi kahdesti ja sai kaksi eri tulosta. ARC Prize -säätiön Kamradt julkaisi eilen järjestön omat mittaukset OpenAI:n uudesta GPT-6 Astrasta. Vakioasetelmassa malli ratkaisi 62,7 prosenttia ARC-AGI-3:n puolijulkisista tehtävistä. Kun sama malli sai käyttöönsä OpenAI:n omat muistiominaisuudet, tulokseksi tuli 99,9 prosenttia.
Ero on 37,2 prosenttiyksikköä. Malli oli molemmilla kerroilla sama, testi oli sama, tehtävät olivat samat. Vain koeasetelma vaihtui.
OpenAI ilmoitti omassa julkistuksessaan ARC-AGI-3:n tulokseksi 98,6 prosenttia, ja yhtiön presidentti Greg Brockman päätti tilaisuuden sanoihin ”Welcome to the AGI era”. Kuten AI Suomi aiemmin kertoi, yhtään riippumatonta tarkistusta yhtiön luvuille ei silloin ollut. Nyt sellainen on, eikä se tue julkistuksen keskeisintä lukua.
Mitä harness tarkoittaa
Harness on koeasetelma, jonka läpi malli testataan. Se määrää, miten tehtävä syötetään mallille, mitä malli saa muistaa yritysten välillä ja kuinka pitkäksi keskustelu saa kasvaa. ARC Prizen vakioasetelma on tarkoituksella riisuttu ja valmistajasta riippumaton: malli saa kuljettaa mukanaan muistiinpanoja, mutta sen on kirjoitettava ne näkyviin.
Toinen asetelma, jota järjestö kutsuu nimellä Provider Adapter, nojaa OpenAI:n omiin rajapintaominaisuuksiin. Se ”säilyttää läpinäkymättömän päättelytilan pyyntöjen välillä ja tiivistää pitkiä keskusteluja, jolloin malli voi käyttää uudelleen aiempaa työtään”, kuten ARC Prize sen kuvaa.
Arkinen vastine: kaksi oppilasta tekee saman kokeen. Toinen saa kirjoittaa itselleen lappuja, jotka valvoja lukee. Toinen saa pitää koko ajatuksenjuoksunsa mukanaan tehtävästä toiseen, eikä kukaan näe mitä siellä on. Jälkimmäinen pärjää paremmin. Hänen suoritustaan on myös vaikeampi verrata kenenkään muun suoritukseen.
Ero näkyi muussakin kuin pisteissä. OpenAI:n adapterilla ajot olivat kellotetun kokonaisajan perusteella noin 3,66 kertaa nopeampia ja kuluttivat 49 prosenttia vähemmän tokeneita.
Vakioasetelman mittausajo maksoi 26 098 dollaria. OpenAI:n adapterilla sama urakka tuli halvemmaksi, noin 19 000 dollariin, koska tokeneita kului vähemmän. Kyse on yhdestä mallista, yhdestä testistä ja yhdestä ajosta.
Luku kertoo enemmän kuin pistemäärä, koska se kertoo kuka ylipäätään pystyy tarkistamaan. Benchmark-luvuilla myydään: ne päätyvät yritysten hankintapäätöksiin, sijoittajien esityskalvoille ja sääntelykeskusteluun siitä, mihin tekoälyä saa päästää. ARC Prizen oma varmennusrahasto korvaa kilpailutöille enintään 2 500 dollaria kuluja, alle kymmenesosan yhden ajon hinnasta. Suomalaisella yliopistoryhmällä tai toimituksella ei ole tähän varaa, eikä ole valtaosalla maailman tutkimuslaitoksista.
Ihmisvertailu maksoi murto-osan. ARC Prize maksoi koehenkilöille 115 dollaria 90 minuutin sessiosta ja viisi dollaria jokaisesta läpäistystä pelistä. Tehokkuudessa Astra silti voitti ihmiset: adapteriasetelmassa se selvitti 96,0 prosenttia tasoista pienemmällä siirtomäärällä kuin ihmisten vertailutaso, keskimäärin 51,7 prosenttia vähemmillä siirroilla.
“Kun julkaisimme ARC-AGI-3:n, teimme selväksi, ettei mittarin kyllästäminen olisi todiste AGI:n saavuttamisesta. Vaikka uskomme Astran edustavan merkittävää edistystä yleistämiskyvyssä, emme väitä että se olisi AGI.”
Luku joka julkaisusta puuttuu
OpenAI ei kommentoi eroa ARC Prizen julkaisussa, eikä yhtiö ole julkisuudessa selittänyt, miten sen oma 98,6 prosentin luku suhtautuu järjestön kahteen tulokseen. Adapteriasetelmalle on silti puolustuksensa, ja ARC Prize esittää sen itse: jos malli on rakennettu käyttämään omaa muistimekanismiaan, riisuttu asetelma mittaa osittain sitä, kuinka hyvin malli pärjää ilman omia työkalujaan.
Yksi luku puuttuu. Järjestö kertoo, että 167 peli- ja päättelyparia ratkesi molemmilla asetelmilla, mutta julkaisusta ei löydy tietoa siitä, montako tasoa yhteensä yritettiin tai mitkä niistä jäivät vakioasetelmassa auki. Ilman sitä ei voi sanoa, ratkaisiko piilotettu päättelytila muutaman poikkeuksellisen vaikean tason vai kolmanneksen koko testistä.
Seuraava kiista ei koske enää Astraa. ARC Prize ilmoittaa raportoivansa jatkossa molemmat luvut erikseen ja merkitsevänsä ne selvästi, mikä toimii niin kauan kuin lukija näkee kumpi luku on kumpi. Julkistustilaisuuden kalvolle mahtuu yleensä vain yksi.
Sanasto
Benchmark
Vakioitu koe, jolla eri tekoälymallien suoritusta mitataan samoilla tehtävillä. Tuloksia käytetään mallien vertailuun samaan tapaan kuin auton kulutuslukemia.
Token
Tekstin pienin yksikkö, jota kielimalli käsittelee ja jonka mukaan käyttö laskutetaan. Yksi token on suomeksi karkeasti puoli sanaa.
AGI
Yleinen tekoäly (Artificial General Intelligence) eli järjestelmä, joka pärjäisi ihmisen tavoin lähes missä tahansa älyllisessä tehtävässä. Termille ei ole yhtä sovittua määritelmää eikä mittaria.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
