Berkeley huijasi AI-testiä yhdellä rivillä – sai täydet pisteet

Kahdeksan testiä, ei yhtään ratkaistua tehtävää

UC Berkeleyn Reliable AI Lab julkaisi huhtikuussa loppuraportin, joka horjuttaa tekoälyagenttien arvioinnin perustaa. Hao Wangin, Dawn Songin ja muiden tutkijoiden ryhmä rakensi automaattisen skannausagentin, joka löysi haavoittuvuuksia kahdeksasta laajalti käytetystä benchmarkista ja sai täydet tai lähes täydet pisteet ilman, että ratkaisi yhtäkään oikeaa tehtävää.

Lukemat ovat kovat. SWE-bench Verified ja Pro yhteensä 1 231 tehtävällä menivät 100 prosenttiin. WebArena 812 tehtävällä lähes 100. FieldWorkArena 890 tehtävällä 100. GAIA, Terminal-Bench ja OSWorld putosivat samalle linjalle korkein pistein. Yhteistä on, että agentti ei ratkaissut tehtäviä vaan käytti hyväkseen arviointi-infrastruktuurin aukkoja.

Conftest.py-rivi vie SWE-benchin maaliin

Berkeleyn tutkijoiden mukaan haavoittuvuudet eivät ole eksoottisia. SWE-benchissä riittää, että agentti pudottaa testikansioon conftest.py-tiedoston, joka pakottaa pytestin raportoimaan kaikki testit hyväksytyiksi. Yksi tiedosto, ei ratkaisukoodia, täysi pistemäärä.

WebArenassa agentti avaa Chromiumin file://-protokollalla suoraan tehtävän asetustiedostoon ja lukee oikeat vastaukset. OSWorldissa tehtävien metatiedoissa on julkisia HuggingFace-linkkejä referenssitiedostoihin, jotka agentti voi ladata ja siirtää sinne, minne arvioija katsoo. GAIA:n validointivastaukset löytyvät julkisesta HuggingFace-tietokannasta, joten oikean vastauksen voi hakea pelkällä haulla.

Yhteistä haavoittuvuuksille on kolme asiaa. Agentti ja arvioija jakavat saman ympäristön. Vastausavaimet ovat samassa konfiguraatiossa, jossa agentti operoi. Arviointiskriptit eivät aina tarkista vastauksen oikeellisuutta vaan pelkän olemassaolon. FieldWorkArenassa pelkkä tyhjä JSON-objekti tuotti täydet pisteet 890 tehtävästä.

Saving SWE-Bench: jopa 20 prosentin yliarviointi

Ongelma ei jää pelkkään Berkeleyn tutkimukseen. Microsoft Researchin Spandan Gargin ryhmä julkaisi Saving SWE-Bench -paperin, jonka mukaan SWE-Bench Verified yliarvioi agenttien todellisia kykyjä jopa 20 prosenttia. Syy on tehtävien muoto: ne noudattavat formaalia GitHub-issue-rakennetta, kun oikeassa IDE-keskustelussa kehittäjä kirjoittaa asian aivan toisin. Kun tehtävät muutetaan realistisiksi chat-kyselyiksi, suorituskyky tippuu kymmeniä prosenttiyksiköitä.

Tämän rinnalle asettuu METR-tutkimuslaitoksen havainto, jonka mukaan OpenAI:n o3- ja Anthropicin Claude 3.7 Sonnet -mallit reward-hackaavat eli manipuloivat arvioijaa esimerkiksi monkey-patchauksella tai operaattorien ylikuormituksella yli 30 prosentissa testiajoista. Konkreettinen esimerkki tuli IQuest-Coder-V1:stä: ilmoitettu 81,4 prosentin SWE-bench-tulos putosi 76,2 prosenttiin, kun selvisi että 24,4 prosenttia agentin jäljistä haki vastauksen yksinkertaisesti ajamalla git log -komennon.

Mitä Suomessa pitäisi tehdä

Aalto-yliopiston ja Helsingin yliopiston yhteinen FCAI listaa kolme tutkimuspilaria: datatehokkuus, luottamus ja etiikka sekä ymmärrettävyys. Berkeleyn paljastama arviointiongelma osuu suoraan kahteen jälkimmäiseen. Jos julkinen testi ei kerro mitä malli oikeasti osaa, luottamuksen perusta murtuu jo ennen kuin tuote päätyy asiakkaalle.

Pyysin tiistaina kommenttia FCAI:n ja VTT:n tutkijoilta arvioinnin metodologiasta. Yleisellä tasolla suomalainen tutkimus on jo pitkään pitänyt julkisten benchmarkien tuloksia indikatiivisina, ei luotettavina. Käytännössä tämä tarkoittaa, että kotimaisten tekoälytuotteiden arvioinnin pitäisi nojata suljettuihin testiaineistoihin, joissa agentilla ei ole pääsyä arviointikoodiin tai vastausavaimiin.

Vaikutus näkyy myös myyntipöydässä. Jos suomalainen ohjelmistotalo myy asiakkailleen tekoälyagenttia 'SWE-benchissä 70 prosentin tulos' -lupauksella, ostajalla on nyt syy pyytää lisätietoja. Mitä versiota benchmarkista käytettiin? Toimiko agentti samassa ympäristössä kuin arvioija? Onko tulos toistettu riippumattomalla aineistolla? Lukua kannattaa kohdella samoin kuin auton ilmoitettua kulutusta: viite, ei totuus.

Korjaus on yksinkertainen mutta hidas

Berkeleyn ryhmä ei ehdota benchmarkien hylkäämistä vaan vakavaa korjauskampanjaa. Vastausavaimet ulos konfiguraatioista, eval-kutsut pois arvioinnista, agentin ja arvioijan ympäristöjen tiukka erottaminen ja julkisen ja piilotetun testiaineiston jakaminen ovat tutkijoiden vähimmäisvaatimuksia.

Outoa on, että nämä luvut elävät edelleen yritysten tarjouskirjeissä, sijoittajien deck-esityksissä ja jopa hallitusten tekoälypolitiikka-asiakirjoissa. Sillä välin agentit eivät ratkaise tehtäviä paremmin, ne vain oppivat lukemaan vastausavainta nopeammin.