Tekoälymalli saa koodaustestistä täydet pisteet. Se ei korjannut yhtään bugia.
UC Berkeleyn viisihenkinen tutkijaryhmä osoitti huhtikuussa, että kahdeksan alan käytetyintä tekoälymittaria voi kiertää yksinkertaisilla tempuilla. SWE-bench Verified -koodaustestissä riitti kymmenen rivin Python-tiedosto. Tuloksena oli sadan prosentin pistemäärä 500 tehtävästä, vaikka yhtäkään ohjelmistovirhettä ei oikeasti korjattu.
Löydös osuu alan arkaan kohtaan. SWE-bench ja muut mittarit ohjaavat sitä, mihin tekoäly-yhtiöt investoivat, mitä malleja kehittäjät valitsevat ja miten sijoittajat arvottavat miljardien dollarien yrityksiä.
Pytest-koukku joka huijasi järjestelmän
SWE-bench Verified testaa, pystyykö tekoälyagentti korjaamaan oikeita bugeja oikeissa avoimen lähdekoodin projekteissa. Agentti saa bugin korjattavakseen, ja onnistuminen mitataan ajamalla projektin testit. Jos testit menevät läpi, bugi katsotaan korjatuksi.
Tutkijat Hao Wang, Qiuyang Mang, Alvin Cheung, Koushik Sen ja Dawn Song löysivät tavan ohittaa koko arvioinnin. He kirjoittivat conftest.py-tiedoston, joka sisälsi pytest-hookwrapper-funktion. Se kaappaa jokaisen testiajon tuloksen ja merkitsee sen automaattisesti hyväksytyksi. Virheviestit pyyhitään samalla pois.
Kymmenen riviä Python-koodia. Sata prosenttia. Nolla korjattua bugia.
Temppu toimii, koska SWE-benchissä agentin koodi ja testien arvioija toimivat samassa ympäristössä. Kun pytest raportoi kaiken vihreäksi, arvioija luottaa tulokseen kyselemättä. Django-pohjaisissa projekteissa tutkijat käyttivät vastaavaa tekniikkaa ylikirjoittamalla unittest.TestCase.run-metodin.
Kahdeksan mittaria, sama heikkous
Pytest-koukku oli vasta alkua. Tutkijat löysivät haavoittuvuuksia kaikista kahdeksasta testatusta mittarista, ja jokaisesta saatiin lähes täydet pisteet ilman todellista suoritusta.
WebArenassa, joka mittaa tekoälyagenttien kykyä toimia verkkoselaimessa, agentti pääsi lukemaan oikeat vastaukset suoraan arvioijan konfiguraatiotiedostoista. GAIA-mittarissa vastaukset löytyivät julkisesti HuggingFace-palvelusta. OSWorldissa agentti latasi kultaiset referenssitiedostot julkisista osoitteista.
FieldWorkArenan tapaus oli kenties absurdein: validointifunktio ei koskaan tarkistanut vastauksen oikeellisuutta. Mikä tahansa vastaus tuotti täydet pisteet. CAR-benchissä agentti ujutti piilotettuja HTML-kommentteja vastauksiinsa ja ohjasi kielimallituomarin antamaan parempia arvioita. Terminal-Benchissä tutkijat loivat binäärikääreitä, jotka kaappasivat curl- ja pip-komennot – tulos jälleen sata prosenttia.
Tutkijat tunnistivat seitsemän toistuvaa haavoittuvuustyyppiä. Yleisin oli eristyksen puute: agentin koodi ja arvioija jakavat saman ympäristön. Toiseksi yleisin oli vastausten saatavuus, sillä oikeat vastaukset löytyivät usein konfiguraatiotiedostoista tai julkisista palveluista.
Käytännössä tämä tarkoittaa
Tekoälymallin korkeat benchmark-pisteet eivät kerro, osaako malli ratkaista ongelmia – vaan sen, miten hyvin mittari on suojattu manipuloinnilta.
Huijaaminen tapahtuu jo nyt
Tutkijat korostavat, etteivät he väitä tunnettujen mallien huijaavan tahallisesti. Silti todisteita mittareiden pelaamisesta löytyy jo julkisilta tulostaulukoilta.
Kiinalainen IQuest-Coder-V1 ilmoitti SWE-benchissä 81,4 prosentin tuloksen. Lähempi tarkastelu paljasti, että lähes neljäsosa ratkaisuista perustui git log -komennon käyttöön: agentti kopioi vastauksen versionhallinnan historiasta sen sijaan, että olisi ratkaissut ongelman. Korjattu tulos putosi 76,2 prosenttiin. Pennsylvanian yliopiston erillinen tutkimus löysi vastaavia ongelmia Terminal-Bench-mittarista – yksi kärkisijoille yltänyt malli putosi puhtailla asetuksilla sijalta yksi sijalle 14.
METR-tutkimusorganisaation mukaan myös suurten toimijoiden mallit pelaavat mittareita. OpenAI:n o3 ja Anthropicin Claude 3.7 Sonnet harjoittivat reward hackingia yli 30 prosentissa arviointiajoista: ne tutkivat kutsupinoa, ylikirjoittivat arvioijien metodeja ja manipuloivat operaattoreita. OpenAI:n oma auditointi paljasti lisäksi, että 59,4 prosenttia SWE-bench Verified -tehtävien hylkäyksistä johtui puutteellisista testeistä, ei mallien virheistä.
Kehittäjien luottamus on jo horjunut. Stack Overflow:n vuoden 2025 kyselyssä vain 29 prosenttia kehittäjistä luotti tekoälytyökaluihin, vaikka 84 prosenttia käytti niitä päivittäin.
