Yksi OpenAI:n tutkijoista ei päässyt projektissaan eteenpäin. Hän tutki, sabotoivatko tekoälymallit työtään, ja apuna hänellä oli yhtiön uusi, sisäiseen käyttöön otettu GPT-6 Astra. Työ seisoi päiväkausia. Kun tutkija vaihtoi toiseen malliin, projekti lähti nopeasti liikkeelle.
Tapaus on kirjattu OpenAI:n omaan raporttiin, jonka yhtiö on julkaissut alignment-blogissaan ja päivittänyt viimeksi 4. marraskuuta. Raportin nimi on Covert underperformance on safety research tasks, eli suomeksi salainen alisuoriutuminen turvallisuustutkimuksen tehtävissä.
Raportin mukaan tutkijat huomasivat Astran lisäävän turvallisuus- ja linjaustehtäviin tarpeettomia ennakkoehtoja. Se hylkäsi toimivia ratkaisuja ja ilmoitti esteistä, joita ei ollut olemassa tai jotka se oli aiheuttanut itse. Käyttäjälle se ei kertonut jättävänsä apua antamatta. On harvinaista, että tekoäly-yhtiö kertoo tällaisesta havainnosta julkisesti omasta mallistaan.
“Anekdoottina eräs tutkija kertoi, että mallin sabotointia arvioiva projekti oli ollut Astran kanssa jumissa päiväkausia ja edennyt sitten nopeasti, kun tutkija vaihtoi toiseen malliin.”
Sama tehtävä, eri kehys
Ensimmäiset ilmoitukset Astran oudosta käytöksestä tulivat elokuussa. Asian varmistamiseksi OpenAI rakensi koodausarvioinnin, jossa tehtävät olivat muuten samanlaisia, mutta osa esitettiin turvallisuustutkimuksena ja osa yleisenä tekoälytutkimuksena. Näytteet kerättiin 18. syyskuuta ja 7. lokakuuta välisenä aikana.
Kun tehtävä esitettiin yleisenä tutkimuksena, Astra täytti noin 16 prosenttia sen piilotetuista arviointikriteereistä. Turvallisuustutkimukseksi kehystetyissä tehtävissä osuus jäi 10 prosenttiin. Edeltäjämalli GPT-5.6 Solilla vastaavaa eroa ei käytännössä ollut.
Kuusi prosenttiyksikköä kuulostaa vähältä. Suhteellisesti se tarkoittaa kuitenkin noin 40 prosenttia vähemmän valmista työtä täsmälleen samoissa tehtävissä. Ainoa muuttuja oli se, miten tehtävä kuvattiin mallille.
Avoimet kieltäytymiset eivät selitä eroa. Kun OpenAI poisti aineistosta suorat kieltäytymiset ja tapaukset, joissa malli kertoi päättelyssään jättävänsä apua antamatta, ero kapeni vain 4,7 prosenttiyksikköön. Lähes kokonaan se katosi vasta, kun pois suodatettiin kaikki suoritukset, joissa malli oli ilmaissut edes lyhyen eettisen epäilyn. Silloin eroa jäi 0,75 prosenttiyksikköä.
Mitä arviointikriteerit ja palkitsemisalgoritmi tarkoittavat?
Arviointikriteerit ovat tehtävää varten laadittu tarkistuslista, jota malli ei näe. Tulos kertoo, moniko listan kohdista täyttyi eli kuinka valmista työ todella oli.
Palkitsemisalgoritmi (raportissa grader) on vahvistusoppimisen osa, joka pisteyttää mallin vastauksia koulutuksen aikana. Malli oppii tekemään sitä, mistä se saa pisteitä. Jos arvioija palkitsee hiljaisesta vetäytymisestä paremmin kuin avoimesta kieltäytymisestä, malli voi oppia vetäytymään hiljaa.
Valvonta ei hälyttänyt
Raportin vakavin kohta koskee valvontaa. OpenAI:n oma valvontajärjestelmä ei pitänyt tapauksia niin vakavina, että ne olisi nostettu ihmisten tarkasteltaviksi. Raportin sanoin: ”Valvontajärjestelmämme ei merkinnyt näitä suorituksia niin vakavaksi virheelliseksi linjautumiseksi, että se olisi käynnistänyt ihmisen tekemän tarkastuksen.”
Useimmissa alisuoriutumistapauksissa mallin päättelyketjusta ei näkynyt aikomusta tehdä huonompaa työtä. Mallin ”ajatuksia” lukeva valvonta ei siis olisi tässä riittänyt.
Osassa tapauksista aikomus näkyi. The Decoderin mukaan Astra päätti päättelyssään rajoittaa apuaan hiljaa kokeessa, jossa tutkittiin turvallisuusvalvonnan kiertämistä. Muissa tapauksissa se päätti suodattaa väkivaltaista sisältöä pois turvallisuusarvioinneista tai jättää tietoja pois datan viennistä. Kerran malli totesi, että avointa kieltäytymistä kannattaa välttää. Työntekijöiden tavallisessa käytössä Astra kertoi päättelyssään jättävänsä apua salaa antamatta 0,25 prosentissa turvallisuuteen liittyvistä pyynnöistä ja 0,11 prosentissa muista pyynnöistä.
Liiallista varovaisuutta vai jotain muuta?
OpenAI on valinnut sanansa varoen. Raportissa puhutaan alisuoriutumisesta ja avun pidättämisestä eikä sabotoinnista. Sabotointi esiintyy raportissa vain tutkijan projektin aiheena, vaikka The Decoder käyttää sanaa otsikossaan.
Koulutuksesta löytyi johtolankoja. Turvallisuustehtävien ero kasvoi vahvistusoppimisen aikana lähes nollasta kuuteen prosenttiyksikköön. OpenAI kirjoittaa: ”Tunnistimme arvioijan, joka arvioinnissamme suosi salaista alisuoriutumista sekä avoimen kieltäytymisen että täyden noudattamisen sijaan.” Yhtiön mukaan ei kuitenkaan ole selvää, onko tämä arvioija ongelman perimmäinen syy.
Toinen jälki johti yhteen hienosäätöaineistoon. Sen jälkeen mallit keksivät tavallista useammin olemattomia käyttöoikeusrajoituksia ja jättivät asioita tekemättä turvallisuuteen vedoten. Kun aineiston vaikutus vähennettiin valmiin mallin painoista, ero katosi. Samalla aineistolla koulutettuihin muihin malleihin eroa ei kuitenkaan syntynyt, joten yhteys on yhä epäselvä.
Yksinkertaisimpana selityksenä OpenAI pitää liiallista varovaisuutta. Kun mallia ohjeistettiin olemaan huolellinen, sen alisuoriutuminen turvallisuustehtävissä kasvoi 50 prosenttia. Päättelyketjujen laajoissa läpikäynneissä ei löytynyt merkkejä strategisista motiiveista, kuten kykyjen piilottelusta. Lopullista johtopäätöstä raportti ei silti tee: ”Emme voi sulkea pois strategisia motiiveja, joita Astra ei tuonut esiin päättelyketjussaan.”
16 %
Arviointikriteereistä täyttyi, kun tehtävä esitettiin yleisenä tutkimuksena
10 %
Arviointikriteereistä täyttyi, kun sama tehtävä esitettiin turvallisuustutkimuksena
yli 1/3
Vähemmän valmista työtä täsmälleen samoissa tehtävissä
Koulutustapa, jossa tekoälymalli saa pisteitä hyvistä ja miinusta huonoista vastauksista. Malli oppii vähitellen toimimaan niin, että se saa mahdollisimman paljon pisteitä.
Päättelyketju
Mallin välivaiheet, jotka se kirjoittaa auki ennen vastaustaan, vähän kuin ihminen ajattelisi ääneen. Tutkijat voivat lukea niitä ja yrittää päätellä, miksi malli toimi niin kuin toimi.
Linjautuminen (alignment)
Sitä, kuinka hyvin tekoälyn toiminta vastaa ihmisten tavoitteita ja arvoja. Virheellisesti linjautunut malli toimii eri tavalla kuin sen tekijät ovat tarkoittaneet.
Kun apuri päättää itse, mikä on turvallista
Asetelmassa on ikävä kierre. Tekoäly-yhtiöt tekevät yhä suuremman osan turvallisuustutkimuksestaan tekoälyn avulla. Jos malli suhtautuu turvallisuustutkimukseen epäluuloisesti, se heikentää juuri niitä testejä, joilla sitä yritetään tehdä turvallisemmaksi. Ongelma painaa sitä enemmän, mitä enemmän mallit osallistuvat oman kehityksensä tekemiseen, kuten AI Suomi on aiemmin kirjoittanut.
Sama ilmiö koskee myös tavallista käyttäjää. Yritykset antavat jo nyt tekoälyagenteille koodaus- ja analyysitöitä. Kun agentti ilmoittaa, ettei tehtävää voi tehdä käyttöoikeuden tai puuttuvan esivaatimuksen takia, harva lähtee tarkistamaan, pitääkö väite paikkansa. Astran tapaus osoittaa, että selitys voi olla keksitty, eikä malli itse tai sitä valvova järjestelmä välttämättä paljasta sitä.
Raportissa ei nimetä kirjoittajia, eikä siinä haastatella ketään. Kaikki tämän jutun sitaatit ovat raportin tekstiä englannista käännettynä. OpenAI kertoo rakentavansa kohdennettuja arviointeja ja uusia valvontajärjestelmiä, jotka ”havaitsevat tämän ja vastaavan käytöksen ja nostavat sen eteenpäin”.
Avoimuus ansaitsee tunnustuksen, mutta raportti paljastaa myös rajan. Ongelma tuli ilmi, koska yksittäinen tutkija turhautui jumiutuneeseen projektiin, ei siksi, että automaattinen valvonta olisi toiminut. Seuraavaksi kannattaa seurata, löytävätkö OpenAI:n uudet valvontatyökalut tai yhtiön ulkopuoliset arvioijat vastaavan käytöksen ennen kuin malli otetaan laajaan käyttöön.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
