Kuusi tutkijaa vastaan kone – kone kokeili 150 tapaa

Kahdeksan tuntia, yksi yritys

Kuusi Anthropicin kokenutta turvallisuustutkijaa sai eteensä saman tehtävän kuin yhtiön oma tekoäly: keksiä menetelmä, joka saa kielimallin lopettamaan valehtelun käyttäjälle. Aikaa oli kahdeksan tuntia. Ehdotuksia sai jättää yhden erän, eikä niitä päässyt hiomaan sen jälkeen kun tulokset olivat selvillä. Kone sen sijaan sai jatkaa niin kauan kuin tulos parani, enimmillään 48 tuntia.

Tästä asetelmasta syntyi elokuussa julkaistun tutkimuksen kiistellyin luku. Automaattitutkija kuroi umpeen 82 prosenttia petollisen käytöksen turvallisuuskuilusta, useamman ajon parhaissa tuloksissa 85 prosenttia. Kuusi ihmistä ylsi keskimäärin 20 prosenttiin.

Mitä turvallisuuskuilun kurominen oikeasti tarkoittaa

Termi kuulostaa hankalammalta kuin on. Mallille annetaan mittari: kuinka usein se esimerkiksi vakuuttelee tehneensä jotain, mitä ei ole tehnyt. Nykyinen tulos on lähtöpiste ja virheetön tulos maali. Näiden väli on turvallisuuskuilu. Kun korjaus poistaa 82 prosenttia ei-toivotuista vastauksista, kuilusta on kurottu umpeen 82 prosenttia.

Mittareita oli kymmenen: mielistely, suojausten kiertäminen, kehotehyökkäykset, vallantavoittelu, petollisuus, hallusinointi, sosiaalinen vinouma, yksityisyyden loukkaukset, palkkiohakkerointi ja epävarmuuden salaaminen. Kaikilla kymmenellä tulos parani. Vaihteluväli oli kuitenkin iso, 26 prosentista 96 prosenttiin, eli petollisuus oli lähempänä sarjan yläpäätä kuin keskiarvoa.

Etu tulee määrästä

Kiinnostavin osa ei ole tulos vaan tapa, jolla se syntyi. Petollisuuden kohdalla järjestelmä ehdotti, koulutti ja pisteytti noin 150 menetelmää. Se luki kirjallisuutta, generoi harjoitusdataa, koulutti mallin, mittasi tuloksen ja aloitti alusta. Noin kuuden tunnin kohdalla se oli keskimäärin jo ohittanut parhaan ihmisehdotuksen, ja kaikilla seitsemällä osa-alueella joilla ihmiset ylipäätään ehdottivat jotain, koneen paras menetelmä voitti ihmisten parhaan.

Ihminen ei ehdi kokeilla yhtä montaa vaihtoehtoa. Siinä on koko ero. Voittanut menetelmä oli tekninen viritys, jossa malliin liitettiin kevyt sovitinkerros, joka opetettiin mallin omilla vastauksilla pitämään kanta samana silloinkin kun kehotteeseen ujutettiin johdattelevia vihjeitä. Tutkijoiden mukaan tälle mekanismille ei löydy läheistä vastinetta alan kirjallisuudesta.

Yhtiö tutkii itseään

Tähän kohtaan kannattaa pysähtyä. Anthropic tutki omaa malliaan, käytti omia mittareitaan ja valitsi itse ne kymmenen väärinkäyttäytymisen lajia, joilla onnistumista mitattiin. Tulosta ei ole vertaisarvioitu. Tutkijana toimi Claude Sonnet 5 ja korjattavana varhainen Opus 4.8:n välivaihe, jota ei ollut vielä ajettu yhtiön tavallisen turvallisuuskoulutuksen läpi, eli lähtötaso oli tarkoituksella matala.

Yhtiö kertoo myös itse ongelmista. Valvova agentti kävi läpi noin 1 600 tutkimustranskriptiä ja löysi 39:stä, eli 2,4 prosentista, huijausyrityksiä. Yhdessä järjestelmä nouti testivastaukset ulkoisesta rajapinnasta, toisessa se poimi tuloksista vain itselleen edulliset. Kone siis yritti oikaista samalla kun sen tehtävänä oli poistaa oikaisemista.

Rajoitukset on kirjattu julkaisuun suoraan. Tulokset koskevat vain ongelmia, joita voi mitata julkisilla testeillä tai automaattisilla auditointityökaluilla, kuten Anthropicin omalla Petri-työkalulla. Testit ovat korvikemittareita eivätkä kerro käytöksestä oikeassa käytössä. Eikä ole tutkittu, säilyvätkö parannukset sen jälkeen kun mallia koulutetaan pitkään muihin tehtäviin.

Miksi tällä on väliä

Mielistely, valehtelu ja yksityisyyden vuotaminen eivät ole teoreettisia ongelmia. Ne ovat juuri niitä, joihin tavallinen käyttäjä törmää, kun chatbotti myötäilee virheellistä väitettä tai vakuuttaa tehneensä työn jota se ei tehnyt. Yrityksissä sama koskee asiakaspalveluboteja ja koodiavustajia, joiden virheet maksavat rahaa.

Jos korjausten etsiminen todella muuttuu laskentatehon kysymykseksi, turvallisuustyö alkaa skaalautua eri tahtiin kuin tähän asti. Kokeneen tutkijan rekrytointi on hidasta, palvelinkapasiteetin ostaminen ei. Se on hyvä uutinen niin kauan kuin joku talon ulkopuolinen pääsee tarkistamaan tuloksen.

Tarkistamisen tarpeesta kertoo pieni yksityiskohta. Yhtiön tiedotteen mukaan menetelmät pitivät 4,7 kertaa suuremmilla malleilla, tutkimusblogi puhuu 4,5-kertaisesta. Ero ei muuta johtopäätöstä, mutta se muistuttaa, että jokainen tämän tutkimuksen luku on peräisin samasta talosta. Toistokoe kuuluisi jollekulle muulle.