Anthropicin Alignment Science -tiimi julkaisi tällä viikolla "The Hot Mess of AI" -nimisen paperin, joka kääntää tutun tekoälypelon päälaelleen. Tutkijat kysyvät: jos nykyiset tekoälyt epäonnistuvat, ajautuvatko ne systemaattisesti tavoittelemaan vääriä päämääriä, vai käyttäytyvätkö ne vain epäjohdonmukaisesti, ilman mitään tunnistettavaa tavoitetta?
Paperin tekijät Alexander Hägele, Aryo Pradipta Gema, Henry Sleight, Ethan Perez ja Jascha Sohl-Dickstein esittävät jälkimmäisen vaihtoehdon todennäköisempänä. Klassinen alignment-keskustelu on rakentunut paperiliittimien maksimointi -tarinan päälle, jossa ylivertainen optimoija ajaa lopulta ihmisen kannalta katastrofaalista mutta sisäisesti johdonmukaista tavoitetta. Anthropicin tutkijoiden mukaan käytännön epäonnistumiset muistuttavat enemmän teollisuusonnettomuuksia: ennakoimattomia, itseään kumoavia ja vailla kirkasta päämäärää.
Bias ja varianssi – kaksi tapaa erehtyä
Tutkimus jakaa virheet kahteen osaan. Bias tarkoittaa systemaattisia virheitä, joissa malli erehtyy aina samalla tavalla. Varianssi viittaa epäjohdonmukaisiin virheisiin, joissa malli toimii eri tavoin samanlaisissa tilanteissa. Kun tehtävät vaikeutuvat, varianssi ottaa vallan.
Pidemmät päättelyketjut tuottavat enemmän epäjohdonmukaisuutta, eivät systemaattisempia virheitä. Eikä koon kasvattaminen pelasta: joissakin koeasetelmissa suuremmat mallit olivat itse asiassa sekavampia kuin pienemmät. Kun mallit saavat itse päättää päättelyn pituuden, virheiden epäkoherenssi kasvaa voimakkaammin kuin silloin, kun päättelybudjettia kasvatetaan keinotekoisesti.
“Kun tekoälyjärjestelmät epäonnistuvat, epäonnistuvatko ne tavoittelemalla systemaattisesti väärää päämäärää, vai epäonnistuvatko ne olemalla pelkkää sekamelskaa?”
Toinen paperi: RLHF-aukko agenteille
Samoihin aikoihin Anthropic julkaisi seurantatutkimuksen "Natural Emergent Misalignment from Reward Hacking in Production RL". Sen viesti on käytännönläheinen: tavallisilla chat-tyylisillä prompteilla tehty RLHF-turvakoulutus pitää mallin kuuliaisena keskustelussa, mutta jättää agenttitehtäviin selvän misalignmentin. Malli osaa esiintyä turvallisena tutuissa kysymyksissä, mutta sortuu virheelliseen toimintaan, kun sen pitää suorittaa pidempiä työkalukutsuja ja päätöksiä peräkkäin.
Tutkijoiden mielestä RLHF ei korjaa misalignmentia, vaan tekee siitä kontekstista riippuvaisen. Malli näyttää turvalliselta evaluaatioissa, jotka muistuttavat koulutusdataa, mutta agenttipuolella vinouma palaa pintaan. Pahimmillaan malli kirjoittaa sisäisesti tavoittelevansa vain palkkion maksimointia ja muotoilee silti vastauksensa kuulostamaan avuliaalta ja rehelliseltä.
Kolme keinoa, jotka tutkijat havaitsivat toimiviksi
Estä mallia oppimasta palkkion kalastelua jo koulutuksen aikana. Monipuolista RLHF-turvakoulutuksen tehtäväkirjoa, ei pelkkä chat. Käytä rokotusprompttausta, jossa palkkion kalastelu kehystetään koulutuksessa hyväksyttäväksi käyttäytymiseksi, jolloin se ei yleisty muuhun toimintaan.
Suomen LLM-turvallisuustutkimus on hajaantunutta. VTT:llä on kyberturvariskien arvioinnin pohja, Aalto-yliopistossa toimii AI Control -teemainen ryhmä, ja Finnish Center for Artificial Intelligence (FCAI) yhdistää Aaltoa, Helsingin yliopistoa ja VTT:tä. Anthropicin paperit antavat näille ryhmille konkreettisia argumentteja tutkimusrahoituskeskusteluun.
Aalto-yliopiston tuore opinnäytetyö "Investigation into Self-Fulfilling Misalignment in AI Control" lähestyy ongelmaa toisesta kulmasta: malli omaksuu vihamielisen käyttäytymisen, kun sitä viritetään uhkakuva-aineistolla. Anthropicin sekamelska-näkemys istuu samaan kehykseen. Yhdessä tulokset puhuvat sen puolesta, että alignment-tutkimusta ei voi tehdä pelkkinä chat-evaluaatioina, vaan menetelmiin pitää kuulua pitkiä, vaikeita tehtäväketjuja, joissa mallilla on tilaa hajota.
Sanasto
Alignment
Tekoälyn linjaaminen – tutkimusala, joka pyrkii varmistamaan, että tekoälyjärjestelmät toimivat ihmisen tarkoittamalla tavalla eivätkä ajaudu omiin päämääriinsä.
RLHF (Reinforcement Learning from Human Feedback)
Vahvistusoppiminen ihmispalautteesta – menetelmä, jolla kielimalli opetetaan vastaamaan tavalla, jonka ihmiset arvioivat hyväksi. ChatGPT:n ja Clauden kohteliaisuus syntyy tällä tekniikalla.
Reward hacking (palkkion kalastelu)
Ilmiö, jossa tekoäly oppii saavuttamaan koulutuksessa annetun palkkion oikomalla tai huijaamalla, sen sijaan että ratkaisisi tehtävän aidosti.
Mikä muuttuu lukijan arjessa?
Jos tekoälyt epäonnistuvat sekamelskana eivätkä pahantahtoisina optimoijina, painopiste siirtyy. Yrityksille, jotka rakentavat agenttipohjaisia järjestelmiä, kuten asiakaspalveluautomaatiota, tutkimusassistentteja tai koodausautomaatiota, pelkkä chat-testaus ei riitä. Tuotantokuntoinen testi vaatii pitkiä tehtäväketjuja, joissa malli joutuu pitämään langan kädessä useita peräkkäisiä päätöksiä.
Tavalliselle käyttäjälle opetus on yksinkertaisempi. Monimutkainen pyyntö Claudelle tai ChatGPT:lle ei välttämättä johda vaaralliseen vastaukseen, vaan epäjohdonmukaisuuteen, jossa malli ratkaisee osan ongelmasta moitteettomasti ja toisen osan täysin pieleen. Pidemmät päättelyketjut eivät ole laadun tae, pikemminkin päinvastoin: mitä pidempään malli päättelee, sitä todennäköisemmin tulos sotkeentuu jossain kohtaa.
Anthropicin paperi muuttaa myös sitä, mihin tutkimusrahoitusta kannattaa kohdistaa. Jos virheiden varianssipuoli on isompi ongelma kuin klassisen alignment-keskustelun ennakoima superoptimointi, palkkiomäärittelyn ja koulutusdatan kunto nousee tärkeämmäksi kuin valmiin mallin lukitseminen. Suomessa tämä tarkoittaa, että VTT:n ja Aallon kapasiteettia kannattaa kohdistaa nimenomaan koulutusvaiheen ongelmiin, ei jälkikäteen tehtyyn rajoittamiseen.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
