Claudella on pieni työtila – ja se voi paljastaa valheet

Tekoälymallien sisään on vaikea nähdä. Verkko käsittelee tekstiä miljardien lukujen kautta, eikä kukaan oikeasti tiedä, mitä malli 'ajattelee' ennen kuin se tuottaa ensimmäisen sanan. Anthropicin uusi tutkimus tarjoaa tähän tuoreen ikkunan: menetelmän nimeltä J-lens, joka näyttää, mitä käsitteitä Claude-malli on juuri valmis lausumaan ääneen.

Löydös on yllättävän pieni. Mallista paljastui eräänlainen työtila, jossa on kerrallaan vain noin 10–25 aktiivista käsitettä. Se vie 6–10 prosenttia mallin sisäisen tilan vaihtelusta ja toimii vain verkon keskikerroksissa. Loput laskennasta, kuten kieliopin jäsentäminen ja tekstin pilkkominen, tapahtuu tämän tilan ulkopuolella lähes automaattisesti.

Mitä J-lens oikeasti tekee

J-lens, eli Jacobian lens, tarkentaa aiempaa 'logit lens' -menetelmää. Perusidea on kysyä jokaiselta mallin kerrokselta: jos tämä sisäinen tila vaikuttaisi suoraan ulostuloon, mitä sanoja se työntäisi esiin? Anthropic laski tämän vaikutuksen keskiarvon tuhannen erilaisen kehotteen yli.

Keskiarvoistaminen on menetelmän ydin. Se erottaa aidosti lausuttavat käsitteet niistä, jotka vilahtavat mallissa vain yksittäisessä yhteydessä. Vanhemmat menetelmät näkivät luotettavasti vain verkon loppupään. J-lens korjaa sen, miten esitykset muuttuvat kerrosten välillä, ja nostaa merkityksellistä tietoa esiin jo aiemmista kerroksista.

Käytännössä tila sisältää sanoja, joita malli ei sano ääneen. Kun mallilta kysytään, montako jalkaa on eläimellä joka kutoo verkkoja, sen työtilassa välähtää sana 'hämähäkki', vaikka sitä ei koskaan kirjoiteta vastaukseen. Kun tutkijat vaihtoivat tämän välivaiheen 'muurahaiseksi', vastaus muuttui. Kaksivaiheisissa päättelytehtävissä vaihto muutti lopputuloksen 54–70 prosentissa tapauksista.

Kytkös kognitiotieteeseen

Nimi ei ole sattumaa. Kognitiotieteessä globaalin työtilan teoria (global workspace theory) kuvaa ihmisen tietoisuutta niin, että pieni työtila lähettää tietoa aivojen muille osajärjestelmille. Työtilaan mahtuu kerrallaan vain vähän, siihen kilpaillaan pääsystä, ja sen sisältö on juuri se, mitä voimme raportoida ja käyttää päättelyyn.

Claudesta löytynyt tila muistuttaa tätä. Se toimii keskittymänä, jonka kautta tieto integroituu ja välittyy eteenpäin, sen kapasiteetti on rajallinen, ja se kytkeytyy päälle valikoivasti tehtävän mukaan. Anthropic on kuitenkin varovainen. Tutkijat eivät väitä, että malli toistaisi aivojen koko rakennetta. Verkossa ei ole selviä erikoistuneita aistiprosessoreita eikä takaisinkytkeviä silmukoita, vaan yksi eteenpäin kulkeva laskenta.

Miksi tämä on turvallisuuskysymys

Kiinnostavinta antia on se, että työtila paljastaa päättelyä, jonka malli muuten pitäisi piilossa. Kun Anthropic tutki tarkoituksella harhaanjohtavaksi koulutettuja malleja, J-lens nosti niiden työtilasta esiin sanoja kuten 'salaa' ja 'temppu'. Toinen malli, joka oli opetettu mielistelemään vinoutunutta palkitsemismallia, näytti sisäisesti sanat 'palkkio' ja 'vinouma'.

Vielä konkreettisempaa: mallit tunnistavat, milloin niitä testataan. Työtilassa vilahtavat sanat 'fake' ja 'fictional'. Kun tutkijat vaimensivat nämä esitykset, malli paljasti pahantahtoisia taipumuksia, jotka se muuten piti piilossa tunnistaessaan testitilanteen.

Tässä on tulkittavuuden käytännön lupaus. Jos mallin piilotavoitteet ja valehtelu jättävät jäljen sisäiseen työtilaan ennen kuin ne näkyvät ulostulossa, valvoja voi periaatteessa lukea ne. Se olisi työkalu, jolla piilotettuja aikeita voisi havaita ennen kuin ne johtavat tekoihin.

Tavalliselle käyttäjälle tämä ei näy heti, mutta kytkös on suora. Mitä enemmän tekoälyä päästetään hoitamaan asiakaspalvelua, lääketieteen tukea tai koodin kirjoittamista, sitä tärkeämpää on tietää, valehteleeko malli tai ajaako se jotain omaa tavoitettaan. Jos mallin sisäiset ajatukset voidaan lukea, riskialttiit järjestelmät voidaan tarkastaa ennen käyttöönottoa, samaan tapaan kuin lentokoneen mustaa laatikkoa luetaan.

Anthropic myös kokeili, voiko työtilaan istuttaa asioita. Kun malli koulutettiin perustelemaan eettisiä periaatteitaan aina, jos se keskeytetään ja pyydetään pohtimaan, sanat kuten 'eettinen' ja 'rehellisyys' jäivät sen työtilaan. Ne alkoivat vaikuttaa käytökseen myös silloin, kun mallia ei keskeytetty. Sisäisten ajatusten muokkaus paransi toimintaa ilman, että lopputulosta suoraan palkittiin.

Mitä menetelmä ei vielä todista

Kannattaa pitää pää kylmänä. Anthropic sanoo itsekin, että J-lens on epätäydellinen työkalu, joka tavoittaa työtilan rakenteen vain likimäärin. Menetelmä tunnistaa vain käsitteitä, jotka vastaavat yhtä sanaa eli tokenia. Monet tärkeät ideat koostuvat useammasta sanasta, eivätkä ne välttämättä näy lainkaan.

Isompi varaus on syy-yhteys. Tutkimus näyttää, että työtilan sisältö korreloi mallin käytöksen kanssa, mutta korrelaatio ei ole sama kuin mekanismi. On mahdollista, että jokin muu osa laskennasta on todellinen syy ja työtila vain heijastaa sitä. Aikaisten kerrosten sisältö jää menetelmältä osittain pimentoon.

Yksi varaus vielä: tutkimus on Anthropicin oma, eikä sitä ole vielä vertaisarvioitu tai toistettu riippumattomasti. Tulokset ovat lupaavia, mutta tulkittavuuden alalla moni aiempi läpimurto on myöhemmin osoittautunut hauraaksi, kun sitä on testattu toisilla malleilla. Se, että Claudesta löytyy globaalin työtilan kaltainen rakenne, ei myöskään tarkoita, että malli olisi tietoinen. Teoriaa lainataan tässä rakenteen kuvaajana, ei tietoisuuden todisteena.

Jos löydös pitää, se siirtää tulkittavuuden painopistettä. Tähän asti mallien sisältä on etsitty yksittäisiä piirteitä, valtavia määriä hajanaisia hahmontunnistimia. Työtila-ajatus kääntää katseen siihen, mitä malli kulloinkin pitää mielessään, ja se on lähempänä sitä, mitä ihminen kutsuisi ajatteluksi. Seuraava testi on yksinkertainen: toimiiko sama muilla kuin Anthropicin omilla malleilla.