Piilotettu työtila Clauden sisällä
Anthropicin tutkijat julkaisivat heinäkuun alussa työkalun, jolla he pääsivät kurkistamaan Claude-kielimallin sisään uudella tavalla. Menetelmä nimeltä J-linssi eli Jacobian-linssi laskee jokaiselle mallin sanastossa olevalle sanalle, kuinka voimakkaasti jokin sisäinen aktivaatiokuvio työntää mallia sanomaan juuri sen sanan. Näin tutkijat näkevät, mitä malli käsittelee mielessään, eivät vain sitä mitä se lopulta kirjoittaa.
J-linssi paljasti, että Clauden käsittely jakautuu karkeasti kolmeen vyöhykkeeseen. Alussa on aistivyöhyke, joka jäsentää syötteen, ja lopussa motorinen vyöhyke, jossa ajatukset tiivistyvät ulostulon sanoiksi. Näiden väliin jää kapea työtila, jossa abstraktit käsitteet säilyvät pidempään: siellä malli tunnistaa kasvoja, huomaa koodin virheitä ja havaitsee kehotteisiin piilotettuja hyökkäyksiä.
Työtila on yllättävän pieni. Yksittäisen käsitteen kohdalla se kattaa vain noin 6–7 prosenttia siitä, miten käsite mallissa edustuu, mutta juuri tämä osuus ratkaisee, pystyykö malli ylipäätään raportoimaan käsitteestä. Tutkijoiden mukaan työtilaa ei rakennettu tarkoituksella, vaan se syntyi itsestään koulutuksen aikana.
“Kymmenet erikoistuneet prosessit työskentelevät rinnakkain kulissien takana, mutta vain pieni tiedon valokeila lähetetään kerrallaan koko teatterin nähtäväksi.”
Miksi rakenne muistuttaa tietoisuusteoriaa
Anthropicin 16 tutkijan artikkeli kantaa nimeä Verbalizable Representations Form a Global Workspace in Language Models, ja se ilmestyi 6. heinäkuuta transformer-circuits.pub-sivustolla. Nimi viittaa neurotieteilijä Bernard Baarsin globaalin työtilan teoriaan, jonka mukaan aivoissa lukuisat erikoistuneet prosessit toimivat rinnakkain, mutta vain pieni osa tiedosta pääsee kerrallaan yhteiseen valokeilaan.
Vertaus on houkutteleva, koska Clauden työtila käyttäytyy samaan tapaan. Tutkijat osoittivat, että kun J-linssin vektoriin vaihdettiin "jalkapallo" sanaksi "rugby", mallin vastaus muuttui. Kun mallia pyydettiin keskittymään sitrushedelmiin, työtila täyttyi sanoista kuten "appelsiini" ja "sitruuna" sekä ajattelua kuvaavista sanoista.
Kyse on analogiasta, ei tietoisuudesta
Tutkijat erottavat toisistaan pääsytietoisuuden, eli sen että tieto on käytettävissä raportointiin ja päättelyyn, sekä fenomenaalisen tietoisuuden eli subjektiivisen kokemuksen. Jälkimmäisestä he sanovat suoraan, etteivät ota kantaa.
Erot ihmisaivoihin ovat isot. Aivot käyttävät takaisinkytkeviä silmukoita, Claude yhtä eteenpäin kulkevaa laskentaa. Ihmisen työmuisti rapautuu sekunneissa, kun taas mallin työtila on rakentunut lähes kokonaan sanojen ympärille. Globaalin työtilan teoria on siis vertauskuva, ei väite koneen sisäisestä kokemuksesta.
Kun työtila sammutetaan, päättely romahtaa
Kiinnostavin havainto syntyi, kun tutkijat vaimensivat työtilan kokonaan. Yksinkertaiset tehtävät selvisivät lähes ennallaan: monivalinnat, tekstin sävyn arviointi ja kieliopin arviot pysyivät pystyssä. Monivaiheinen päättely sen sijaan romahti.
Käännökset, analogiat, monihyppyinen päättely ja sonettien kirjoitus putosivat heikommalle tasolle kuin Anthropicin pienemmällä Haiku-mallilla. Yksi esimerkki oli kysymys siitä, montako jalkaa on eläimellä, joka kutoo seittejä. Mallin välikerroksiin ilmestyi sana "hämähäkki", vaikka se ei näkynyt vastauksessa. Kun "hämähäkki" vaihdettiin "muurahaiseen", vastaus muuttui kahdeksasta kuuteen.
Matematiikassa ero oli selvä. Tehtävät, jotka malli ratkoi näkyvällä ajatteluketjulla, kestivät työtilan sammuttamisen, mutta suoraan vastatut tehtävät kaatuivat. Työtila näyttää siis olevan se paikka, jossa malli pitää useita välivaiheita mielessään yhtä aikaa.
