Muisti, joka oppii lennossa
Kielimallien muisti on lyhyt. Pitkissä keskusteluissa ne alkavat unohtaa aiemmin sanottua, ja satojen sivujen dokumenttien käsittely on niille ylivoimaisen raskasta. Googlen tutkijat julkaisivat joulukuussa 2025 Titans-arkkitehtuurin, joka lähestyy ongelmaa uudesta kulmasta: sen sijaan, että malli yrittäisi pitää kaikkea mielessään kerralla, se käyttää syvää neuroverkkoa pitkäkestoisena muistina, joka päivittyy reaaliajassa.
Keskeinen idea on yllättävän arkinen. Malli mittaa jokaisen uuden tiedon "yllättävyyttä". Jos syöte on ennustettavaa, malli sivuuttaa sen kevyesti. Jos tieto poikkeaa merkittävästi aiemmin opitusta, se tallentuu pitkäkestoiseen muistiin. Mekanismi muistuttaa ihmismuistia: muistamme poikkeukselliset tapahtumat, emme arkipäivän rutiineja.
Yllätysmetrikan rinnalla Titans hyödyntää kahta muuta mekanismia. Momentum huomioi viimeaikaisen kontekstin, jotta yksittäisen sanan yllättävyys ei ratkaise kaikkea. Mukautuva unohtaminen puolestaan pitää muistin hallittavan kokoisena, kun käsiteltävänä on miljoonien sanojen tekstimassoja.
Transformerin neliöongelma
Nykyiset kielimallit perustuvat transformer-arkkitehtuuriin, jossa konteksti-ikkuna toimii eräänlaisena työmuistina. Laskentakustannukset kasvavat neliöllisesti kontekstin pidentyessä. Käytännössä sadan tuhannen sanan teksti vaatii moninkertaisesti laskentatehoa verrattuna kymmenen tuhannen sanan tekstiin, ja jossakin kohdassa raja tulee vastaan.
Titans kiertää pulman lineaarisesti skaalautuvalla muistimekanismilla. Malli pystyy käsittelemään yli kaksi miljoonaa tokenia menettämättä merkittävästi tarkkuutta. BABILong-testissä, joka mittaa mallin kykyä poimia yksittäisiä faktoja valtavista teksteistä, 760 miljoonan parametrin Titans päihitti GPT-4:n. Kokoero on valtava: GPT-4:ssä on arviolta satoja miljardeja parametreja.
Googlen MIRAS-kehys (Memory as Inner Retrieval-based Associative System) tarjoaa Titansin kaltaisille malleille teoreettisen pohjan. Se kuvaa sekvenssioppimisen neljän elementin kautta: muistiarkkitehtuuri, huomion kohdistaminen, säilytysmekanismi ja oppimisalgoritmi. Kehyksestä on jo johdettu kolme uutta mallivarianttia – YAAD, Moneta ja Memora – jotka lähestyvät muistiongelmaa eri matemaattisin keinoin.
Koodausagentti, joka näkee koko projektin
Koodausagentille pitkäkestoinen muisti tarkoittaisi kykyä hahmottaa koko ohjelmistoprojektin rakenne kerralla. Nykyisin koodaustyökalut näkevät vain kapean siivun koodikannasta ja joutuvat arvailemaan kokonaisuutta. Tutkimusavustajalle muisti mahdollistaisi satojen sivujen tieteellisten artikkelien vertailun yhdessä istunnossa ilman, että aiemmin luetut tiedot katoavat.
Vaikutus ulottuu arkisempaan käyttöön. Chatbotit voisivat vihdoin muistaa aiemmat keskustelut ja hyödyntää niissä oppimaansa sen sijaan, että jokainen istunto alkaa tyhjältä pöydältä.
Titans ei ole vielä kaupallisessa käytössä, eikä Google ole kertonut, päätyykö arkkitehtuuri Gemini-malleihin. Tutkijat ovat kuitenkin osoittaneet, että sama lähestymistapa toimii tekstin lisäksi DNA-sekvenssien mallintamisessa ja aikasarja-analyysissa. Kyse ei siis ole vain kielimallien päivityksestä vaan laajemmin uudesta tavasta käsitellä pitkiä sekvenssejä.
Titansin parametrit
Tokenia kontekstissa
Päihitetty BABILong-testissä
