Kun kysyt tekoälyavustajalta pitkän keskustelun aikana jotain, jonka mainitsit aivan alussa, vastaus on usein tyhjä katse. Nykyiset kielimallit eivät varsinaisesti muista mitään. Ne käsittelevät kaiken saamansa tekstin kerralla ja unohtavat sen, mikä ei mahdu rajalliseen käsittelyikkunaan. Googlen tutkijat uskovat löytäneensä tähän ratkaisun.
Transformerien muistiongelma
Kaikki merkittävät kielimallit – GPT-4, Claude, Gemini – perustuvat transformer-arkkitehtuuriin. Siinä jokainen sana vertautuu jokaiseen toiseen sanaan, mikä tekee mallista tarkan mutta raskaan. Lyhyillä teksteillä järjestelmä toimii erinomaisesti, mutta pitkillä sekvensseillä laskentakustannukset kasvavat neliöllisesti.
Käytännössä tämä tarkoittaa, että vaikka malli teoriassa käsittelisi miljoonia sanoja, se alkaa unohtaa keskivaiheen tietoja. Tutkijat kutsuvat ilmiötä nimellä "lost in the middle": mallin muisti painottuu tekstin alkuun ja loppuun, mutta keskikohta haalistuu. Ongelma kärjistyy erityisesti sovelluksissa, joissa pitkä konteksti on välttämätön – potilashistorioista genomitutkimukseen.
Muistaminen yllätyksen kautta
Googlen joulukuussa 2025 julkaisema Titans-arkkitehtuuri lähestyy ongelmaa kahdella erillisellä muistijärjestelmällä. Lyhytkestomuisti käsittelee lähisanat perinteiseen tapaan, kun taas erillinen syvä neuroverkko toimii pitkäkestoisena muistina. Toisin kuin perinteisten RNN-mallien kiinteäkokoiset muistivektorit, Titansin muistimoduuli on monikerroksinen neuroverkko, joka pystyy tiivistämään suuria tietomääriä ilman olennaisen kontekstin katoamista.
Ratkaiseva mekanismi on yllätysmetriikka. Kun Titans kohtaa tietoa, joka poikkeaa merkittävästi aiemmin opitusta, se tunnistaa suuren gradientin ja tallentaa poikkeaman pitkäkestomuistiin. Ennustettava, rutiininomainen tieto ohitetaan. Järjestelmään kuuluu myös momentum, joka ylläpitää huomiota äskettäisiin signaaleihin, sekä painon vaimeneminen, joka vapauttaa muistitilaa vanhentuneen tiedon kustannuksella.
Analogia ihmisen muistiin on houkutteleva – mekin muistamme yllättävät tapahtumat paremmin kuin arkiset. Erona on, että Titans pyrkii olemaan tarkka siinä, missä ihmismieli on valikoiva ja epäluotettava.
Tutkijat esittelivät kolme tapaa yhdistää pitkäkestomuisti malliin: muisti kontekstina (MAC), muisti porttina (MAG) ja muisti kerroksena (MAL). Pitkissä sekvensseissä MAC-variantti osoittautui tehokkaimmaksi.
760 miljoonaa parametria päihittää GPT-4:n
Titansin suorituskyky vertailutesteissä on vakuuttava. BABILong-testissä, joka mittaa tiedonhakua äärimmäisen pitkistä teksteistä, 760 miljoonan parametrin Titans-malli päihitti sekä GPT-4:n että Metan Llama 3.1 -70B:n. Jälkimmäisessä on lähes satakertainen määrä parametreja. Titans löysi yksittäisen tiedon 16 000 sanan tekstistä yli 95 prosentin tarkkuudella.
Konteksti-ikkuna skaalautuu yli kahden miljoonan tokenin, mikä vastaa karkeasti useampaa kokonaista romaania. Kielenmallinnuksessa Titans voitti sekä Mamba-2:n että Gated DeltaNetin C4- ja WikiText-aineistoilla. Tutkijoiden mukaan syvemmät muistimoduulit tuottavat johdonmukaisesti matalampaa perpleksiteettiä eli parempaa kykyä ennustaa seuraavaa sanaa.
Viitekehys ja käytännön merkitys
Titansin rinnalla Google julkaisi MIRAS-viitekehyksen, joka tarjoaa yhtenäisen teoreettisen pohjan muistiarkkitehtuureille. MIRAS käsittelee kielimalleja assosiatiivisina muistijärjestelminä ja määrittelee neljä suunnitteluvalintaa: muistin rakenne, tiedon priorisointi, muistin vakaus ja päivitysalgoritmi. Viitekehyksen pohjalta tutkijat johtivat kolme uutta mallivarianttia – Moneta, Yaad ja Memora – jotka kukin lähestyvät muistinhallintaa eri strategialla.
Jos Titansin lähestymistapa päätyy tuotantomalleihin, vaikutus näkyisi monella tasolla. Tekoälyavustaja voisi muistaa kuukausien takaiset keskustelut ilman koko historian uudelleensyöttöä konteksti-ikkunaan. Lääketieteessä malli voisi analysoida potilaan koko sairaushistorian kerralla. Genomitutkimuksessa ja aikasarja-analyysissä pitkien sekvenssien käsittely nopeutuisi merkittävästi.
OpenAI:n perustajajäsen Ilya Sutskever totesi viime vuonna, että pelkkä mallikoon ja datan kasvattaminen tuottaa yhä vähemmän tuloksia. Titans edustaa juuri sitä algoritmista innovaatiota, jota tekoälytutkimus nyt kaipaa – uutta ajattelua laskentatehon sijaan.
