Google antoi tekoälylle muistin joka ei unohda

Nykyiset tekoälymallit ovat lyhytmuistisia. Ne pystyvät käsittelemään kerrallaan rajallisen määrän tekstiä – niin sanotun konteksti-ikkunan verran – ja kun se täyttyy, vanhimmat tiedot katoavat. Googlen tutkijat julkaisivat Titans-arkkitehtuurin ja MIRAS-kehyksen, jotka lähestyvät ongelmaa uudesta suunnasta: ne antavat tekoälylle pitkäkestoisen muistin.

Muistilappujen ja oikean muistin ero

Nykymallien konteksti-ikkuna toimii kuin pino muistilappuja. Jokaiselle lapulle mahtuu tietty määrä tekstiä, ja kun pino on täynnä, vanhin lappu putoaa pois. Malli ei opi keskusteluista mitään pysyvää, vaan lukee lappuja ja reagoi niihin.

Titans muuttaa asetelman. Sen pitkäkestoinen muistimoduuli on syvä neuroverkko, joka päivittää omia painojaan samalla kun se käsittelee uutta tietoa. Periaate muistuttaa ihmisen muistia: merkitykselliset asiat jäävät mieleen, rutiininomainen tieto unohtuu. Mallin ei tarvitse saada kaikkea tietoa joka kerta uudelleen syötteenä – se yksinkertaisesti muistaa.

Yllätys ratkaisee, mikä jää mieleen

Titans käyttää yllätysmetriikkaa päättääkseen, mitä tallentaa. Kun malli kohtaa tietoa joka poikkeaa merkittävästi siitä mitä se jo tietää, yllätysarvo nousee ja tieto tallennetaan. Tuttu, ennakoitava tieto ohitetaan kevyemmin.

Periaate on tuttu arkielämästä. Kun kävelet joka aamu saman reitin töihin, et muista yksittäisiä matkoja. Mutta jos jokin poikkeaa totutusta – vaikkapa suljettu tie tai uusi rakennus kadunkulmassa – se jää mieleen. Titans toimii samalla logiikalla.

Järjestelmässä on kaksi lisämekanismia. Momentum huomioi yksittäisen tiedon lisäksi sitä ympäröivän kontekstin virran, jolloin malli hahmottaa laajempia kokonaisuuksia. Painojen vaimeneminen (weight decay) puolestaan poistaa vanhentunutta tietoa adaptiivisesti, mikä on välttämätöntä erityisesti pitkissä syötteissä.

MIRAS yhdistää palaset

Titans ei syntynyt tyhjiössä. Googlen tutkijat kehittivät samalla MIRAS-kehyksen, joka asettaa viime vuosien sekvenssimallinnuksen yhteiseen teoreettiseen viitekehykseen.

MIRAS osoittaa, että monet viimeaikaiset arkkitehtuurit – Transformer-variantit, Mamba, DeltaNet, RetNet ja RWKV – ovat pohjimmiltaan saman idean eri toteutuksia. Kukin niistä on sisäinen hakujärjestelmä, joka yhdistää syötteet tulosteisiin. Kehys pilkkoo suunnittelun neljään perusvalintaan: muistin rakenne, oppimisen tavoite, unohtamismekanismi ja päivitysalgoritmi.

Tutkijoille MIRAS tarjoaa systemaattisen työkalupakin muistiarkkitehtuurien suunnitteluun ja vertailuun. Kehyksen pohjalta syntyi kolme uutta varianttia – YAAD, MONETA ja MEMORA – joista kukin lähestyy muistin optimointia hieman eri kulmasta.

Pienet mallit, isot tulokset

Titans pärjäsi vertailukokeissa kokoaan selvästi suurempia malleja vastaan. Vain 760 miljoonan parametrin Titans ylitti BABILong-ymmärrystesteissä sekä GPT-4:n että Llama 3.1-70B:n, jotka ovat huomattavasti suurempia.

Malli skaalautui yli kahden miljoonan tokenin konteksteihin ja saavutti yli 95 prosentin tarkkuuden niin kutsutuissa neula heinäsuovassa -testeissä. Kielimallinnuksen vakiomittareilla Titans tuotti johdonmukaisesti alhaisemman perpleksiteetin kuin vertailumallit Mamba-2, Gated DeltaNet ja Transformer++.

Kielen lisäksi arkkitehtuuri osoitti monipuolisuutensa genomimallinnuksessa, aikasarjaennustamisessa ja nollasta oppivassa päättelyssä – merkki siitä, että lähestymistapa ei rajoitu pelkkään tekstinkäsittelyyn.

Kohti tekoälyä joka oppii koko ajan

Arkikäyttäjälle Titans-tyyppinen arkkitehtuuri tarkoittaisi tekoälyavustajaa, joka aidosti oppii tuntemaan käyttäjänsä. Nykyään jokainen keskustelu alkaa puhtaalta pöydältä – avustaja ei muista viime viikon projektia tai käyttäjän mieltymyksiä ilman erillistä muistijärjestelmää. Pitkäkestoinen muisti tekisi vuorovaikutuksesta luontevampaa.

Yrityskäytössä hyödyt korostuisivat entisestään. Pitkäkestoiset koodausprojektit, laajat dokumenttikokoelmat ja monimutkaiset analyysit vaativat juuri sellaista jatkuvaa kontekstin hallintaa, jota Titans-arkkitehtuuri mahdollistaa.

Googlen tutkimus on toistaiseksi akateemista, eikä Titansia ole integroitu kaupallisiin tuotteisiin. Testitulokset eivät myöskään aina siirry sellaisinaan tuotantoympäristöihin. Tutkimus osoittaa kuitenkin konkreettisen suunnan: kielimallien seuraava merkittävä kehitysaskel ei välttämättä ole suurempi konteksti-ikkuna vaan aito, jatkuvasti oppiva muisti.