OpenAI:n alkuperäisen GPT-paperin kirjoittaja Alec Radford julkaisi tiistaina 28. huhtikuuta yhdessä Nick Levinen ja David Duvenaudin kanssa avoimen kielimallin, joka tuntee vain yhden maailman: sen, joka oli olemassa ennen vuotta 1931. Talkie-1930 on 13 miljardin parametrin malli, koulutettu 260 miljardilla tokenilla pelkästään tekijänoikeusvapaata englanninkielistä aineistoa. Apache 2.0 -lisenssi, painot Hugging Facessa, koodi GitHubissa.
Aineisto on koottu kirjoista, sanomalehdistä, aikakauslehdistä, tieteellisistä julkaisuista, patenteista ja oikeustapauksista, jotka olivat Yhdysvalloissa siirtyneet public domainiin ennen 1.1.1931. Mallin koulutus tapahtui siis ilman tekijänoikeudellisia harmaita alueita – tilanne, jonka eteen suurin osa modernien LLM:ien kouluttajista joutuu nykyään parlamentteihin ja oikeussaleihin.
Voiko Python syntyä ilman tietokoneen käsitettä?
Tutkijoiden kiinnostavin koe on muotoiltu kysymyksenä: pystyykö malli, jolle ”tietokone” on käsittämätön sana, oppimaan kirjoittamaan Pythonia pelkistä in-context-esimerkeistä? Tutkijat ajoivat HumanEval-testin. Tulos oli vaatimaton mutta merkittävä. Suorituskyky parani mallin koon kasvaessa, ja kaikki onnistuneet vastaukset olivat joko yksirivisiä ratkaisuja tai pieniä muunnelmia annetuista esimerkeistä.
Yksi yksityiskohta nostettiin julkaisussa esiin. Kun Talkielle annettiin rotaatiosalakirjoituksen koodausfunktio, se kirjoitti dekoodausfunktion vaihtamalla yhden merkin – plussan miinukseksi. Käänteisfunktion idea on ilmeisesti vanhempi kuin tietokone, ja malli osasi soveltaa sitä koodiin, jota se ei tunnistanut koodiksi.
Vertailun vuoksi tutkijat kouluttivat samanlaisen ”modernin kaksosen” nykyisellä verkkoaineistolla. Talkie häviää sille standardiarvioissa, mutta ero kapenee kun anakronistiset kysymykset suodatetaan pois. Peruskielen ymmärtämisessä ja numeerisessa päättelyssä mallit pärjäävät samankaltaisesti.
“Vanhat mallit auttavat ymmärtämään, kuinka paljon siitä mitä luulemme tietävämme kielimalleista koskee ihmisten kieltä ja kulttuuria yleisesti, ja kuinka paljon vain tätä yhtä dataa – verkkoa.”
Aineiston suodatus ei ole täydellinen
Tutkijat olivat avoimia siitä, että aineisto vuotaa. Kun Talkielta kysyttiin Yhdysvaltain presidentistä vuonna 1936, se vastasi oikein Franklin D. Roosevelt ja jatkoi luettelemalla osittain kuvitteellista lainsäädäntöä, kuten ”Agricultural Adjustment Actin vuodelta 1935”. Säädöksen oikea vuosi on 1933, mutta jo FDR:n nimi on anakronismi mallille, jonka pitäisi loppua joulukuussa 1930.
Toinen modernin maailman vuotokohta on chat-version koulutus. Ohjeen seuraamista parannettiin generoimalla synteettisiä kysymys-vastaus-pareja vanhoista lähteistä (etikettioppaat, keittokirjat, kirjeenvaihto-ohjeet, tietosanakirjat) ja tekemällä DPO-optimointi Claude Sonnet 4.6 tuomarina. Tutkijat itse haluaisivat joskus käyttää aikakauteen sopivia tuomareita, mutta nykyversiossa modernin mallin sormenjälki on koulutusketjussa.
