Kaksi mallia, kaksi eri ongelmaa
Odyssey julkaisi viikon sisällä kaksi maailmamallia, jotka ratkovat eri pulmia. Tutkimuslaboratorio julkisti sunnuntaina 17. toukokuuta Starchild-1:n ja seuraavana päivänä Agora-1:n. Kumpikin kuuluu ns. world model -malliperheeseen, joka oppii ennustamaan ympäristön seuraavan tilan käyttäjän syötteen pohjalta. Kohteena olevat haasteet ovat kuitenkin erilaiset.
Agora-1 keskittyy moniagenttisuuteen: se tuottaa yhden, neljän pelaajan kesken jaetun simulaation, jossa jokaisella osallistujalla on oma näkökulma samaan koordinoituun maailmaan. Starchild-1 puolestaan ratkaisee multimodaalisuuden. Käyttäjiä on yksi, mutta video ja ääni tuotetaan synkronoidusti 24 ruudun sekuntinopeudella.
Miten neljän pelaajan jaettu maailma generoidaan
Aiemmat maailmamallit, kuten Googlen GameNGen tai Decartin Oasis, tuottivat pelin yhdelle pelaajalle yhdestä näkökulmasta. Agora-1 rikkoo tämän rajoituksen erottamalla simulaation ja renderoinnin toisistaan. Mallissa on kaksi opittavaa komponenttia: yksi ylläpitää eksplisiittistä, jaettua pelitilaa ja kehittää sitä pelaajien syötteiden perusteella, toinen on diffuusiotransformeri eli DiT, joka renderoi tästä tilasta kullekin pelaajalle oikean näkymän.
Arkkitehtuuri muistuttaa periaatteeltaan tavallista pelimoottoria, jossa simulaatio ja grafiikka ovat erillisiä. Erona on, että kumpaakaan osaa ei ole koodattu vaan opittu suoraan datasta. Tutkimustiimi valitsi koulutusympäristöksi Rare-studion vuoden 1997 GoldenEye 007:n N64:lle. Pelin deathmatch-tila tarjoaa selkeät säännöt ja runsaasti dataa pelin sisäisestä tilasta.
Starchild-1 ratkoo aika-ongelman
Videon ja äänen yhtäaikainen generointi reaaliajassa on tutkimuksellisesti vaikea pulma siksi, että ne etenevät eri aikaresoluutioilla. Video kulkee 24 ruudun sekuntinopeudella, ääni samassa ajassa kymmeniä tuhansia näytteitä. Aiemmat mallit ovat ratkaisseet ongelman tuottamalla ensin videon ja synkronoimalla äänen jälkikäteen, tai päinvastoin.
Starchild-1 käyttää Odysseyn mukaan asynkronista KV-välimuistia ja kausaalista distillaatioputkea. Ne mahdollistavat sen, että malli ennustaa seuraavan video- ja audiotilan autoregressiivisesti syötteistä riippuen. Käyttäjä voi syöttää tekstiä, puhetta tai toimintoja kesken ajon, ja kuva ja ääni reagoivat samaan tahtiin. Vertailukohtana Googlen Veo tuottaa videopätkiä etukäteen, ei interaktiivisesti.
Mitä tämä tarkoittaa pelialalle
Tutkimusprojekteja, joissa koko peli pyörii neuroverkossa, on toistaiseksi pieni mutta kasvava joukko. Demoja on nähty Doomista ja Minecraftista. Agora-1 vie kehityksen askeleen pidemmälle: moninpeli tuottaa samalla generaatiolla yhtenäisen maailman neljälle eri näkymälle. Kaupallista peliä mallista ei vielä saa, vaan tutkimusdemo on käytettävissä osoitteessa agora.odyssey.ml ja kestää muutaman minuutin kerrallaan.
Peruskäyttäjälle tämä ei tarkoita vielä mitään korvaavaa pelimoottoria, mutta suunta on selvä. Jos seuraavan polven mallit pystyvät pitämään jaetun maailman koherenttina kymmeniä minuutteja ja kymmenelle pelaajalle, perinteinen raja pelin koodin ja sisällön välillä alkaa hämärtyä. Indiekehittäjä voi kuvitella, että pelisuunnittelu siirtyy sääntöjen ja grafiikan ohjelmoinnista esimerkkidatan tuottamiseen ja koulutusajojen ohjaamiseen.
Robotiikalle ja simulaatioille muutos on todennäköisesti vielä isompi. Moniagenttinen, jaetussa virtuaalimaailmassa tapahtuva harjoittelu on tähän asti vaatinut käsin rakennetun simulaattorin, kuten Nvidian Isaac Simin. Agora-1:n kaltaiset opitut maailmamallit voivat tarjota halvemman tien synteettisten harjoitusympäristöjen tuottamiseen, kun käsin koodattuja sääntöjä ei tarvitse kirjoittaa joka tilanteeseen erikseen.
Miksi tämä on merkittävää
Maailmamallit ovat olleet 2020-luvun puolivälin tekoälytutkimuksen vähemmälle huomiolle jääneitä haaroja, mutta Odysseyn kaksoisjulkaisu osoittaa, että ne ovat siirtymässä yksittäisestä demosta toistettavaan käyttöön. Multimodaalisuus ja moniagenttisuus ovat olleet kaksi isointa puutetta, ja molempiin saatiin viikon sisällä uskottava vastine. Pidemmällä aikavälillä tämä avaa oven sille, että käyttäjän kanssa vuorovaikuttava video- ja äänisisältö syntyy reaaliajassa, oli kyse pelistä, opetussovelluksesta tai robotin simulointiajosta.
Sanasto
- Diffuusiomalli
- Tekoälymalli joka oppii tuottamaan kuvia tai videota lisäämällä ensin opetusaineistoon kohinaa ja sitten poistamalla sitä askel kerrallaan. Pohja muun muassa Soran ja Midjourneyn kaltaisille generaattoreille.
- Autoregressiivinen
- Tapa jolla malli tuottaa sisältöä pala kerrallaan: jokainen seuraava ennuste pohjaa edellisiin. Sama periaate kuin tekstimalleissa, joissa seuraava sana arvataan edellisten perusteella.
- Moniagenttisuus
- Tekoälyjärjestelmä, jossa useat itsenäiset agentit toimivat samassa ympäristössä yhtä aikaa – esimerkiksi neljä pelaajaa samassa pelimaailmassa, jossa kunkin tekemiset vaikuttavat muihin.
Mistä on kyse
Agora-1 on neljän pelaajan jaettu maailmamalli, joka generoi GoldenEye 007:n moninpeliä reaaliajassa. Starchild-1 on multimodaalinen maailmamalli, joka tuottaa videota ja ääntä synkronoidusti 24 fps:n nopeudella. Molemmat ovat tutkimusdemoja, eivät kaupallisia tuotteita.
