Google DeepMindin insinööri Diego Rivas ei lupaa vielä valmista tuotetta. Hän kertoi TechCrunchille, että yhtiön uudesta maailmamallista on eniten hyötyä silloin, kun ideoita pitää saada nopeasti pöytään. Englanniksi hän muotoili asian näin: ”anytime you're kind of in need of rapid ideation”, eli aina kun tarvitaan nopeaa ideointia. Ensimmäisiä testaajia ovat elokuvantekijät, kuvajournalistit ja pelinkehittäjät.
DeepMind julkisti Genie 4:n tiistaina 27. lokakuuta. Malli luo lyhyestä tekstikuvauksesta maailman, jossa käyttäjä liikkuu näppäimistöllä kuten videopelissä. Mitään valmista videota ei toisteta, vaan malli piirtää näkymän ruutu kerrallaan sitä mukaa kuin käyttäjä etenee. Sitä tarkoitetaan, kun puhutaan pelattavasta maailmasta.
Uutta on ääni. DeepMindin mukaan Genie 4 on ensimmäinen reaaliaikainen maailmamalli, joka tuottaa äänen itse samaan aikaan kuvan kanssa. Kuuluu tuulta, aaltoja ja musiikin kaltaisia taustoja. Hahmot myös puhuvat, ja niiden repliikit mukautuvat siihen, mitä käyttäjä tekee.
Sää vaihtuu kesken kohtauksen
Käynnissä olevaa simulaatiota voi muuttaa kirjoittamalla. Sää vaihtuu, kamera kääntyy, tai kohtaukseen ilmestyy uusi ihminen tai esine. DeepMindin tiedotteen mukaan ohjaus tapahtuu näppäimistöllä ja tekstikehotteilla. Puheohjausta siinä ei mainita.
Taustalla toimivat Googlen Gemini-mallit. Gemini Omni pitää ulkonäön ja käyttäytymisen todellisen maailman kaltaisena. Gemini 3.8 Flash toimii eräänlaisena ohjaajana: se pilkkoo tavoitteen vaiheiksi, tarkistaa saapuvista ruuduista, onnistuiko kukin vaihe, ja muuttaa suunnitelmaa, jos käyttäjä puuttuu tapahtumiin.
TechCrunchin mukaan kohtaus pysyy johdonmukaisena enintään kaksi minuuttia. Se on kaksi kertaa niin pitkään kuin edeltäjällä Genie 3:lla, jonka DeepMind esitteli reilu vuosi sitten.
Yhtiö kokeili mallia myös robotiikassa. Gemini 4 Argon -malli jakoi tammipelin vaiheisiin, ja Genie 4 simuloi, kuinka Apptronikin Apollo-humanoidirobotti pelaa. Tavoitteena on kokeilla robotin toimintaa ensin simulaatiossa eikä vasta oikeassa ympäristössä.
Realismiväitteet ovat yhtiön omia
DeepMind kertoo mallin simuloivan aerodynamiikkaa, törmäyksiä ja luontevasti liikkuvia ihmisiä. Se puhuu myös ennennäkemättömästä realismista. Nämä ovat valmistajan väitteitä. Mallia ei ole vertaisarvioitu, eikä kukaan ulkopuolinen ole vielä julkaissut omia testejään. Ensimmäiset uutiset, myös TechCrunchin, nojaavat Googlen materiaaliin ja Googlen työntekijöiden haastatteluihin.
Myös ensimmäisyyttä kannattaa punnita. TechCrunch huomauttaa, että Runway julkaisi pari kuukautta aiemmin GWM Worlds 2 -mallin, joka sekin on pelattava ja tuottaa ääntä. DeepMindin muotoilu rajaa vertailun reaaliaikaisiin malleihin, jotka tuottavat äänen itse. Yhtiö ei ole kertonut, miten sen malli eroaa Runwaysta käytännössä.
Puutteet DeepMind myöntää itse. Yksityiskohdat ja esineiden pysyvyys alkavat lipsua pitkissä sessioissa ja useiden muokkausten jälkeen. Monimutkainen fysiikka, äänen tarkkuus, luettava teksti ja pitkän aikavälin johdonmukaisuus ovat yhä tutkimuksen kohteena. Kaikkeen mallin tuottamaan kuvaan ja ääneen upotetaan SynthID-vesileima, jonka avulla sisällön voi tunnistaa koneen tekemäksi.
