Avoin malli ottaa Soran ja Veon haastajaksi
ByteDance julkaisi 1. kesäkuuta Bernini-nimisen videogeneraation ja editoinnin yhdistävän mallin Apache 2.0 -lisenssillä. Sora 2 ja Veo 3 pysyvät edelleen suljettuina, mutta Bernini yltää ByteDancen omien arviointien mukaan editoinnissa samaan ensikastiin niiden kanssa. Mallin painot ja koodi ovat ladattavissa Hugging Facen kautta.
Julkaisua edelsi 22. toukokuuta ilmestynyt tutkimusartikkeli Bernini: Latent Semantic Planning for Video Diffusion, joka kuvasi arkkitehtuurin teoreettisen pohjan. Nyt avatut painot tarjoavat ensimmäisen kerran mahdollisuuden todentaa väitteet itse.
MLLM suunnittelee, DiT piirtää
Bernini jakaa työn kahdelle erikoistuneelle mallille. Suunnittelijana toimii Qwen2.5-VL-7B, monimodaalinen kielimalli joka lukee käyttäjän pyynnön ja mahdollisen lähdevideon. Sen tehtävä on muodostaa semanttinen kuvaus siitä, miltä lopputuloksen pitäisi näyttää: ei vielä yksittäisiä pikseleitä, vaan ViT-vektoriavaruuden upotuksia, jotka kertovat renderöijälle mitä tulee tehdä.
Renderöijänä on Wan2.2-T2V-A14B-pohjainen diffuusiomalli. Se tekee varsinaiset videoruudut suunnittelijan ohjeiden mukaan. Editoinnissa renderöijä saa myös alkuperäisen videon piirteet käyttöönsä, mikä auttaa säilyttämään yksityiskohdat eheinä, esimerkiksi kasvojen mikroilmeet eivät katoa kun taustaa vaihdetaan.
Arkkitehtuurin uutuus on se, että suunnittelija ja renderöijä koulutetaan pääosin erillään ja yhteiskoulutus on kevyt. Tämä säilyttää molempien esikoulutuksessa opitut vahvuudet ja pitää koulutuskustannukset kurissa. ByteDancen tutkijat kuvaavat ratkaisua työnjaoksi, ja paperissa esitellään myös Segment-Aware 3D Rotary Positional Embedding -tekniikka, joka antaa mallin käsitellä useita visuaalisia syötteitä yhtä aikaa.
Editointi on Berninin kovin valtti
ByteDancen oma arviointialusta käyttää Bradley-Terry-pisteytystä ja sokeita ihmisarvioita. Sen tuloksissa Bernini sijoittuu editointitehtävissä samaan kärkijoukkoon Sora 2:n, Veo 3:n ja Runwayn Gen-4:n kanssa. Pelkässä generaatiossa se ei vielä yllä aivan samaan, mutta editoinnin ja generaation yhdistäminen samaan malliin on harvinaista. Yleensä studiot käyttävät kahta eri työkalua näihin vaiheisiin.
Yhdistäminen on käytännön etu. Kun mainostoimisto haluaa vaihtaa videon taustan ja lisätä uuden hahmon, tähän on perinteisesti tarvittu ensin generaatiomalli, sitten editointityökalu ja päälle vielä erillinen kuvanluontiratkaisu. Berninin alla nämä kaikki tapahtuvat samassa putkessa, jolloin tyyli ja yksityiskohdat pysyvät yhtenäisinä.
Avoin lisenssi mullistaa hinnoittelun
Apache 2.0 sallii kaupallisen käytön ilman rojaltimaksuja, mallin muokkauksen ja jopa edelleenmyynnin. Tämä erottaa Berninin selvästi Soran 2:sta ja Veo 3:sta, joita pääsee käyttämään vain OpenAI:n ja Googlen omien rajapintojen kautta. Hintalapuissa se näkyy: kun suljetun mallin minuutti voi maksaa kymmeniä euroja, avoimen mallin ainoa kuluerä on oma laskenta.
Hinta on toki suhteellinen. Bernini vaatii NVIDIAn H100-luokan kortin, eikä yksittäinen kuluttaja sellaista kotonaan pyöritä. Pilvipalveluissa H100-tuntihinta on noin 2–4 dollaria, joten yhden minuutin pituisen videon tuottaminen maksaa edelleen muutamia euroja. Erona suljettuihin malleihin on kuitenkin se, että data ei kulje OpenAI:n tai Googlen palvelimien kautta.
Aallon diffuusio-osaajille uusi työkalu
Aalto-yliopiston Jaakko Lehtisen tutkimusryhmä on yksi Euroopan tunnetuimmista diffuusiomallien ympärillä, ja Lehtinen jakaa aikansa NVIDIAn tutkimusyksikön kanssa. Ryhmä on viime vuosina julkaissut analyysejä ADM-diffuusioarkkitehtuurin koulutuksen epävakauksista ja niiden korjaamisesta. Berninin kaltainen avopainoinen julkaisu antaa pohjoismaisille tutkimusryhmille mahdollisuuden tutkia, miten MLLM-suunnittelija ja DiT-renderöijä todellisuudessa kommunikoivat. Suljetuissa malleissa tätä ei voi tehdä.
Suomalaisille media-alan toimijoille avoin malli tarkoittaa konkreettisesti sitä, että Yle, MTV tai pienempi tuotantoyhtiö voi rakentaa oman videoeditoinnin työkalun ilman riippuvuutta yhdysvaltalaisen jätin sopimuksesta. Tällä on merkitystä erityisesti silloin, kun käsiteltävä materiaali on arkaluonteista, esimerkiksi haastatteluja, joista ei saa lähettää kopioita Yhdysvaltoihin. Berninin painotiedostot voidaan ajaa kokonaan omassa konesalissa Suomessa.
Avoimen lisenssin vaikutus näkyy myös kilpailudynamiikassa. Kun yksi iso laboratorio päättää avata huipputason mallinsa, kynnys muille pitää omansa suljettuina nousee. Stable Diffusion teki saman kuvageneraatiossa kolme vuotta sitten. Nyt vuoro on tullut videolle, ja kiinalainen ByteDance ehti länsimaisten jättien edelle.
“Bernini saavuttaa videoeditoinnissa ensimmäisen kastin tason johtavien suljettujen kaupallisten mallien rinnalla.”
