Yksi malli, joka tekee kuvaa, videota ja liikettä
Saksalainen Black Forest Labs julkaisi FLUX 3:n, multimodaalisen mallin joka tuottaa yhdestä kehotteesta jopa 20 sekunnin videon synkronoituine äänineen. Yhtiö tunnetaan parhaiten Stable Diffusion -kuvamallien takana olevista tutkijoista, ja nyt se laajentaa tekoälynsä liikkuvaan kuvaan, puheeseen ja jopa robottien ohjaukseen.
Malli on koulutettu alusta alkaen yhtä aikaa kuvilla, videolla ja äänellä. Tämä erottaa sen monista kilpailijoista, jotka liittävät äänen erikseen jälkikäteen. FLUX 3 tukee tekstistä videoksi -, kuvasta videoksi - ja videosta videoksi -muunnoksia sekä monikielistä dialogia.
77 prosenttia arvioijista suosi FLUX 3:a
Yhtiön omissa testeissä 720p-tarkkuudella ihmisarvioijat suosivat FLUX 3:n jälkeä Runway Gen-4.5:n edelle 77-prosenttisesti. Ero kuitenkin kaventui kovempia vastustajia vastaan: kiinalaista Seedance 2.0:aa ja Googlen Gemini Omni Flashia vastaan tulos oli lähes tasan, 52 prosenttia.
Luvut ovat toistaiseksi Black Forest Labsin itsensä keräämiä, eikä riippumattomia vertailuja vielä ole. Niihin kannattaa siis suhtautua varauksella. 20 sekunnin pituus on silti selvä harppaus, sillä useimmat videomallit kamppailevat yhä 5–10 sekunnin pätkien kanssa. Äänen tuottaminen suoraan samasta mallista on niin ikään harvinaista.
Robotit oppivat katsomalla videota
Julkaisun kiinnostavin osa on FLUX-mimic, yhtiön sveitsiläisen Mimic Robotics -yrityksen kanssa kehittämä video-toimintamalli. Ajatus on, että sama malli joka ennustaa videon seuraavia ruutuja voi ennustaa myös robottikäden seuraavia liikkeitä. Toiminto on vain yksi tapa esittää samaa fyysistä todellisuutta.
“Toiminnot, ääni ja videoruudut ovat kaikki osittaisia kuvauksia yhdestä ja samasta fyysisestä todellisuudesta.”
Käytännössä malli on jo tuotantotestissä Audin tehtailla. Yhtiön mukaan robotti reagoi 101 millisekunnissa ja pystyy käsittelemään pehmeitä materiaaleja, mikä on perinteisellä robotiikalla ollut hankalaa. Taustamalli muuntaa syötteen tilannekuvaksi alle 80 millisekunnissa yhdellä RTX 5090 -näytönohjaimella.
