Thinking Machines Lab, Mira Muratin viime vuonna perustama OpenAI-pakolaisten yhtiö, julkisti viime viikolla TML-Interaction-Small-mallinsa. Kyseessä on 276 miljardin parametrin sekoitus, jossa aktiivisia parametreja on kerralla 12 miljardia. Ensimmäinen uutiskierros pyöri nopeuden ympärillä: 0,4 sekunnin vasteaika jättää sekä GPT-Realtime-2:n että Gemini-3.1-Flash-Liven kauas taakse. Olennaisempi tarina on kuitenkin se, mikä mallin alta löytyy. Vuoropohjainen rakenne, jossa ensin kuunnellaan ja sitten vastataan, on TML:ssä korvattu jollain ihan toisella. Yhtiön blogissa rakenne on kuvattu kolmena valintana: aika-aligned mikrovuorot, encoder-free early fusion ja kaksi rinnakkaista mallia.
200 millisekunnin mikrovuorot
Muratin tiimi ei käytä perinteistä turn-detection-logiikkaa, jossa malli odottaa puhujan tauon ja generoi sitten vastauksen. Sen sijaan järjestelmä jakaa sekä syötteen että ulostulon 200 millisekunnin paloihin, joita Thinking Machines kutsuu aika-aligned mikrovuoroiksi. Sisään tulevat audio- ja videotokenit ja ulos lähtevät tokenit ovat kaikki samaan kelloon synkronoituja virtoja. Käytännössä malli voi puhua ja kuunnella samaa 200 millisekunnin ikkunaa, tai keskeyttää itsensä, jos käyttäjä alkaa puhua päälle. Vuoropuhelua ei enää pakoteta. Se syntyy luonnostaan virtojen leikkauksessa.
Encoder-free early fusion
Toinen rakenteellinen valinta on yksityiskohta, jonka moni ohitti: TML ei käytä erillistä audio- tai videoenkooderia. Esikäsittely on minimaalinen, ja modaliteetit fuusioidaan jo syötekerroksessa. Tämä eroaa Gemini-Liven mallista, jossa eri syötteet kulkevat ensin omien enkooderiensa läpi ennen yhteistä päättelyä. TML:n lähestymistapa pienentää latenssia, mutta siirtää opetustaakkaa: malli pitää opettaa puhumaan, kuuntelemaan ja katsomaan saman painokokonaisuuden sisällä. Thinking Machinesin teknisestä blogista lukee rivien välistä, että juuri tähän on poltettu valtaosa opetuskäytöistä.
Kaksi mallia, ei yksi
Reaaliaikamalli on rakennettu pariksi taustamallin kanssa. TML-Interaction-Small hoitaa hetkessä tapahtuvan vuorovaikutuksen, ja raskaampi background-malli ajaa pitkää päättelyä asynkronisesti taustalla. Kun interaktiomalli tarvitsee monimutkaisemman vastauksen, se kysyy taustamallilta ja jatkaa siihen asti pintatason juttelua. Periaate on sama kuin se, miten ihminen sanoo 'hetkinen, mietin' ja puhuu samalla kun harkitsee.
FD-bench-mittarin numerot
Thinking Machinesin oma FD-bench V1.5 -vertailu antaa TML-Interaction-Smallille interaktiolaadusta 77,8 pistettä, kun Gemini-3.1-Flash-Live yltää 54,3:een ja GPT-Realtime-2.0 jää 46,8:aan. Lukemat ovat yhtiön itsensä julkaisemia, joten varovaisuutta tarvitaan. FD-bench on uusi mittari, jonka kalibrointi muiden tutkimusryhmien suoritteilla on vasta tulossa. Älyllisissä rajapintatesteissä TML pärjää muille verrattain tasaisesti, joten ero ei näytä syntyvän älykkyydestä vaan rytmityksestä.
Kehittäjien ensireaktiot
Latent Spacen tiivistelmässä huomio kiinnittyy siihen, että malli on koulutettu reaaliaikaiseksi alusta asti, ei kerroksittain päälle laitettuna. SGLang-inferenssipinon käyttö nousi keskusteluissa teknisenä yksityiskohtana esiin. TechCrunch ja VentureBeat kuvaavat julkaisua rajapintaoletusten muutoksena: kun puhe, näkö ja kuuntelu ovat samanaikaisia, sovellusten tilakone ei voi enää olla vuorollaan-perustainen. Skeptisyyttä on yhtä lailla ilmassa. Useat kommentoijat muistuttavat, että laboratoriomittaukset menettävät yleensä selkeyttä, kun maksavia asiakkaita on tuhansia ja taustamelu on todellista.
Mitä tämä merkitsee suomalaiselle ohjelmistolle
Suomalainen sovelluskehittäjä, joka rakentaa puhetta käyttäviä asiakaspalveluratkaisuja, joutuu kohta päättämään kahden tien välillä. Joko pidät nykyisen vuoropohjaisen pinon, johon kaikki vuoden vanhat työkalut istuvat, tai siirryt virtoihin perustuvaan rakenteeseen ja kirjoitat käyttöliittymäkoodin uusiksi. Wolt-tyyppiselle ravintolahakukoneelle ero on pieni. Hyvinvointialueen etävastaanotolle, jossa potilas voi keskeyttää tai pyytää toistamaan, ero on merkittävä. Rajapinta, jossa malli osaa antaa tilaa ja ottaa sitä takaisin, on lähempänä ihmistä kuin yksikään aiempi äänikäyttöliittymä. Hinta ratkaisee lopulta sen, kuinka moni Espoon ICT-osasto uskaltaa kokeilla. Thinking Machinesin hinnoittelumalli on yhä julkaisematta, ja kokemus OpenAI:n Realtime-API:sta on, että äänilatenssin halvasti hankkiminen syö budjettia nopeammin kuin tekstimallit.
