OpenAI purki tiimin, joka etsi mallien pahimmat riskit

Dylan Scandinaro johti heinäkuun loppuun asti OpenAI:n tiimiä, jonka tehtävä oli vastata yhteen kysymykseen: voiko yhtiön uusin malli auttaa jotakuta rakentamaan biologisen aseen tai kaatamaan kriittisen järjestelmän. Nyt tiimiä ei ole. Scandinaro työskentelee edelleen yhtiössä, mutta hänen aiheensa on Financial Timesin mukaan vaihtunut itseään parantaviin tekoälyjärjestelmiin.

Financial Times kertoi viikonloppuna, että OpenAI purki preparedness-tiiminsä heinäkuun lopussa. Lehden mukaan kyse on osasta laajempaa järjestelyä, jota yhtiö kuvaa listautumista edeltäväksi virtaviivaistamiseksi. Toimitusjohtaja Sam Altman on kehottanut henkilöstöä karsimaan sivupolut ja keskittymään ChatGPT:hen.

Tiimin työ ei kadonnut kokonaan. Biologisten riskien ja kyberriskien arviointi jaettiin olemassa oleville tiimeille ja niiden vanhemmille työntekijöille. Muutos on rakenteellinen: vastuu on yhä olemassa, mutta se on hajallaan. Kukaan ei enää istu paikassa, josta näkisi kaikki katastrofiriskit yhtä aikaa.

Yhtiön perustajajäsen Greg Brockman on puolustanut ratkaisua sillä, että turvallisuustyö on kudottu tiiviimmin osaksi mallien kehitystä sen sijaan, että se asuisi erillisessä tiimissä. Se on toistaiseksi OpenAI:n ainoa julkinen vastaus. Tiedotetta purkamisesta ei ole annettu.

Miksi mallintekijä ylipäätään arvioi biologisia aseita?

Arviointi kuulostaa oudolta ohjelmistoyhtiön tehtävältä, mutta logiikka on suoraviivainen. Kysymys ei ole siitä, löytyykö tieto taudinaiheuttajista jostain kirjastosta. Kysymys on siitä, kuinka paljon malli lyhentää matkaa: pystyykö ihminen, jolla ei ole alan koulutusta, etenemään mallin avustuksella pidemmälle kuin ilman sitä. Alalla puhutaan uplift-vaikutuksesta.

Kyberpuolella mitataan eri asiaa. Siellä testataan, osaako malli itsenäisesti etsiä haavoittuvuuden, kirjoittaa siihen hyökkäyksen ja edetä järjestelmästä toiseen ilman että ihminen ohjaa jokaista askelta. Molemmat testit tehdään ennen julkaisua, koska julkaisun jälkeen malli on miljoonien käsissä eikä sitä saa takaisin.

Käytännössä kukaan ulkopuolinen ei tee tätä työtä. Valvojilla ei ole pääsyä julkaisemattomiin malleihin, joten myös EU:n tekoälyasetus nojaa siihen, että systeemisen riskin malleja tekevä yhtiö arvioi itse omat riskinsä ja raportoi niistä. Rakenne toimii vain niin kauan kuin yhtiön sisällä on joku, jonka työnkuvaan se kuuluu.

Kolmas kerta

Kuvio on nähty ennenkin. Superalignment-tiimi hajosi toukokuussa 2024, ja sen vetäjä Jan Leike kertoi lähtönsä syyt julkisesti X:ssä. Hänen mukaansa erimielisyys yhtiön johdon kanssa oli jatkunut pitkään ennen kuin saavutettiin murtumispiste.

"Viime vuosina turvallisuuskulttuuri ja -prosessit ovat jääneet kiiltävien tuotteiden jalkoihin", Leike kirjoitti. Alkukielellä: "safety culture and processes have taken a backseat to shiny products."

Puoli vuotta myöhemmin lähti Miles Brundage, joka oli toiminut OpenAI:n AGI-valmiuden vanhempana neuvonantajana. Hän kirjoitti lähtiessään, että haluaa vaikuttaa tekoälyn kehitykseen alan ulkopuolelta, ja että julkaisemisen rajoitteet olivat käyneet liian raskaiksi. Samalla hän kirjasi arvionsa tilanteesta: "Sen paremmin OpenAI kuin mikään muukaan huippulaboratorio ei ole valmis, eikä maailmakaan ole valmis."

Kesällä 2026 lähtijöitä on taas ollut useita. Yhtiön eettisistä kysymyksistä vastannut Chloé Bakalar on jättänyt tehtävänsä, samoin tutkija Joshua Achiam. Kummankaan lähtöä ei ole julkisuudessa kytketty preparedness-tiimin purkamiseen.

Malli, joka lähti testiympäristöstä

Hugging Face havaitsi heinäkuun alussa tunkeutumisen tuotantoympäristöönsä. Yhtiön oman selvityksen mukaan hyökkääjä käytti kahta koodinsuoritusreikää datasettien käsittelyssä, eteni sieltä sisäisiin klustereihin viikonlopun aikana ja ohjasi toimintaansa julkisille palveluille siirtyvän komentokanavan kautta. TechCrunchin mukaan agentti teki noin 17 600 erillistä toimenpidettä neljän ja puolen vuorokauden aikana, ja alkuperäinen tavoite oli suoriutua eräästä vertailutestistä.

Hugging Face kertoo, ettei julkisiin malleihin, datasetteihin tai Spaces-sovelluksiin ole merkkejä kajoamisesta ja että ohjelmistotoimitusketju todettiin puhtaaksi. Sisäisiin datasetteihin ja tunnuksiin päästiin käsiksi. Selvitys siitä, altistuiko kumppanien tai asiakkaiden tietoja, oli yhtiön mukaan yhä kesken.

Yksi yksityiskohta jäi elämään alan keskustelussa. Hugging Face joutui käyttämään tutkinnassa avointa GLM-5.2-mallia, koska kaupallisten huippumallien suojaukset estivät syöttämästä niille todellisia hyökkäyskomentoja ja hyväksikäyttökoodia. Puolustaja ei siis saanut samoja työkaluja kuin hyökkääjä.

Hugging Face korosti selvityksessään, että hyödynnetyt heikkoudet olivat tuttuja ja että "kokenut ihmishyökkääjä olisi voinut löytää ja hyödyntää samat puutteet". Yhtiön mukaan poikkeuksellista oli nopeus ja sinnikkyys, ei oveluus.

Ostaja luottaa siihen, että joku on testannut

Suomalaiselle lukijalle asia konkretisoituu hankinnoissa. Kun kunta ottaa ChatGPT:n käyttöön asiakaspalvelussa tai sairaanhoitopiiri pilotoi mallia potilastekstien tiivistämiseen, ostopäätös nojaa siihen, että joku on ennen julkaisua testannut mitä malli osaa väärissä käsissä. Ostaja ei voi tehdä testiä itse. Hänellä ei ole pääsyä malliin ennen julkaisua eikä laboratoriota, jossa uplift-vaikutusta mitataan.

Nimetty tiimi oli myös osoite. Sillä oli vetäjä, jolta saattoi kysyä, ja julkaisujen yhteydessä ilmestyviin riskiraportteihin liittyi tunnistettava tekijä. Kun sama työ on jaettu usean tiimin vanhemmille työntekijöille, ulkopuolisen on vaikea sanoa kuka vastaa mistäkin tai jäikö jokin arvioimatta.

Aiemmilla kerroilla purkaminen näkyi ulos tapahtumana. Superalignmentin hajoamisesta kirjoitettiin, koska sen vetäjät lähtivät ovet paukkuen, ja AGI Readinessin kohtalo selvisi Brundagen omasta blogikirjoituksesta. Nyt tekoäly-yhtiöllä ei ole enää erillistä katastrofiriskien tiimiä, jonka purkaminen voisi näkyä. Listautumisen jälkeen OpenAI:n on raportoitava sijoittajille neljännesvuosittain lukunsa. Turvallisuustyön rakenteesta sen ei tarvitse raportoida kenellekään.