Näin laiton tekoälymalli paljastuu – ilman ainuttakaan kuvaa

Ongelma, jota ei voi tutkia perinteisesti

Kuvia tuottavia tekoälymalleja viritetään jälkikäteen tuottamaan lapsiin kohdistuvaa seksuaaliväkivaltamateriaalia (CSAM). Yhdysvaltain kadonneiden ja hyväksikäytettyjen lasten keskukselle (NCMEC) tehdyt ilmoitukset kasvoivat 67 000:sta vuonna 2024 yli 1,5 miljoonaan vuonna 2025. Kasvun taustalla on avoimesti jaettavien mallien helppo muokattavuus.

Tavallinen auditointi tarkoittaa mallin kokeilua: syötetään kehotteita ja katsotaan, mitä tulee ulos. Tässä tapauksessa se on mahdotonta, koska kielletyn kuvan tuottaminen on laitonta riippumatta siitä, kuka sen tekee tai miksi. Tutkija joutuisi rikkomaan lakia todistaakseen, että malli rikkoo lakia.

Ratkaisu: mallia luodataan, ei ajeta

MIT:n tohtorikoulutettava Vinith Suriyakumar kollegoineen (Ashia Wilson ja Marzyeh Ghassemi) kehitti yhdessä lastensuojelujärjestö Thornin kanssa menetelmän, joka arvioi mallin muutokset tuottamatta yhtäkään kuvaa. Nimi kuvaa toimintaperiaatetta: satunnaisluotaus.

Menetelmä kohdistuu niin sanottuihin LoRA-sovittimiin. Ne ovat kevyitä lisäkerroksia, joilla valmis malli hienosäädetään uuteen tehtävään ilman, että koko mallia koulutetaan uudelleen. Juuri LoRA-sovittimilla laittomaan sisältöön erikoistuneet versiot yleensä rakennetaan, koska se on halpaa ja nopeaa.

Sen sijaan että malli ajettaisiin loppuun asti, tutkijat syöttävät siihen satunnaista dataa ja tarkkailevat, miten mallin sisäiset laskentakerrokset reagoivat. Vasteet poimitaan useasta kohdasta ja keskiarvoistetaan. Näin syntyy eräänlainen sormenjälki siitä, miten sovitin on muuttanut mallin käyttäytymistä. Vertaamalla sormenjälkeä puhtaaseen malliin nähdään, mihin sovitin on viritetty.

Miksi menetelmä on skaalautuva ja vaikea kiertää

Testeissä menetelmä tunnisti CSAM:iin erikoistetut mallit sadan prosentin tarkkuudella kolmella eri mallityypillä. Nollasta virheestä ei kannata innostua liikaa, sillä kyse on rajatusta koeasetelmasta. Silti tulos on poikkeuksellisen selkeä.

Skaalautuvuus ratkaisee käytännön arvon. Verkkoon ilmestyy kuukausittain tuhansia muokattuja malliversioita, joten auditoinnin on oltava halpaa ja nopeaa. Koska satunnaisluotaus ei vaadi mallin ajamista loppuun eikä kuvien tuottamista, se on kevyt suorittaa suurelle massalle malleja.

Kiertäminen on hankalaa, koska tunnistus perustuu mallin sisäiseen rakenteeseen eikä sen ulostuloihin. Pintakosmetiikka ei auta: piiloutuakseen hyökkääjän olisi muutettava perusmallin sisäisiä painotuksia niin paljon, että mallin oma toimintakyky kärsisi. Se vie pohjan koko viritykseltä.

Rajoitteet ja kääntöpuoli

Menetelmä on osoitettu toimivaksi nimenomaan LoRA-sovittimilla viritetyille malleille. Se ei suoraan kata tapauksia, joissa koko malli koulutetaan alusta pitäen laittomalla aineistolla, eikä tulosta ole vielä varmennettu laajalla, villillä otoksella verkosta löytyviä malleja. Sadan prosentin tarkkuus koskee kontrolloitua testijoukkoa, ei koko internetiä.

Väärinkäytön mahdollisuus kannattaa sanoa ääneen. Sama tekniikka, joka paljastaa laittomaan sisältöön viritetyt mallit, on periaatteessa yleinen tapa lukea, mihin mikä tahansa sovitin on hienosäädetty. Sitä voisi käyttää myös laillisten mutta yksityisiksi tarkoitettujen mallimuutosten urkkimiseen. Tutkimusryhmä on esitellyt työn ICML-konferenssin Trustworthy AI for Good -työpajassa ja julkaissut sen arXivissa, joten menetelmä on avoimesti tarkasteltavissa.

Olennaisin oivallus on periaatteellinen. Haitallisuutta voi mitata katsomatta lopputulosta, kun tarkastelu kohdistetaan mallin sisäiseen rakenteeseen. Jos ajatus laajenee muihinkin kiellettyihin käyttötarkoituksiin, tekoälyn valvonta voi siirtyä ulostulojen jälkikäteisestä siivoamisesta mallien tarkastamiseen jo ennen niiden käyttöä.