Lukion äidinkielen opettajalla on pinossa kolmekymmentä esseetä, ja kaksi niistä kuulostaa epäilyttävän sujuvalta. Tähän asti apuna on ollut lähinnä vaisto ja kaupalliset tekoälytunnistimet, joiden tuloksiin harva uskaltaa nojata. Nyt kuvioon tulee uusi tekijä.
OpenAI kertoi 5. lokakuuta alkavansa lähiviikkoina merkitä ChatGPT:n ja ohjelmointiagentti Codexin tuottaman tekstin näkymättömällä vesileimalla kaikille EU:ssa oleville käyttäjille. Merkintä koskee kaikkia tilaustasoja, eikä sitä voi kytkeä pois. Suomi on mukana, koska kyse on EU:n tekoälyasetuksen vaatimuksesta.
Yhdysvalloissa leimaa ei tule. Muualla maailmassa se on toistaiseksi vapaaehtoinen lisä, jonka yritykset voivat ottaa käyttöön OpenAI:n ohjelmointirajapinnassa.
Mikä ChatGPT:n vesileima on?
Leimaa ei näe tekstistä. Se ei ole piilotettu merkki tai tunniste tekstin seassa vaan tilastollinen signaali mallin sanavalinnoissa. OpenAI kutsuu tekniikkaa nimellä textGrain.
Ajattele noppaa, jota on painotettu aavistuksen verran. Yhdestä heitosta et huomaa mitään. Kun heittoja kertyy satoja, kuutosia on kuitenkin tilastollisesti liikaa, ja sen huomaa se, joka tietää mitä etsiä. ChatGPT valitsee sanojaan samalla tavalla hieman painotetusti: lukija ei huomaa eroa, mutta OpenAI:n tunnistin huomaa.
Vertauksesta näkee myös, miksi pituus ratkaisee. Lyhyessä tekstissä heittoja on vähän. OpenAI:n omissa testeissä noin 200 tokenin eli suunnilleen parin kappaleen tekstistä leima löytyi noin 80 prosentissa tapauksista, ja kaksi kertaa pidemmästä noin 95 prosentissa. Matematiikkaa käsittelevissä teksteissä tulokset jäivät selvästi heikommiksi.
Neljännes sanoista vaihtoon, ja leima haalistuu
Suurin heikkous on muokkaus. OpenAI testasi noin 400 tokenin tekstejä, joista leima tunnistettiin alun perin noin 92 prosentissa. Kun kymmenesosa sanoista vaihdettiin synonyymeihin, osuvuus putosi 66 prosenttiin. Neljänneksen vaihtamisen jälkeen se oli enää 17 prosenttia.
Noppavertauksella jokainen vaihdettu sana on heitto tavallisella nopalla. Painotus laimenee nopeasti. Opiskelija, joka kirjoittaa tekoälyn luonnoksen omin sanoin uudelleen, hävittää samalla suuren osan leimasta, usein edes tietämättään.
OpenAI luettelee itse tekstit, joista leima voi jäädä löytymättä: lyhyet, muokatut ja käännetyt tekstit, muiden yhtiöiden mallien tuottamat tekstit sekä ennen leiman käyttöönottoa syntyneet tekstit. Käännös on suomalaisesta näkökulmasta oleellinen kohta. Englanniksi tuotettu ja suomeksi käännetty teksti voi menettää leiman kokonaan, eikä tiedote kerro, miten hyvin tekniikka toimii suomenkielisessä tekstissä.
Kuka tunnistimen saa käyttöönsä?
Ei opettaja, ei rehtori eikä vanhempi, ainakaan vielä. OpenAI antaa tunnistimen aluksi vain hyväksytyille tutkijoille ja asiantuntijaorganisaatioille, joiden hakemukset käsitellään tapauskohtaisesti. Yhtiö perustelee rajausta virheillä: tunnistin voi ohittaa leiman, ja se voi myös löytää leiman tekstistä, jossa sitä ei ole.
Tunnistin kertoo ainoastaan, löytyykö tekstistä OpenAI:n leima. Se ei paljasta, kuka tekstin tuotti, eikä näytä keskustelua, josta teksti on peräisin.
Testeissä väärien hälytysten tavoitetasoksi oli asetettu yksi prosentti. Se kuulostaa pieneltä. Jos tuhat ihmisen itse kirjoittamaa esseetä ajettaisiin tunnistimen läpi, noin kymmenen kirjoittajaa joutuisi silti turhaan epäillyksi.
“Havaitun vesileiman puuttuminen ei todista, että tekstin on kirjoittanut ihminen.”
Opettajalle tärkeintä on se, mitä leima ei kerro
Väärä syytös on koulussa raskas asia. Se voi johtaa hylättyyn suoritukseen ja kurinpitoon, ja luottamus opettajan ja opiskelijan välillä voi mennä pysyvästi, vaikka opiskelija olisi tehnyt kaiken itse.
Vesileima toimii vain yhteen suuntaan. Löytynyt leima on vahva vihje siitä, että tekstin on tuottanut OpenAI:n malli. Puuttuva leima ei kerro juuri mitään. Teksti voi olla opiskelijan omaa, mutta se voi yhtä hyvin olla muokattu, käännetty tai tehty jonkin toisen yhtiön mallilla. Anthropic toi elokuussa käyttöön oman koneluettavan merkintänsä, ja Google on leimannut tuotoksiaan SynthID-tekniikalla jo pari vuotta. Jokaisella on oma tekniikkansa.
OpenAI muistuttaa lisäksi, ettei leima mittaa, kuinka paljon ihmisen omaa harkintaa tai muokkausta tekstiin sisältyy. Yhtiön sanoin leima ei myöskään osoita tekijyyttä eikä vastuuta. Ihminen on voinut tehdä suurimman osan ajatustyöstä, vaikka leima löytyisikin.
