Kone kirjoitti tiedepaperin – arvioijat eivät huomanneet

Kone kirjoitti paperin, ihminen rakensi koneen

Naturessa kuvattu järjestelmä tuottaa tutkimuspaperin lähes päästä päähän: se muotoilee tutkimuskysymyksen, suunnittelee ja ajaa kokeet, analysoi tulokset ja kirjoittaa käsikirjoituksen. Konkreettinen välietappi on se, että yksi näin syntynyt paperi lähetettiin koneoppimiskonferenssin työpajaan ja läpäisi ensimmäisen vertaisarviokierroksen. Arvioijien pisteet ylittivät työpajan hyväksymisrajan, eivätkä arvioijat tienneet lukevansa koneen kirjoittamaa tekstiä.

Se kuulostaa isolta harppaukselta, ja osin se on. Ennen kuin puhutaan tieteen automatisoinnista, kannattaa kuitenkin katsoa tarkkaan, mitä 'läpäisi arvioinnin' tässä tapauksessa oikeasti tarkoittaa.

Mitä koneelta jäi ihmiselle

Järjestelmä ei syntynyt tyhjästä. Ihmiset valitsivat tutkimusalueen ja rajasivat ongelmakentän, rakensivat putken joka yhdistää kielimallit koodinajoon ja kokeisiin, ja päättivät mitkä ehdotukset ylipäätään lähetetään arvioitavaksi. Tutkimusryhmä tuotti useita papereita ja poimi niistä lupaavimman. Kone hoiti mekaanisen työn väliltä: idean jalostuksen, kokeet, kuvaajat ja tekstin.

Erottelu on olennainen. Automatisoitiin kirjoitus- ja koeprosessi, ei tutkimuksen suuntaa eikä laadunvalvontaa. Lopullinen portinvartija oli edelleen ihminen, joka päätti, mikä paperi kelpaa arvioitavaksi.

Tiedeyhteisön jakautunut vastaanotto

Reaktiot menivät kahtia. Osa tutkijoista piti tulosta osoituksena siitä, että kielimallit pystyvät jo tuottamaan muodollisesti pätevää tiedetekstiä. Toiset huomauttivat, että työpajan vertaisarvio on nopea ja kevyt, eikä se takaa tulosten oikeellisuutta tai uutuusarvoa. Kriitikot nostivat esiin myös koneen tuottamien paperien virheitä: viittausvirheitä, yliampuvia tulkintoja ja kokeita, jotka eivät kestä lähempää tarkastelua.

Vertaisarvio ei ole totuuskone. Se on ihmisten tekemä, kiireinen ja epätäydellinen suodatin, joka päästää läpi myös heikkoja ihmisten kirjoittamia papereita. Kun kone läpäisee saman suodattimen, se kertoo yhtä paljon arvioinnin rajoista kuin koneen kyvyistä.

Miksi tällä on väliä

Jos järjestelmä tuottaa uskottavan näköisiä papereita halvalla ja nopeasti, tiedejulkaisemisen kuormitus kasvaa. Arvioijat tekevät työn ilmaiseksi vapaa-ajallaan, ja jo nyt kelvollisten käsikirjoitusten määrä ylittää arviointikapasiteetin. Koneella tuotettu massa voi tukkia järjestelmän ja tehdä heikkojen töiden seulomisesta vaikeampaa. Tavalliselle lukijalle tämä näkyy ennen pitkää siinä, kuinka luotettavana tieteellistä tietoa voi pitää.

Toinen puoli on hyötykäyttö. Sama automaatio voi nopeuttaa rutiininomaista tutkimusta, ideoiden seulontaa ja koeajoja aloilla, joilla työ on toistuvaa. Ero hyödyn ja haitan välillä ratkeaa sillä, kuka konetta ohjaa ja kuka vastaa tuloksista.

Kysymys ei ole kyvystä vaan vastuusta

Kiinnostavin kysymys ei ole, osaako kone kirjoittaa paperin, vaan kuka allekirjoittaa sen. Tieteen vastuurakenne perustuu siihen, että joku ihminen seisoo väitteidensä takana. Kun kirjoittaja on järjestelmä ja ihminen vain kuratoi, vastuu hämärtyy. Sitä yksikään vertaisarvio ei nykymuodossaan ratkaise, ja se on selvitettävä ennen kuin koneiden paperit alkavat oikeasti kilpailla ihmisten kanssa.