Kun kielimalli toimii agenttina – lukee tiedostoja, muokkaa koodia, ajaa testejä – se tekee kymmeniä peräkkäisiä päätöksiä ennen kuin mikään kertoo, menikö tehtävä läpi. Yksittäinen huono valinta heti alussa voi kaataa koko urakan vasta paljon myöhemmin. Juuri tähän DeepMind tarttuu uudessa tutkimusjulkaisussaan, joka esittelee menetelmän nimeltä prospektiivinen ansiointi (prospective credit assignment).
Vanha ongelma uudessa muodossa
Ansiointi on vahvistusoppimisen klassinen kysymys: kun tehtävä lopulta onnistuu tai epäonnistuu, mikä matkan varrella tehdyistä päätöksistä ansaitsee kiitoksen tai moitteen? Perinteisesti palkkio virtaa taaksepäin lopputuloksesta yksi askel kerrallaan. Lyhyissä tehtävissä tämä toimii, mutta mitä pidempi ketju, sitä laimeammaksi signaali muuttuu ja sitä vaikeampi mallin on kytkeä varhainen valinta myöhempään seuraukseen.
Agenttityössä ketjut ovat pitkiä. Koodinkorjaustehtävä voi vaatia kymmeniä työkalukutsuja, ja virhe kymmenennessä siirrossa saattaa juontaa juurensa toisessa siirrossa tehdystä oletuksesta. Malli näkee lopputuloksen, mutta ei syytä.
Katse eteenpäin, ei taaksepäin
Prospektiivinen ansiointi kääntää suunnan. Sen sijaan että malli odottaisi lopputulosta ja jakaisi palkkion jälkikäteen taaksepäin, se opetetaan arvioimaan jo päätöshetkellä, mihin valinta todennäköisesti johtaa monta askelta eteenpäin. Malli oppii siis ennakoimaan päätöstensä seuraukset ennen kuin ne ehtivät toteutua.
Käytännössä malli oppii tuottamaan jokaisesta välivaiheesta arvion tulevasta hyödystä ja käyttämään sitä ohjaamaan valintaansa heti. Kun signaali on saatavilla jo päätöshetkellä eikä vasta tehtävän lopussa, myös pitkän ketjun varhaiset siirrot saavat konkreettista palautetta. Se kohdistaa oppimisen sinne, missä pitkä hämärä muuten peittäisi syy-seuraussuhteen.
“Ongelma ei ole se, että malli tekee huonoja päätöksiä, vaan se, ettei se osaa yhdistää huonoa päätöstä kaukana odottavaan lopputulokseen.”
Ero kasvaa kymmenennen askeleen jälkeen
Tulokset raportoitiin SWE-Bench-testillä, joka mittaa mallin kykyä ratkoa aitoja ohjelmistovikoja avoimista koodivarastoista. Kokonaistulos parani menetelmän myötä, mutta kiinnostavampi havainto oli, mihin parannus keskittyi. Lyhyissä tehtävissä ero perinteiseen koulutukseen jäi pieneksi. Sen sijaan ongelmissa, jotka vaativat yli kymmenen peräkkäistä askelta, ero kasvoi selvästi.
Juuri tämä on olennaista. Pitkän jänteen tehtävät ovat agenttien tunnettu pullonkaula: mallit hoitavat siistin, muutaman vaiheen työn, mutta harhautuvat kun ketju venyy ja virheet kasautuvat. DeepMindin data viittaa siihen, että ansiointi on osa syytä, ei pelkkä mallin koko tai päättelykyky.
Miksi kymmenen askelta?
Raja ei ole taikaluku vaan käytännön havainto: alle kymmenen askeleen tehtävissä palkkiosignaali kantaa vielä taaksepäin riittävän vahvana. Sen jälkeen se hukkuu, ja juuri siihen väliin osuu suuri osa oikeasta ohjelmistotyöstä.
Mitä tästä seuraa arjessa
Koodia kirjoittavalle kehittäjälle ero näkyisi konkreettisimmin siinä, kuinka pitkälle agentin voi päästää yksin. Jos malli selviää luotettavasti vasta muutaman askeleen tehtävistä, ihmisen on paloiteltava työ pieniin osiin ja tarkistettava jokainen välivaihe. Menetelmä, joka siirtää rajaa pidempiin ketjuihin, vähentää tätä valvontatyötä.
Sama koskee laajemmin kaikkia yrityksiä, jotka rakentavat tekoälyagentteja hoitamaan monivaiheisia prosesseja: asiakaspalvelun tikettejä, tietojen siirtoa järjestelmästä toiseen, raporttien koontia. Näissä arvo syntyy nimenomaan pitkistä ketjuista, ja niissä nykyiset agentit ovat epäluotettavimmillaan. Jos ansioinnin parantaminen tuo tähän edes osittaisen ratkaisun, se koskettaa juuri sitä työtä, jota agenteilta on eniten toivottu.
Sanasto
Vahvistusoppiminen (reinforcement learning)
Koneoppimisen menetelmä, jossa tekoäly oppii yrityksen ja erehdyksen kautta: onnistumisesta se saa palkkion ja epäonnistumisesta moitteen, ja se pyrkii tekemään valintoja, jotka johtavat mahdollisimman suureen palkkioon.
Yksi julkaisu ei tee menetelmästä standardia, ja SWE-Bench mittaa vain koodia, ei kaikkea agenttityötä. Kiinnostavaa on kuitenkin suunta: viime vuosien kilpajuoksu on keskittynyt mallien kokoon ja päättelyketjujen pituuteen, kun taas tässä huomio siirtyy siihen, miten malli ylipäätään oppii pitkistä ketjuista. Jos pullonkaula on ansioinnissa eikä raakatehossa, halvempikin malli voi yltää pidemmälle kunhan se koulutetaan katsomaan eteenpäin.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
