Viisi kollegaa tilaa pikkujoulujen ruoat yhteisellä budjetilla. Jokaisella on oma tekoälyavustaja, joka tuntee isäntänsä toiveet: yksi on vegaani, toinen ei syö pähkinöitä, kolmas haluaa pysyä tiukasti budjetissa. Avustajat neuvottelevat keskenään ja tekevät tilauksen. Kätevää?
Anthropicin tutkijat rakensivat juuri tällaisen tilanteen simuloiduilla käyttäjillä. Kun jokaisella oli oma agenttinsa, lopputulos oli selvästi huonompi kuin silloin, kun yksi yhteinen agentti hoiti koko porukan tilauksen. Tiimin agentit myös keksivät asioita: ne saattoivat kertoa toisilleen, että joku oli suostunut johonkin, mitä tämä ei ollut koskaan sanonut.
Neljä testiä, sama voittaja
Tutkimus ”Worse Together” julkaistiin Anthropicin Alignment Science -blogissa 11. marraskuuta ja esijulkaisuna arXiv-palvelussa. Sen tekijät Sahan Paliskara, Nattaput Namchittai, Jacqueline Tay, Avery Griffin ja Andrew Lampinen työskentelevät Anthropicilla tai yhtiön Anthropic Fellows -ohjelmassa, osa itsenäisinä tutkijoina.
Asetelmia oli kaksi. Ensimmäisessä yksi koordinoiva agentti palveli kaikkia käyttäjiä. Toisessa jokaisella käyttäjällä oli oma agenttinsa, ja agentit pystyivät viestimään keskenään.
Testiympäristöjä oli neljä. Tutkijaryhmä jakoi rajallisen API-budjetin, kiireelliset potilaat jakoivat klinikan ajanvarauskalenterin, käyttäjät tekivät yhteisen ruokatilauksen tai matkavarauksen ja kehittäjät jonottivat koodimuutoksiaan ennen julkaisun takarajaa.
Yksi agentti voitti tiimin kaikissa neljässä ympäristössä molemmilla testatuilla Claude-malleilla, Opus 5:llä ja Sonnet 5:llä. Tekijöiden mukaan ero oli noin 10–45 prosenttiyksikköä. Suurin kuilu syntyi ruokatilauksessa, jossa Opus 5 yksin saavutti 88 prosenttia parhaasta mahdollisesta lopputuloksesta ja agenttitiimi 44 prosenttia.
58 %
Opus 5 -tiimien jaksoista, joissa oli keksitty väite toisesta ihmisestä
17–20 %
Sama osuus, kun yksi agentti hoiti kaiken
66 % → 10 %
Toimivien agenttien osuus, kun Sonnet 5 -tiimi kasvoi 4:stä 16 agenttiin
Tutkijoiden selitys on arkinen. ”Jokainen agentti näkee vain oman käyttäjänsä muistiinpanot, mutta sen on puhuttava kaikkien tilauksista, joten agentit täyttävät aukot”, he kirjoittavat englanninkielisessä blogitekstissään. Agentti saattoi olettaa, että koko ryhmä haluaa samaa kuin sen oma käyttäjä, sekoittaa yhden ihmisen toiveet toisen tilaukseen tai väittää jonkun hyväksyneen asian, josta tämä ei ollut sanonut mitään.
Tällaisia perusteettomia väitteitä muista ihmisistä oli vähintään yksi 58 prosentissa Opus 5 -tiimien jaksoista ja 53 prosentissa Sonnet 5 -tiimien jaksoista. Kun yksi agentti hoiti kaiken, osuus oli noin 17–20 prosenttia. Sekään ei ole nolla.
Tieto myös hukkui matkalla. Käyttäjän erityistoive välittyi tilauksen tekevälle agentille 94–99 prosentissa jaksoista, mutta maksuhetkellä se oli agentin muistissa enää 47–67 prosentissa. Viesti tuli perille ja unohtui ennen kassaa.
“Moniagenttitiimin suurin ongelma on, että agentit toimivat liian vähän ja liian myöhään.”
API-budjettitestissä tämä näkyi suoraan. Kun Sonnet 5 -tiimi kasvoi neljästä 16 agenttiin, niiden agenttien osuus, jotka ylipäätään tekivät jotain, putosi 66 prosentista kymmeneen. Agentit jäivät odottamaan toisiaan, ja budjetti jäi käyttämättä.
Mitä tämä tarkoittaa Teamsissa ja Slackissa
Suomalaisella työpaikalla sama asetelma on lähempänä kuin uskoisi. Teamsiin ja Slackiin on jo tuotu tekoälyagentteja, ja moni antaa omalle avustajalleen tehtäviä, joissa pitää sopia asioita muiden kanssa. Jos agentin käsite on vielä vieras, AI Suomen selittäjä kertoo, mikä tekoälyagentti on ja miksi se pyytää luottokorttiasi.
Kuvitellaan tamperelaisen ohjelmistotalon viisihenkinen tiimi, joka jakaa kuukausittaisen pilvi- ja API-budjetin. Jos jokainen kehittäjä pyytää omaa agenttiaan varaamaan tarvitsemansa laskentatehon, tutkimuksen perusteella todennäköistä on, että agentit odottelevat toisiaan kohteliaasti ja osa budjetista jää käyttämättä. Pahimmassa tapauksessa joku huomaa vasta jälkikäteen, että hänen ajonsa karsittiin kysymättä. Tutkimuksessa OpenAI:n GPT- ja Alibaban Qwen-agentit tekivät tällaisia luvattomia leikkauksia 3,9–7,1 kertaa jaksoa kohden.
Yksi yhteinen agentti, joka näkee kaikkien pyynnöt samalla kanavalla, pärjäsi vastaavassa testissä selvästi paremmin. Esihenkilölle neuvo on yksinkertainen: kun tiimi päättää yhteisestä asiasta, yksi jaettu agentti on varmempi valinta kuin viisi henkilökohtaista. Ja jos agentti kertoo, että Mikko hyväksyi jo, se kannattaa tarkistaa Mikolta.
Tutkimuksen rajoitukset
Tutkimus on Anthropicin oma, ja pääasiallinen vertailu tehtiin vain yhtiön omilla Claude-malleilla. Kilpailijoiden malleja käytettiin lähinnä käyttäytymisanalyysissä, jossa ne pärjäsivät Claudea huonommin. Sen voi lukea tietäen, kuka tutkimuksen teki.
Perusteettomat väitteet arvioi Claude Opus 5, eli malli arvioi myös itseään. Käyttäjät olivat simuloituja ja tehtävät rajattuja arkitilanteita. Tekijät myöntävät, että pisteytys katsoo vain valmistuneiden töiden kokonaisarvoa eikä sitä, tuhottiinko jonkun työ ilman lupaa. Esijulkaisua ei ole vertaisarvioitu.
Sanasto
Tekoälyagentti
Tekoälyohjelma, joka ei pelkästään vastaa kysymyksiin vaan hoitaa tehtäviä käyttäjän puolesta, esimerkiksi tekee tilauksia, varaa aikoja tai viestii muiden ohjelmien kanssa.
Esijulkaisu
Tutkimusartikkeli, joka on julkaistu verkossa ennen kuin muut tutkijat ovat tarkistaneet sen vertaisarvioinnissa. Tulokset voivat siis vielä muuttua tai osoittautua virheellisiksi.
Keskittäminen ei ratkaise kaikkea
Tutkijat eivät itse päädy suosittelemaan pelkkää yhtä agenttia. Heidän mukaansa koordinaattori ei aina ole toteuttamiskelpoinen tai luonteva ratkaisu järjestelmissä, joissa käyttäjiä on paljon. ”Monen käyttäjän ja monen agentin riskejä ei siksi voi ratkaista pelkästään keskittämällä koordinointia”, he kirjoittavat.
Korjauksiakin testattiin. Tiimille nimetty johtaja-agentti nosti Opus 5 -tiimin tuloksen API-budjettitestissä 64 prosenttiin, samalle tasolle kuin yhdellä agentilla. Yksinkertainen alustan sääntö, joka estää maksamisen ennen kuin agentti on lukenut kaikki odottavat viestinsä, pelasti 73 prosenttia Opus 5 -tiimin epäonnistuneista tilauksista.
Siksi kiinnostavin kysymys suomalaisille työpaikoille koskee organisaatiota enemmän kuin tekniikkaa. Kun agentit tulevat yhteisille kanaville, jonkun on päätettävä, kenen agentti saa painaa lopullista nappia, ja kirjattava se sääntö työkaluun ennen kuin ensimmäinen yhteinen tilaus lähtee.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.