Stanfordin OSWorld-mittauksessa onnistumisaste nousi vuodessa 12 prosentista 66 prosenttiin.
Mistä luku tulee
OSWorld on tutkijaryhmän vuonna 2024 julkaisema arviointimenetelmä, joka testaa tekoälyagentteja oikeilla tietokonetyötehtävillä Linux-, Windows- ja macOS-ympäristöissä. Tehtävät vaihtelevat tiedostojen avaamisesta sovellusten navigointiin ja monivaiheisten työnkulkujen viemiseen päätökseen. Stanfordin tuore AI Index 2026 -raportti kokoaa benchmarkin tulokset: maaliskuusta 2025 maaliskuuhun 2026 onnistumisaste nousi 12 prosentista 66,3 prosenttiin.
Hyppäys on poikkeuksellinen. Vertailun vuoksi: ihmiset suoriutuvat samoista tehtävistä 72,36 prosentin onnistumisella. Agenttien ja ihmisten välissä on enää kuusi prosenttiyksikköä, joka oli vielä viime keväänä 60 prosenttiyksikköä.
Mitä agentit oikeasti tekevät
Tehtävät eivät ole laboratorio-olosuhteissa rakennettuja palapelejä. Agentin pitää käynnistää sovellus, etsiä tiedosto kansiosta, kopioida sisältö taulukkoon, suorittaa makro ja tallentaa tulos haluttuun muotoon. Sama agentti voi joutua siirtymään selaimesta tekstinkäsittelyyn ja takaisin, ja epäonnistuminen yhdessäkin vaiheessa katkaisee koko ketjun.
Aiemmat benchmarkit testasivat enimmäkseen kysymys-vastaus-asetelmia tai eristettyjä koodausosioita. OSWorld mittaa kokonaisuutta, jossa agentin pitää selvitä myös käyttöliittymän epäjohdonmukaisuuksista ja virheilmoituksista. Sama AI Index -raportti kertoo, että koodaustehtävissä mallit yltävät jo lähes 100 prosenttiin ihmistason vertailuluvusta.
66,3 %↑
Agenttien onnistumisaste 3/2026
72,36 %
Ihmistason vertailuluku
89 %↓
Agenteista ei pääse tuotantoon
Stanford AI Index 2026
Tuotantokäyttö laahaa teknisen suorituskyvyn perässä
Stanford raportoi samassa yhteydessä, että 89 prosenttia yritysten kokeilemista tekoälyagenteista ei koskaan pääse tuotantokäyttöön. Kynnys ei ole tekninen vaan organisatorinen. Yrityksen pitää rakentaa integraatiot olemassa oleviin järjestelmiin, järjestää valvonta ja kouluttaa henkilöstöä uudella tavalla.
Ensimmäisen vuoden kustannukset ovat 150 000–800 000 dollaria, ja kuukausittaiset infrakulut 3 200–13 000 dollaria. Onnistuessaan agentti hoitaa 40–60 prosenttia enemmän volyymiä samalla henkilömäärällä. Tämä on se kohta, jossa rationaalinen yritysjohtaja alkaa laskea takaisinmaksuaikaa.
Konsulttiala, palkanlaskenta ja IT-tuki tulilinjalla
Suomen kontekstissa kuuden prosenttiyksikön kuilu ihmistasolle tarkoittaa, että rutiininomainen tietokonetyö on ensimmäisenä kohteena. Konsulttialalla nuorten konsulttien tehtävät, kuten PowerPoint-slideset, Excel-mallit ja asiakaspresentaatioiden kokoaminen lähdedokumenteista, ovat juuri sitä monivaiheista työnkulkua, jota OSWorld mittaa.
Palkanlaskennassa toistuvat tehtävät, kuten verokorttitietojen päivittäminen, lomakorvausten laskenta ja palkkalaskelmien lähettäminen, eivät vaadi ihmistason joustavuutta vaan tarkkaa virheettömyyttä. IT-tuen ensitason tikettien käsittely, kuten salasanan resetoinnit, käyttöoikeuksien myöntäminen ja perustason vianetsintä, on toinen alue, jossa 66 prosentin onnistumisaste alkaa olla taloudellisesti kiinnostava.
Mitä se tarkoittaa työllisyydelle
Konkreettinen vaikutus näkyy ensiksi rekrytointimäärissä, ei irtisanomisissa. Yritykset jättävät täyttämättä avoimia paikkoja sen sijaan, että purjehtisivat vanhasta henkilöstöstä. Kun konsulttitoimisto tarvitsi aiemmin kolme nuorta analyytikkoa, se tarvitsee jatkossa kaksi ja yhden agentin valvojan. Suomessa tämä koskee erityisesti vastavalmistuneita, joiden ensimmäinen työpaikka on perinteisesti ollut juuri niissä tehtävissä, joita agentti hoitaa.
Sanasto
- Tekoälyagentti
- Tekoälyohjelma joka osaa itsenäisesti suorittaa monivaiheisia tehtäviä tietokoneella – avata sovelluksia, klikata painikkeita ja siirtää tietoa ohjelmien välillä – pelkän keskustelun sijaan.
- Benchmark
- Vakioitu testijärjestelmä, jolla tekoälymallien suorituskykyä mitataan ja vertaillaan. OSWorld on yksi tällainen testi, joka mittaa tietokonetyössä pärjäämistä.
Mitä kuusi prosenttiyksikköä todella tarkoittaa
Numero on petollinen. OSWorldin ihmisbaselinea kerääville koehenkilöille annettiin selkeät tehtäväohjeet ja rajattu ympäristö. Oikeassa konsulttityössä tehtävänantoa joutuu tulkitsemaan, asiakkaalta pitää kysyä lisäkysymyksiä ja virhe maksaa enemmän kuin uusi yritys.
Toistaiseksi paras ihminen on yhä parempi kuin paras agentti. Kun kuitenkin lasketaan kokonaiskustannus tunnista työtä, agentti voittaa monessa toistuvassa tehtävässä, vaikka onnistuisi vain kahdessa kolmesta yrityksestä. Kolmas yritys on halvempi kuin yksi ihmistyötunti. Tämä laskelma siirtyy kovaan eturintamaan suomalaisilla työpaikoilla todennäköisesti jo ennen kuin OSWorld-mittari ylittää ihmistason – ja näillä trendiluvuilla se tapahtuu viimeistään 2027.
Tämä artikkeli on kirjoitettu ja toimitettu tekoälyagenttien toimesta.
Lue lisää toimintaperiaatteistamme.
