Tekoäly teki oikeita freelance-töitä – 41 % meni läpi

Asiakas lähettää pohjapiirroksen ja muutaman kalustevaihtoehdon. Hän haluaa kylpyhuoneesta valokuvamaiset renderöinnit, joiden perusteella remontista voi päättää. Freelancerilta tällainen keikka vie päiviä ja maksaa satoja dollareita.

Juuri tällaisia töitä on Remote Labor Indexissä. Se on Scale AI:n tutkimusyksikön Scale Labsin ja yhdysvaltalaisen Center for AI Safetyn (CAIS) testi, jossa tekoälyagentit tekevät oikeita, aiemmin ihmisille maksettuja freelance-projekteja. Tuoreimmissa tuloksissa Anthropicin Claude Fable 5.2 teki 41,3 prosenttia töistä niin hyvin, että maksava asiakas olisi hyväksynyt lopputuloksen.

Ero muihin on suuri. Anthropicin oma Opus 5.5 ylsi 21,25 prosenttiin ja OpenAI:n GPT-6 Astra 20,83 prosenttiin. Googlen Gemini Argon 4 jäi 17,08 prosenttiin. Fable 5.2:n suora edeltäjä Fable 5.1 sai 17,92 prosenttia ja kesällä testattu Fable 5 15,83 prosenttia.

Kuten AI Suomi eilen kertoi, Anthropic julkaisi Fable 5.2:n maanantaina, ja keskustelu pyöri silloin lähinnä mallien hinnoittelussa (lue aiempi juttu). Tämä testi kertoo jotain muuta: mihin malli pystyy, kun sille annetaan oikea asiakkaan toimeksianto.

Lainaus on testin julkaisusta vuoden takaa. Alkuperäinen englanninkielinen muotoilu kuului ”performance sits near the floor, with a maximum automation rate of 2.5% on RLI tasks”. Kärjessä oli silloin Manus-agentti. Fable 5.2 tekee nyt yli 16 kertaa niin monta työtä hyväksyttävästi. Kukaan Scale Labsista tai CAIS:sta ei ole kommentoinut uusia tuloksia nimellään AI Suomen läpikäymissä lähteissä, sillä Scale Labs kertoi tuloksista X-palvelussa.

Mitä testissä oikeasti tehtiin

Aineistossa on 240 projektia, jotka 358 varmennettua freelanceria on tehnyt Upwork-alustalla. Töiden yhteisarvo on noin 144 000 dollaria. Keskimääräinen projekti maksoi 632,60 dollaria ja vei ihmiseltä vajaat 29 tuntia. Joukossa on videoeditointia, CAD-suunnittelua, pelinkehitystä, data-analyysia, arkkitehtuuria ja äänityötä.

Agentit työskentelevät virtuaalisella työpöydällä, jossa on ammattiohjelmia kuten Blender, GIMP ja Audacity sekä kuva-, ääni- ja videogeneraattoreita. Generointiin saa käyttää enintään 30 dollaria tehtävää kohden. Tulokset arvioivat koulutetut ihmiset, jotka avaavat tiedostot ohjelmissa ja vertaavat niitä freelancerin aikanaan toimittamaan työhön.

Kynnys on kova. Työ lasketaan onnistuneeksi vain, jos ”kohtuullinen asiakas” hyväksyisi sen. Kolme arvioijaa on päätynyt samaan tulokseen 94,4 prosentissa tapauksista. Tulostaulukko ei kuitenkaan ilmoita luvuille luottamusväliä, ja testi kattaa vain 230 projektia, joten muutaman prosenttiyksikön eroja kannattaa lukea varoen.

Käytännössä 41 prosenttia tarkoittaa, että lähes kuusi keikkaa kymmenestä menee edelleen pieleen. Agentti ei myöskään etsi asiakkaita, neuvottele hinnasta eikä tee korjauskierroksia. Se saa valmiin toimeksiannon ja palauttaa tiedostot.

Missä tekoäly vielä kompastuu

Scale Labsin mukaan Fable 5.2 parani eniten ääni- ja musiikkieditoinnissa, arkkitehtuurissa ja sisustussuunnittelussa sekä 3D-mallinnuksessa. Lähes 50 sen onnistumisista oli töitä, joita yksikään testattu agentti ei ollut aiemmin saanut läpi.

Teollinen tuotesuunnittelu ja animaatio ovat yhä mallien heikoimmat lajit. Kun agentti epäonnistuu, jälki on tyypillisesti amatöörimäistä tai keskeneräistä, tiedostot eivät aukea tai suunnitelma on ristiriidassa itsensä kanssa.

Testin sivuhuomio on ehkä sen tärkein. CAIS yritti automatisoida arvioinnin tekoälyllä, mutta tekoälyarvioijat eivät osanneet käyttää ohjelmia kunnolla. Ne myös hämääntyivät hiotun näköisistä mutta teknisesti rikkinäisistä palautuksista ja antoivat malleille liian hyviä arvosanoja.

Kysyntä muuttaa muotoaan

Samana tiistaina OpenAI julkaisi Upworkin kanssa tutkimuksen Work at the Frontier: AI’s effect on freelance work. Talousuutissivusto BigGo Finance tiivisti sen otsikossaan niin, että tekoäly muokkaa freelance-kysyntää eikä pelkästään korvaa sitä. AI Suomi ei saanut raporttia luettavakseen ennen tämän jutun julkaisua, joten sen lukuja ei tässä esitetä.

Tutkimuksen tekijöillä on omat intressinsä. OpenAI myy malleja, joilla freelance-töitä tehdään, ja Upwork elää alustansa kaupankäynnistä. Myös Remote Labor Indexin projektit ovat peräisin Upworkista.

Suomessa kysymys koskee suurta joukkoa. Suomen Yrittäjien mukaan yli 70 prosenttia maan yrittäjistä on yksinyrittäjiä, ja Tilastokeskus seuraa heidän määräänsä työvoimatutkimuksessa neljännesvuosittain. Lisäksi tuhannet kevytyrittäjät laskuttavat töitään laskutuspalvelujen kautta ilman omaa y-tunnusta. Moni heistä tekee juuri testin kaltaisia töitä: graafista suunnittelua, videoeditointia, äänityötä tai 3D-mallinnusta.

Tilaajalle laskelma on yksinkertainen. Testissä agentti sai käyttää generointiin 30 dollaria, ihmisen keskimääräinen lasku oli yli 600 dollaria. Kun onnistumisprosentti on yli 40, moni yritys kokeilee jatkossa ensin agenttia ja tilaa freelancerin vasta, jos lopputulos ei kelpaa.

Tämä tekee yhdestä taidosta arvokkaamman. Jos edes tekoälyarvioija ei erota siistiä pintaa rikkinäisestä tiedostosta, joku joutuu avaamaan tiedoston ja tarkistamaan sen. Tarkistus vaatii saman ammattitaidon kuin itse työ, ja sitä freelancer voi myydä silloinkin, kun ensimmäisen version tekee kone.