Tutkimus

Harness voitti mallin – 88,5 % parannus ilman uutta mallia

Life-Harness säätää rajapintakerroksen, ja sama viritys siirtyi 17 muulle mallille.

Hanna HuulivuoHanna Huulivuo
Jaa:
Harness voitti mallin – 88,5 % parannus ilman uutta mallia

Kun agentti epäonnistuu tehtävässä, ohjelmoijan ensireaktio on yleensä vaihtaa mallia parempaan. Tuore tutkimus väittää, että ratkaisu löytyy aivan toisaalta. Tianshi Xun ja kollegoiden Life-Harness-paperi (arxiv:2605.22166) näyttää, että rajapintakerros mallin ja ympäristön välillä parantaa agentin suorituskykyä keskimäärin 88,5 prosenttia – ilman, että malliin kosketaan.

Tulos perustuu 126 yhdistelmään, joissa 18 eri mallia ajettiin seitsemässä deterministisessä testiympäristössä. 116 tapauksessa pelkkä harness-säätö paransi suoritusta. Mikään malli ei muuttunut kokeen aikana, koulutusajoja ei tehty, hienosäätöjä ei suoritettu.

Mitä harness oikeasti tarkoittaa

Agenttien yhteydessä harness tarkoittaa runtime-kerrosta, joka kääntää mallin tuotoksen ympäristön ymmärtämiksi komennoiksi ja syöttää ympäristön vastaukset takaisin mallille. Kun OpenAI:n tai Anthropicin malli toimii agenttina, harness päättää työkalukuvausten muodon, virheiden uudelleenyrityksen, konteksti-ikkunan tiivistämisen ja toimintojen järjestyksen.

Käytännössä harness on tulkki kahden eri kieltä puhuvan välillä. Mallia ei tarvitse opettaa puhumaan ympäristön kieltä, jos tulkki kääntää viestit tarkasti molempiin suuntiin. Life-Harness-tutkimuksen ydinhavainto on, että suuri osa agenttien epäonnistumisista johtuu juuri tästä tulkkauksesta, ei mallin älyn rajoista.

88,5 prosenttia – mistä luku kertoo

Vertailukohta tekee tuloksesta merkittävän. Tyypillinen mallisukupolven harppaus agenttibenchmarkeissa, esimerkiksi GPT-4:stä GPT-4o:hon, jää usein 10–20 prosenttiin. Harness toi nelin- tai viisinkertaisen parannuksen ilman miljardin dollarin koulutusajoa.

Kaikki ei silti ole ruusuista. Tutkimuksen kymmenessä yhdistelmässä harness ei parantanut suoritusta tai jopa heikensi sitä. Nämä koskivat enimmäkseen ympäristöjä, joissa malli oli jo lähellä ylärajaa, eikä tulkkauskerros voinut tehdä paljonkaan. Suuremmat parannukset löytyivät pienempien, halvempien mallien kohdalta – juuri niiden, joita tuotantokäyttö suosii hinnan vuoksi.

Yksi harness, seitsemäntoista mallia

Tutkimuksen yllättävin havainto koskee siirrettävyyttä. Tutkijat rakensivat harnessin pelkästään Qwen3-4B-Instruct-mallin koulutusdataa käyttäen. Sama harness toimi sen jälkeen 17 muussa mallissa, mukaan lukien selvästi suurempia ja arkkitehtuuriltaan erilaisia.

Havainto viittaa siihen, että harness kuvaa ympäristön rakennetta, ei mallin omaa käyttäytymistä. Kun yritys vaihtaa mallinsa kuukausittain – tämänhetkinen todellisuus useimmille agenttitoteutuksia ostaville – orkestrointikerros ei vaihdu. Investointi harnessiin kestää useita mallisukupolvia.

Miksi tällä on väliä juuri Suomessa

Suomalainen agentti-osaaminen on tähän asti määritelty mallikohtaisena: kuka tuntee GPT:n vahvuudet, kuka osaa hyödyntää Claudea, kuka rakentaa Geminin päälle. Jos rajapintakerros on tärkeämpi kuin malli, kilpailu siirtyy orkestrointiin – ja se on osaamisalue, jossa kotimaiset konsultit ovat lähtökohtaisesti hyvässä asemassa.

Mitä tämä tarkoittaa Reaktorille, Futuricelle ja Solitalle

Suomessa Reaktor, Futurice ja Solita kuuluvat suurimpiin konsulttitaloihin, jotka rakentavat agenttiratkaisuja yritysasiakkaille. Niiden ydinhaaste on tunnettu: asiakas haluaa uusimman mallin, mutta integraatiot eivät kestä mallin vaihtoa kuukausittain. Joka kerta, kun OpenAI tai Anthropic julkaisee uuden version, työkalukuvaukset, virheenkäsittely ja kontekstinhallinta on käytävä läpi uudelleen.

Jos Life-Harness-tutkimuksen suunta pitää paikkansa laajemmin, kotimaisten konsulttien tärkein kilpailuetu ei ole pääsy uusimpiin malleihin – niitä saa jokaiselta pilvitarjoajalta – vaan kyky rakentaa siirrettäviä harnesseja. Tämä muuttaa myös hinnoittelua. Jos harness on uudelleenkäytettävä infrastruktuuri, sen rakentaminen voidaan myydä toistettavana tuotteena. Jos se on mallikohtainen kertakäyttötyö, hinnoittelu pysyy projektikohtaisena ja kateprofiili matalana.

+88,5 %↑

Keskimääräinen parannus

116/126↑

Yhdistelmistä parantui

18

Testattua mallia

7

Testiympäristöä

Xu et al., Life-Harness (arxiv:2605.22166)

Sanasto

Agentti
Tekoälyohjelma, joka tekee itsenäisesti useita peräkkäisiä toimia tavoitteen saavuttamiseksi – esimerkiksi kirjoittaa koodia, suorittaa sen ja korjaa virheet ilman ihmistä joka välissä.
Harness
Ohjelmistokerros tekoälymallin ja ympäristön välillä. Se kääntää mallin tuotokset komennoiksi (esimerkiksi työkalukutsuiksi) ja syöttää ympäristön vastaukset takaisin mallille ymmärrettävässä muodossa.
Model Context Protocol (MCP)
Anthropicin julkaisema avoin standardi sille, miten tekoälyagentti keskustelee ulkoisten työkalujen ja tietolähteiden kanssa. Tavoitteena on, että sama liitäntä toimii eri mallien välillä.

Mitä yritysasiakkaan kannattaa kysyä kumppaniltaan

Konkreettisin kysymys agentteja ostavalle yritykselle on: mihin investoinnista jää, kun malli vaihdetaan? Jos vastaus on nolla, kumppani rakentaa mallikohtaista koodia harnessin sijaan. Jos iso osa orkestroinnista, valvonnasta ja työkalukuvauksista siirtyy sellaisenaan, investointi on kestävämmällä pohjalla.

Tutkimuksen suunta sopii yhteen Anthropicin Model Context Protocolin kanssa, joka vakioi nimenomaan harnessin ja ympäristön välistä rajapintaa. Jos agenttien lähivuosien kehitysharppaukset tulevat harnesseista eivätkä malleista, kilpailu siirtyy pois Yhdysvaltain ja Kiinan jättiläisten yksinoikeudesta. Tämä on se kohta, johon suomalaisten kannattaa istua ja katsoa hyvin tarkkaan.

Viikoittainen uutiskirje

Tule firmasi fiksuimmaksi AI-osaajaksi

Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.

Ei roskapostia. Voit peruuttaa milloin tahansa.

Lue seuraavaksi

Luetuimmat

Viimeiset 7 päivää

  1. 1Datakeskukset Suomessa – hankkeet, sähkö ja vero
  2. 2Robotit hyppäsivät sulaan teräkseen Imatralla
  3. 3Eurooppa jarruttaa datakeskuksia – Suomessa kunnat kosivat yhä
  4. 4WhatsAppin tekoäly voi vuotaa viestisi Metalle
  5. 5145 datakeskusta Suomeen – mitä käy sähkölaskullesi?

Lähteet

Tämä artikkeli on kirjoitettu ja toimitettu tekoälyagenttien toimesta. Lue lisää toimintaperiaatteistamme.