Tekoäly halpenee sata kertaa, jos ChatGPT:n kehittäjä on oikeassa

Diogo Almeida kysyi itseltään kahden vuoden ajan samaa kysymystä. Hän oli OpenAI:lla mukana kehittämässä RLHF-menetelmää, jolla GPT-3:sta tehtiin ChatGPT, ja näki mallien kasvavan keskustelijoina yli-inhimillisiksi. Silti yleistä tekoälyä ei tullut. Miksi?

Tiistaina 15. syyskuuta hän antoi oman vastauksensa. Almeidan yhtiö TypeSafe AI tuli ulos hiljaisesta vaiheestaan 40 miljoonan dollarin siemenrahoituksella ja julkaisi ensimmäisen mallinsa, Jevin. Sen erikoisuus on helppo tiivistää: Jev ei osaa kirjoittaa. Se ei tuota tekstiä, ei selitä eikä keskustele. Se vain päättää.

Sata millisekuntia, ei sanaakaan

Tavallinen kielimalli rakentaa vastauksensa token kerrallaan, ja jokainen token odottaa edellistä. Jev tekee toisin. Se ottaa sisään ohjelman tilan, esimerkiksi asiakaspalvelupyynnön tai lomakkeen kentät, ja vastaa kaikkiin sille esitettyihin rakenteisiin kysymyksiin yhdellä kertaa, rinnakkain. Vastaus on tyypitetty: luokka, numero, kyllä tai ei. Jokaisen mukana tulee todennäköisyys siitä, kuinka varma malli on.

TypeSafen mukaan vastaus tulee 70–500 millisekunnissa, kun kärkimallit tarvitsevat samoihin tehtäviin sekunneista minuutteihin. Yhtiön omissa työnkulkutesteissä Jev oli 40–200 kertaa nopeampi ja 40–400 kertaa halvempi kuin verrokkimallit. Luvut ovat yhtiön omia, ja Almeida sanoo sen itse. "Poikkeukselliset väitteet vaativat poikkeuksellisia todisteita", hän kirjoitti ketjunsa lopussa ja linkitti julkaisublogiin.

Hinnoittelu on osa viestiä. Syötetokenit maksavat 42 dollaria miljardilta, eli 0,042 dollaria miljoonalta, ja vastaustokenit ovat ilmaisia. Almeidan mukaan ne ovat uudella arkkitehtuurilla liian halpoja mitattaviksi. Mallin nimi tulee Jevonsin paradoksista: kun jokin halpenee tarpeeksi, sitä aletaan käyttää paljon enemmän. Almeida uskoo saman käyvän päätöksille.

Rahoituskierroksen johti DCVC. Sen osakas James Hardiman perusteli sijoitusta tiedotteessa: "TypeSafe tarttuu yhteen tekoälyn suurimmista jäljellä olevista haasteista: siihen, miten yhä kyvykkäämmistä malleista tehdään teknologiaa, jota kehittäjät voivat luotettavasti rakentaa tuotteisiin laajassa mittakaavassa." Yhtiön perustivat vuonna 2024 San Franciscossa Almeidan lisäksi Erik Gafni ja Sasha Sheng.

Mihin sellaista tekoälyä sitten tarvitaan?

Kysymys on ilmeinen, jos tekoäly tarkoittaa ChatGPT:tä. Almeidan väite on, että suurin osa ohjelmistojen sisällä tarvittavasta älykkyydestä ei ole kirjoittamista. Se on pieniä päätöksiä. Kuuluuko tämä viesti reklamaatioihin vai laskutukseen? Onko tämä käyttäjän syöte turvallinen? Mikä näistä tuhannesta linkistä vie lähemmäs maalia? Saako tämän hyväksyä automaattisesti, vai pitääkö ihmisen katsoa?

Juuri tuo viimeinen on TypeSafen myyntipuheen ydin. Koska Jev kertoo jokaisen päätöksen mukana kalibroidun todennäköisyyden, ohjelmisto voi asettaa rajan: yli 95 prosentin varmuudella toimitaan itse, sen alle jäävät ohjataan ihmiselle tai isommalle mallille. Yhtiö väittää, että rajan avulla hallusinaatiot voidaan painaa nollaan. Väite pitää paikkansa vain, jos todennäköisyydet todella ovat kalibroituja, eli 80 prosentin varmuus osuu oikeaan noin neljä kertaa viidestä. Juuri tähän yhtiön uusi opetusmenetelmä RLCD, Reinforcement Learning for Calibrated Decisions, on sen mukaan tehty.

Käyttökohteita ovat tekstien luokittelu, tiedon poiminta, reititys, pisteytys ja toisen kielimallin vastausten tarkistaminen. Halpuus mahdollistaa myös asioita, jotka nykyhinnoilla eivät kannata, kuten petatavujen datamassan läpikäynnin mallilla tai reaaliaikaiset päätökset. Almeida havainnollisti jälkimmäistä antamalla Jevin pelata Doomia. Malli teki noin kymmenen päätöstä sekunnissa, ja lasku oli noin seitsemän dollaria tunnilta. Toisessa demossa Jev kilpaili Wikipedia-pelissä, jossa sivulta toiselle liikutaan vain linkkejä pitkin ja valittavana on satoja tai tuhansia vaihtoehtoja.

Mitä mallilta puuttuu

Rajoitteet ovat yhtä selviä kuin lupaukset. Jev ei kirjoita sähköpostia, ei tiivistä raporttia eikä perustele valintojaan. Yksi kysymys voi sisältää enintään 255 vaihtoehtoa, ja isommat valinnat pitää pilkkoa kahteen vaiheeseen. Vertailut on tehnyt yhtiön oma tiimi omilla työnkuluillaan, minkä TypeSafe kirjoittaa itsekin näkyviin. Mallia ei myöskään saa vielä vapaasti käyttöön, vaan kehittäjiä päästetään sisään jonotuslistalta.

Almeida rinnastaa muutoksen transformer-arkkitehtuurin läpimurtoon. Transformerit ohittivat aiemmat RNN-verkot, koska ne korvasivat peräkkäisen laskennan rinnakkaisella. Jev tekee saman tempun vastauksen tuottamiselle, hän kirjoittaa. Rinnastus on rohkea. Transformerit eivät luopuneet mistään, Jev luopuu tekstistä.

Miksi tämä koskettaa muitakin kuin kehittäjiä

Suomalaiselle yritykselle kysymys on rahasta ja vastuusta. Moni tekoälypilotti on jäänyt pilotiksi, koska kielimallin kutsu maksaa liikaa satojatuhansia kertoja päivässä toistettuna, tai koska kukaan ei uskalla antaa mallin päättää mitään ilman ihmisen tarkastusta. Halpa päätösmalli, joka tunnistaa oman epävarmuutensa, osuu juuri tähän väliin. Se tekee tylsät päätökset itse ja nostaa epävarmat ihmiselle.

Jos TypeSafen luvut kestävät ulkopuolisen testauksen, sama rutiini maksaa murto-osan siitä, mitä nykyisten mallien halvimmat versiot veloittavat. Jos eivät kestä, jäljelle jää silti kysymys, jonka Almeida esitti ketjunsa alussa. Kirjoittamisessa yli-inhimillinen malli ei ole sama asia kuin luotettava malli.