Konrad Trellner on tehnyt kilpailija- ja markkinatiedustelua kymmenen vuotta, ja hänen perustamassaan tutkimusyhtiössä on yksi sääntö: hän lukee jokaisen raportin itse ennen julkaisua. Keskiviikkona 2. syyskuuta hän päästi läpi selvityksen, joka kysyy yhtä kiusallista kysymystä. Mistä tekoälyn antama ohjelmistosuositus oikeastaan tulee?
Trellner Research ajoi 380 ohjelmistokategoriaa Perplexityn kahden hakumallin, sonarin ja sonar-pron, läpi ja pyysi kummaltakin listan viidestä parhaasta tuotteesta. Kutsuja kertyi 760, lähdeviitteitä 7 534 ja verkkotunnuksia 2 055. Sitten jokainen osoite verrattiin Tranco-listaan, jota ylläpitävät KU Leuvenin, TU Delftin ja Grenoblen yliopiston tutkijat ja joka on rakennettu nimenomaan kestämään manipulointia.
Lähdeviitteistä 59,8 prosenttia osoitti sivustoihin, jotka jäävät listan sadantuhannen kärjen ulkopuolelle. Vajaa neljännes, 23,4 prosenttia, ei mahtunut edes miljoonan joukkoon.
Kolme sivustoa, 215 128 opasta
Selvityksen kiinnostavin yksittäinen löydös koskee kolmea verkkotunnusta. Worldmetrics.org, wifitalents.com ja gitnux.org on kaikki rekisteröity NameCheapin kautta joulukuun 2023 ja toukokuun 2024 välillä, ja kaikki kolme osoittavat samaan Cloudflaren nimipalvelinpariin. Sivupohjat ovat samat.
Yhdessä ne ovat tuottaneet 215 128 konekirjoitettua ostajan opasta: Worldmetricsilla 70 731, WifiTalentsilla 71 684 ja Gitnuxilla 72 713. Jokainen sivusto esittelee kolme nimettyä analyytikkoa, yhteensä yhdeksän. Trellnerin selvityksen mukaan heitä ei ole olemassa.
Sivustot itse kertovat toista. Worldmetrics ilmoittaa, että jokainen artikkeli on ihmisen kirjoittama ja tarkistettu. Gitnux tiivistää menetelmänsä lauseeseen "tekoäly nopeuttaa, ihmiset tekevät jokaisen lopullisen päätöksen". WifiTalents kutsuu itseään riippumattomaksi markkinatutkimusyhtiöksi. Kolmella riippumattomalla markkinatutkimusyhtiöllä on siis sama sivupohja, sama nimipalvelin ja yhteensä yli kaksisataatuhatta sivua.
Trellner kiinnitti huomiota myös sivujen HTML-otsikoihin. Osa niistä kantaa nimeä "Facts & Grounding Page", ja kuvausteksti lupaa todennettuja faktoja brändistä. Grounding on hakuavusteisten kielimallien tekninen termi sille vaiheelle, jossa järjestelmä noutaa dokumentteja vastauksensa pohjaksi. Sanaa ei käytä yksikään ohjelmistoa etsivä ihminen.
“Nämä sivut on osoitettu otsikoissaan ja kuvauksissaan sille ohjelmistolle, joka niitä lukee.”
Mitä luvut eivät sano
Tässä kohtaa kannattaa hidastaa. Kolmikon oma osuus aineistosta on pieni. Sivustot saivat 181 viittausta eli 2,4 prosenttia kaikista, ja ne näkyivät 41 kategoriassa 380:stä. Se 59,8 prosentin luku ei siis kerro näistä kolmesta sivustosta juuri mitään, vaan siitä että Perplexityn lähdepohja lepää laajemminkin pienten ja tuntemattomien sivustojen varassa.
Sen näkee myös siteeratuimpien listalta. Kärjessä ovat G2 ja Reddit, mutta kolmantena on guideflow.com, tuote-esittelyohjelmistoa myyvän yhtiön markkinointiblogi. Se keräsi 194 viittausta 96 kategoriassa, siis enemmän kuin Gartner. Guideflow ei ole arviointisivusto eikä myy mitään niistä tuotteista, joita kysymykset koskivat.
Trellner Research kertoo rajoitukset itse. Mittaus koskee vain Perplexityä, ei ChatGPT:tä, Geminiä, Copilotia eikä Googlen AI-tilaa. Jokainen kategoria ajettiin kerran ja yhdellä kysymysmuotoilulla, ilman toistoja.
Tärkein varaus on raportin oma lause: "Emme ole osoittaneet, että mikään tästä muuttaisi vastauksia." Sivustojen läsnäolo lähdeluettelossa ei siis todista, että ne olisivat vaikuttaneet suosituksiin.
Trellner on itsekin alan toimija: yhtiö tutkii työkseen tekoälyhakua ja hyötyy siitä, että aihe kiinnostaa yrityksiä. Se ilmoittaa sivuillaan, ettei ota vastaan maksua niiltä yhtiöiltä joita se käsittelee, ja julkaisee raporttiensa aineistot. Tätä väitettä ei voi ulkopuolelta varmentaa.
Miksi tällä on väliä suomalaiselle ostajalle
Suomalaisessa pienyrityksessä ohjelmistovalinta tehdään harvoin konsultin avulla. Kirjanpitäjä, myyntipäällikkö tai toimitusjohtaja kysyy nykyään yhä useammin tekoälyltä ja saa viisi tuotenimeä ilman että kukaan katsoo, mihin vastaus nojaa. Jos yksi nimistä on peräisin sivustolta, joka on tuotettu nimenomaan koneen luettavaksi, valinta on tehty jonkun muun ehdoilla.
Hakukoneoptimointi vaati aikoinaan vuosien työn ja jonkinlaisen yleisön. Tekoälyvastauksen syöttäminen ei vaadi kumpaakaan. Riittää, että sivuja on paljon, ne ovat rakenteeltaan siistejä ja ne vastaavat täsmälleen siihen kysymykseen, jonka hakumalli esittää. Seitsemänkymmentätuhatta sivua verkkotunnusta kohti on ihmiselle vuosien urakka ja koneelle viikonloppu.
Ostajan kannalta ongelma ei ole ensisijaisesti se, että suositus olisi väärä. Ongelma on, ettei sitä voi tarkistaa. Perplexity näyttää lähteensä, mikä on enemmän kuin moni kilpailija tekee, mutta lähdeluettelo auttaa vain jos lukija tunnistaa nimet. Harva tunnistaa.
Sanasto
Nimipalvelin
Palvelin, joka kertoo selaimelle, mistä osoitteesta verkkotunnuksen sivut löytyvät. Jos eri verkkotunnukset osoittavat samoihin nimipalvelimiin, ne on todennäköisesti pystyttänyt sama taho.
Hakukerros
Tekoälyhakupalvelun osa, joka noutaa verkosta ne sivut, joiden pohjalta vastaus kirjoitetaan. Sama hakukerros voi palvella useaa eri kielimallia, jolloin mallit päätyvät samoihin lähteisiin.
Sama vastaus, kalliimmalla
Yksi selvityksen sivuhuomio jää vaivaamaan enemmän kuin pääluku. Kahden hakumallin palauttamat lähdeluettelot olivat 289 kategoriassa 380:stä tavu tavulta identtiset. Kalliimpi malli ei noutanut erilaisia lähteitä, se muotoili saman aineiston toisin. Trellnerin tulkinta on, että kyse on käytännössä yhdestä hakukerroksesta kahdella hinnalla.
Perplexity ei kommentoi selvitystä raportissa eikä ole julkaissut siitä kannanottoa, eikä AI Suomella ollut yhtiön kommenttia julkaisuhetkellä. Kolmen verkkotunnuksen omistajia ei kerrota sivustoilla. AI Suomi ei ole itsenäisesti tarkistanut, ovatko niiden analyytikot todellisia henkilöitä: tieto on Trellnerin selvityksestä ja sivustojen omilta sivuilta, jotka luettiin 3. syyskuuta.
Seuraava kysymys on mitattavissa, mutta sitä ei ole vielä mitattu. Jos sama koe ajetaan ChatGPT:llä ja Geminillä ja tulos on toinen, ongelma on Perplexityn hakukerroksessa ja korjattavissa. Jos tulos on sama, ongelma on siinä, että avoimessa verkossa kannattaa nyt kirjoittaa koneelle eikä ihmiselle.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
