PwC:n raportin lähteenä 280 seuraajan bloggaaja

Kun konsulttitalo myy asiantuntemustaan, se myy uskottavuutta. Siksi tekoälyn tunnistamiseen erikoistuneen GPTZeron tiistaina julkaisema selvitys osuu kipeään paikkaan: neljässä PwC Middle Eastin julkaisemassa asiantuntijaraportissa on lähdeviitteitä, joita ei ole olemassa.

Vuosina 2024–2026 julkaistuissa raporteissa viitataan muun muassa MIT Technology Review'n artikkeliin, jota ei löydy lehden arkistosta, ja Riadin ilmanlaatua käsittelevään tutkimukseen, jota ei ole julkaistu missään. Yhden viitteen osoitteen loppuun oli jäänyt merkintä utm_source=chatgpt.com.

Financial Times kertoo tarkistaneensa löydökset itse ja pyytäneensä PwC:ltä kommenttia. Selvityksen tekivät GPTZeron tutkijat Paul Esau, Om Ogale ja Alex Cui.

280 seuraajaa ja yksi pankkihanke

Konkreettisin löydös liittyy PwC:n vuonna 2024 julkaisemaan agenttitekoälyä käsittelevään raporttiin. Siinä JPMorganin automaatiohanke esitellään esimerkkinä agenttitekoälyn onnistuneesta käytöstä liike-elämässä. Lähteeksi on merkitty Medium-palvelussa julkaistu blogikirjoitus, jonka tekijällä on 280 seuraajaa.

Ongelma ei ole pelkästään lähteen vaatimattomuus. Pankin hanke oli julkinen jo vuonna 2017, vuosia ennen kuin ChatGPT tai koko agenttitekoälyn käsite oli olemassa. Esimerkki ei siis todista sitä, mitä raportti sanoo sen todistavan.

Hallinnon uudistamista käsittelevä Transforming Governance: Citizen Pulse sai GPTZeron mittauksessa korkeimmat lukemat. Työkalu arvioi tekstin 84 prosentin todennäköisyydellä kokonaan koneen kirjoittamaksi, ja kun lähdeluettelo jätettiin analyysistä pois, luku nousi sataan prosenttiin.

Samassa raportissa kerrotaan PwC:n Citizen Pulse -ratkaisusta, joka on käytössä Tanskassa, Saudi-Arabiassa, Yhdysvalloissa ja Australiassa. GPTZero ei löytänyt yhtään lähdettä, joka tukisi väitettä, eikä tuotetta ole dokumentoitu PwC:n omilla verkkosivuilla. Kahden muun raportin, liikkumista ja sähköisen liikenteen kyberturvallisuutta käsittelevien julkaisujen, arviot asettuivat 82 ja 60 prosentin tasolle.

Prosenttilukuihin kannattaa suhtautua varauksella. GPTZero myy juuri tekoälyn tunnistamiseen tarkoitettuja työkaluja, ja tekstintunnistimet antavat tunnetusti myös vääriä osumia. Puuttuva lähde on kuitenkin eri asia kuin arvio kirjoittajasta: viitteen olemassaolon voi tarkistaa kuka tahansa.

PwC: päivitämme rajallisen määrän viitteitä

PwC Middle East vastasi Financial Timesille lyhyesti.

Yhtiö ei kertonut, miten virheet syntyivät, kuinka monta viitettä korjataan tai käydäänkö muut julkaisut läpi. Se ei myöskään ottanut kantaa siihen, oliko raportit kirjoitettu kielimallilla.

Neljäs neljästä

PwC on viimeinen suurista tilintarkastus- ja konsulttiyhtiöistä, jonka julkaisuista on löydetty tekoälyn keksimiä lähteitä. Deloitte joutui palauttamaan osan Australian hallitukselle tehdyn raportin palkkiosta samasta syystä, ja vastaavia löydöksiä on tehty myös KPMG:n ja EY:n materiaaleista. GPTZero oli tutkinut nämä kolme aiemmin.

Asiakkaan kannalta kysymys on rahasta. Asiantuntijaraportit ovat konsulttitalojen käyntikortti: niiden tehtävä on osoittaa, että talo tuntee toimialan paremmin kuin asiakas itse. Niiden perusteella ostetaan toimeksiantoja, jotka maksavat kymmeniä tai satoja tuhansia euroja. Jos ilmainen näyteikkuna sisältää tutkimuksia, joita ei ole olemassa, ostajalla ei ole keinoa arvioida, millä pohjalla maksullinen strategiasuositus on tehty.

Virheet eivät pysähdy raporttiin. GPTZeron mukaan Perplexity, ChatGPT ja Gemini toistivat samoja olemattomia tutkimuksia, kun niiltä kysyttiin aiheesta. PwC:n nimi antaa keksitylle viitteelle uskottavuutta, seuraava malli poimii sen totuutena, ja väite alkaa elää omaa elämäänsä muissa raporteissa.

Suomessa samat työkalut

Kaikki neljä suurta toimivat myös Suomessa, ja ne ovat kertoneet ottaneensa generatiivisen tekoälyn käyttöön laajasti asiantuntijatyössään. Samat kielimallit tuottavat samat riskit riippumatta siitä, kirjoitetaanko raportti Dubaissa vai Helsingissä. Suomalaisista konsulttitaloista ei ole toistaiseksi tehty vastaavaa selvitystä, koska kukaan ei ole sitä tehnyt.

Ostajan käytännön johtopäätös on halpa. Lähdeluettelo kannattaa avata ja tarkistaa muutama viite pistokoemaisesti. Jos otsikkoa ei löydy hakukoneesta eikä julkaisun arkistosta, sitä ei todennäköisesti ole olemassa. Se on nopeampi työ kuin koko raportin lukeminen, ja se kertoo laadunvalvonnasta enemmän kuin mikään tekoälytunnistin.