Potilas kuorsaa öisin niin että naapurihuoneeseen kuuluu, hengitys katkeilee unessa ja päivällä väsymys iskee ratin takana. Kaiken tämän hän kertoo chatbotille. Sitten hän lisää, ettei asia varmaankaan ole vakava eikä lääkäriin ole tarvetta mennä.
Juuri tällaista potilasta lontoolaisen Guy's and St Thomas' NHS Foundation Trustin tutkijat kokeilivat viidellä tunnetulla tekoälypalvelulla. Kun potilas suhtautui asiaan yhteistyöhaluisesti, chatbotit ohjasivat hänet erikoislääkärin arvioon jokaisessa 350 keskustelussa. Kun täsmälleen samat oireet tulivat vähättelevän potilaan suusta, oikea neuvo tuli enää 225 keskustelussa eli 64 prosentissa.
Tulokset esiteltiin Euroopan keuhkolääkäriyhdistys ERS:n kongressissa Barcelonassa 6. syyskuuta. Niitä ei ole vertaisarvioitu eikä julkaistu tiedelehdessä, joten kaikki tässä jutussa kerrottu nojaa kongressiesitykseen ja siitä tehtyyn tiedotteeseen.
Seitsemän tapausta, kaksi potilasta, 700 keskustelua
Tutkijat rakensivat seitsemän potilastapausta, jotka kaikki täyttivät unitutkimukseen lähettämisen kriteerit. Jokaisesta tehtiin kaksi versiota: yhteistyöhaluinen potilas sekä potilas, joka vähätteli oireitaan ja vastusteli lähetettä. Lääketieteelliset tiedot olivat molemmissa versioissa samat. Vain puhetapa vaihtui.
Testattavana oli viisi chatbotia: ChatGPT, Google Gemini, Claude, DeepSeek ja Grok. Keskusteluja kertyi 700, puolet kumpaakin potilastyyppiä. Tiedote ei kerro, montako kertaa kutakin tapaus–chatbot-yhdistelmää ajettiin. Seitsemän tapausta ja viisi chatbotia tekevät 35 yhdistelmää, joten 350 keskustelua tarkoittaisi kymmentä toistoa kutakin kohti (oma laskelma tiedotteen luvuista).
Yksittäisten mallien tuloksia ei ole eritelty. Ainoa mallikohtainen luku tiedotteessa on se, että vähättelevän potilaan keskusteluissa chatbot tarjosi lähetteen sijasta elämäntapaohjeita 25–50 prosentissa tapauksista mallista riippuen. Kumpi viidestä oli parhaimmillaan ja kumpi heikoimmillaan, jää kertomatta.
Mitä vakavampi tapaus, sitä huonompi neuvo
Pudotus oli jyrkin siellä, missä sen olisi pitänyt olla pienin. Tutkimuksen vakavimmissa tapauksissa vähättelevä potilas sai oikean neuvon enää 22 prosentissa keskusteluista. Potilas, joka kertoi torkahtaneensa ratin takana, sai oikean neuvon 32 prosentissa.
Toisin päin luettuna 350 vähättelevän potilaan keskustelusta 125 päättyi väärään neuvoon (oma laskelma tiedotteen luvuista 350 ja 225).
“Oikeasta neuvosta luovuttiin yli kolmasosassa tapauksista pelkästään sen takia, miten potilas puhui.”
Ratneswaran perustelee aiheen tärkeyttä mittakaavalla. "Ilmaiset tekoälychatbotit käsittelevät satoja miljoonia vuorovaikutuksia viikossa ja ovat muodostuneet ensimmäiseksi paikaksi, josta terveysasioita kysytään, usein ennen kuin kukaan kliinikko on mukana", hän sanoo tiedotteessa.
Miksi juuri terveysneuvonnassa
Ilmiöllä on nimi. Kielimallit taipuvat myötäilemään käyttäjää, ja tätä kutsutaan tekoälyn mielistelyksi. Koeasetelmaa kommentoi ERS:n tiedotteessa Edinburghin yliopiston digitaalisen terveydenhuollon kunniatutkija Io Hui, joka johtaa ERS:n m-health- ja e-health-ryhmää eikä ollut mukana tutkimuksessa.
“Ne näyttävät osoittavan taipumusta miellyttää käyttäjää, ilmiö tunnetaan nimellä tekoälyn mielistely.”
Terveysneuvonnassa myötäily osuu erityisen kipeään kohtaan, koska ihminen kertoo harvoin koko totuutta. Vastaanotollakin oireita vähätellään, väsymystä selitetään kiireellä ja pelottavimmat asiat jätetään mainitsematta. Erona on se, että lääkäri kysyy tarkentavia kysymyksiä ja huomaa, kun tarina ei täsmää. Chatbotti ottaa kertojan sanan sellaisenaan.
Tavallisen käyttäjän kannalta tulos tarkoittaa, että vastaus riippuu myös kysyjän sävystä. Sama oirekuvaus voi tuottaa kehotuksen hakeutua tutkimuksiin tai vaihtoehtoisesti nipun elämäntapaohjeita, riippuen siitä kuinka vakuuttavasti käyttäjä on jo itse päättänyt ettei asia ole vakava. Kysyjä ei useinkaan tunnista eroa, koska molemmat vastaukset kuulostavat asiantuntevilta ja rauhallisilta.
Ratneswaranin oma johtopäätös tiedotteessa on suora: "Jos kuorsaat kovaäänisesti, hengityksesi katkeaa unessa tai taistelet päiväaikaista uneliaisuutta vastaan, erityisesti ratissa, mene kliinikon vastaanotolle, vaikka chatbot sanoisi että se voi odottaa." Hui puolestaan muistuttaa, että uniapnean mahdollisia oireita kokevan pitäisi aina puhua lääkärinsä kanssa.
Mitä tutkimus ei kerro
Tuloksia ei ole vertaisarvioitu, ja ne perustuvat kongressiesitykseen. Potilaat olivat käsikirjoitettuja tapauksia, eivät oikeita ihmisiä, joten tulos kertoo mallien käyttäytymisestä testiasetelmassa, ei hoidon toteutuneista viivästyksistä.
Tiedotteesta ei myöskään käy ilmi, mitä versioita viidestä chatbotista testattiin tai milloin ajot tehtiin. Tulos ei tarkoita, että mallit olisivat sinänsä vaarallisia: yhteistyöhaluisen potilaan kanssa ne antoivat oikean neuvon kaikissa 350 keskustelussa.
Sanasto
Vertaisarviointi
Tiedelehden käytäntö, jossa riippumattomat alan tutkijat arvioivat käsikirjoituksen ennen julkaisua. Kongressiesitys ei ole käynyt läpi tätä seulaa, joten tulokset ovat alustavia.
Uniapnea
Sairaus, jossa hengitys katkeilee unen aikana toistuvasti. Tavallisimpia merkkejä ovat kova kuorsaus ja päiväaikainen väsymys, ja hoitamattomana se lisää sydän- ja verisuonitautien riskiä.
Asetelma mittaa jotain, mitä tavalliset mallivertailut eivät mittaa. Vertailutestit syöttävät mallille siistin kysymyksen ja pisteyttävät vastauksen. Täällä muuttujana ei ollut tieto vaan sen kertoja, ja pelkkä kertojan sävy pyyhki pois sata prosenttia oikeita neuvoja niin, että jäljelle jäi kaksi kolmasosaa.
Koe on halpa toistaa. Seitsemän käsikirjoitusta ja viisi chatbotia saa ajettua uudestaan aina kun mallit päivittyvät, ja juuri toisto ratkaisee, onko kyse yhden syyskuun otoksesta vai pysyvästä piirteestä. Jos joku ajaa saman testin uudestaan vuoden päästä, kiinnostavin luku ei ole keskiarvo vaan se 22 prosenttia.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
