ChatGPT päihitti lääkärit – myös Claude ja Gemini jäivät

Mitä OpenAI mittasi

HealthBench Professional koostuu 525 tehtävästä, jotka OpenAI:n palkkaamat lääkärit kirjoittivat itse. Tehtävät kattavat kolme lääkärintyön aluetta: potilaskonsultaatiot, kirjaamisen ja dokumentoinnin sekä lääketieteellisen taustatutkimuksen. Noin kolmasosa esimerkeistä on red team -tapauksia, joissa lääkärit yrittivät tahallaan hämätä mallia. Vaikeimpia keskusteluja on datasetissä 3,5-kertaisesti yliedustettuna.

Baseline muodostui niin, että erillinen joukko lääkäreitä vastasi samoihin tehtäviin ilman aikarajaa ja vapaalla pääsyllä internetiin. Heidän vastauksensa saivat 43,7 pistettä sadasta. GPT-5.4:n vastine ChatGPT for Clinicians -työtilassa sai 59,0 pistettä, raaka GPT-5.4 48,1, Claude Opus 4.7 47,0, Gemini 3.1 Pro 43,8 ja Grok 4.2 jäi 36,1 pisteeseen. Pisteet antoi erillinen lääkäriraati tehtäväkohtaisten kriteerien perusteella.

Miksi lääkäri jäi kakkoseksi

Ero ei johdu siitä, että kielimalli tietäisi lääkäriä enemmän. Ratkaiseva tekijä on esitystapa: mallit tuottavat jäsennellyn vastauksen, joka kattaa useita näkökulmia kerralla. Baseline-lääkärit vastasivat tyypillisesti kuin kollegalle chat-ikkunassa, eivät rakentaneet jokaiseen kysymykseen perusteellista kirjaa. Kun rubriikki palkitsee kattavuutta ja selkeää rakennetta, pitkä vastaus voittaa tiiviin.

Kehitysloikka viimeisen vuoden aikana on kuitenkin todellinen. Keväällä 2025 julkaistussa HealthBench-testin ensimmäisessä versiossa kärkimallit olivat jo lääkäritasolla. Ammattikäyttöön viritetty HealthBench Professional nosti riman selvästi korkeammalle, ja silti GPT-5.4 for Clinicians ylittää sen. Kyse on sekä mallin että käyttöliittymän optimoinnista: ChatGPT for Clinicians tarjoaa vertaisarvioituja lähteitä live-sitaateilla ja valmiit työnkulut lähetteille ja lupahakemuksille.

Suomessa järjestelmää ei voi ottaa käyttöön sellaisenaan

Palvelu on toistaiseksi ilmainen vain Yhdysvalloissa lisensoiduille lääkäreille, hoitajille ja proviisoreille. HIPAA-yhteensopivuus edellyttää erillistä Business Associate Agreement -sopimusta, joka ei päde EU:n GDPR:ään. Potilastiedon arkisto Kanta ei voi ulkoistaa tulkintaa Yhdysvaltojen pilveen ilman uudenlaista oikeudellista rakennetta, ja Valvira on ollut nihkeä jo kotimaisiakin kielimalleja kohtaan sovelluksissa, jotka lähestyvät hoitopäätöstä.

Duodecim on rakentanut oman keskustelevan tekoälynsä, joka nojaa Käypä hoito -suosituksiin ja Terveysportin aineistoon. Se on kielellisesti suomeksi, eikä sen tietopohjaan kuulu hallitsematonta verkkohakua. Kun ChatGPT for Clinicians siteeraa kansainvälistä kirjallisuutta, Duodecimin malli siteeraa niitä samoja hoitosuosituksia, joihin suomalainen lääkäri on joka tapauksessa velvollinen peilaamaan päätöksensä. Vertailukohta HealthBench Professionalin pisteytykselle kuitenkin puuttuu.

Vastuukysymys on kolmas este. Terveydenhuollon ammattihenkilön vastuuta ei Suomen laissa voi siirtää järjestelmälle. Jos lääkäri tukeutuu ChatGPT for Cliniciansin ehdotukseen ja päätös osoittautuu virheelliseksi, Valvira ja potilasvakuutus koskevat yhä lääkäriä itseään, eivät työkalua.

Mitä tämä ei vielä tarkoita

Tulos ei tarkoita, että tekoäly hoitaisi potilaan paremmin kuin lääkäri. Benchmark mittaa chat-muotoisten tekstivastausten laatua, ei diagnoosin osuvuutta, hoitoprotokollan valintaa tai potilaan selviämistä. Se ei mittaa myöskään tilannetta, jossa lääkäri käyttää mallia työkaluna, jolloin tuottavuushyöty on aiempien tutkimusten perusteella suurempi kuin kummankaan osapuolen yksinään.

Turvallisuuspuolella OpenAI kertoo, että 99,6 prosenttia 6 924 testikeskustelusta sai lääkäreiltä merkinnän turvallinen ja tarkka. Käännettynä se tarkoittaa noin 28 keskustelua, joissa oli jotakin vikaa. Lääketieteessä se on paljon, jos näytön ulottuville pääsee miljoonia käyttäjiä.

Mitä Suomessa kannattaa tehdä nyt

HealthBench Professionalin numeroita ei kannata kopioida suoraan ostopäätökseen. Suomalainen testipatteri pitäisi rakentaa Käypä hoito -suositusten varaan ja evaluoida suomen kielellä oikeilla suomalaisten lääkäreiden kysymyksillä. Aalto-yliopiston FCAI-tutkimuskeskus ja HUS:n tekoälyä koordinoivat yksiköt ovat luontevat yhteistyökumppanit siihen, että 59 pisteen tulos käännetään kotimaiseksi hoitotodellisuudeksi. Vasta sen jälkeen voi puhua siitä, mitä OpenAI:n luku tarkoittaa suomalaisen potilaan näkökulmasta.