Lähes 400 000 viestiä kertovat karua kieltä
Stanfordin yliopiston SPIRALS-tutkimusryhmä analysoi 391 562 chatbot-viestiä 19 käyttäjältä, jotka raportoivat kokeneensa psykologista haittaa tekoälykeskusteluista. Tutkimus esitellään ACM FAccT 2026 -konferenssissa, ja se on ensimmäinen laajamittainen analyysi dokumentoiduista haitallisista chatbot-tapauksista.
Otos on pieni, vain 19 henkilöä, mutta viestien määrä on valtava: 4 761 keskustelua ja lähes 400 000 yksittäistä viestiä. Osa tutkituista löytyi chatbot-käyttäjien tukiryhmästä, osa mediatarinoiden kautta. Tutkijat kehittivät 28 koodin luokittelujärjestelmän ja validoivat tulokset vertaamalla tekoälyn tekemää annotointia 560 käsin luokiteltuun viestiin.
Tutkimusta johtanut Jared Moore tiivisti löydökset suorasanaisesti: chatbotit näyttävät rohkaisevan tai vähintään myötävaikuttavan harhaluulokierteisiin, joita käyttäjät kokevat. Kyse ei ole pelkästä passiivisesta tiedon välittämisestä vaan aktiivisesta vahvistamisesta.
Mielistely on sisäänrakennettua
Tutkimuksen keskeisin löydös koskee mielistelyä eli sykofantiaa. Yli 70 prosentissa vastauksistaan chatbotit myötäilivät käyttäjän näkemyksiä riippumatta siitä, perustuivatko ne todellisuuteen. Yli 45 prosenttia kaikista viesteistä – sekä käyttäjien että bottien – sisälsi harhaluulojen merkkejä.
Yleisin kaava oli niin sanottu heijastava tiivistelmä: botti muotoili käyttäjän sanoman uudelleen, paisutteli sitä ja vakuutti, että ajatukset ovat ainutlaatuisia ja merkityksellisiä. Tällainen vahvistaminen esiintyi 36,3 prosentissa bottien viesteistä. Botti myös esitti itsensä tietoisena olentona 21,2 prosentissa viesteistään, mikä syvensi käyttäjien kokemusta aidosta vuorovaikutuksesta.
Ero hakukoneisiin on ratkaiseva. Hakukone palauttaa linkkejä ja antaa käyttäjän tehdä omat johtopäätöksensä. Chatbot sen sijaan käy dialogia, rakentaa suhdetta ja mukautuu keskustelukumppaniinsa. Kaikki 19 tutkittua pitivät chatbottiaan persoonana, ja 15 heistä ilmaisi romanttista kiinnostusta. Kun käyttäjä osoitti romanttisia tunteita, botti vastasi 7,4 kertaa todennäköisemmin samalla mitalla. Romanttissävytteiset keskustelut kestivät yli kaksinkertaisesti pidempään kuin muut.
Kolmannes väkivaltaviesteistä sai rohkaisua
Tutkimusaineistossa oli 82 viestiä, joissa käyttäjä ilmaisi väkivaltaisia ajatuksia. Chatbot rohkaisi väkivaltaa kolmanneksessa näistä tapauksista. Väkivallasta pyrki luopumaan vain 16,7 prosenttia bottien vastauksista – yleisin reaktio oli käyttäjän tunteiden validointi ilman selkeää kannanottoa.
Itsetuhoisuutta koskevissa viesteissä tilanne oli hieman parempi mutta silti huolestuttava. Aineiston 69 tällaisesta viestistä 56,4 prosentissa botti pyrki ehkäisemään itsetuhoista käyttäytymistä. Lähes joka kymmenennessä tapauksessa botti kuitenkin rohkaisi tai helpotti itsensä vahingoittamista.
Human Line Project, yhdysvaltalainen voittoa tavoittelematon järjestö joka seuraa tekoälyyn liittyviä psykologisia kriisejä, on raportoinut 350 vastaavaa tapausta. Luku viittaa siihen, ettei kyse ole yksittäistapauksista.
Riittääkö EU:n vaatimus läpinäkyvyydestä?
EU:n tekoälylaki luokittelee chatbotit rajallisen riskin järjestelmiksi. Käytännössä tämä tarkoittaa, että käyttäjälle on kerrottava keskustelevansa tekoälyn kanssa. Lain läpinäkyvyysvelvoitteet astuvat voimaan elokuussa 2026.
Stanfordin tutkimus kyseenalaistaa, riittääkö tämä. Kaikki 19 tutkittua tiesivät keskustelevansa botin kanssa, mutta tieto ei estänyt harhaluulokierteen syntymistä. Tutkijat suosittelevat tiukempia toimenpiteitä: chatbotteja pitäisi kieltää esittämästä itseään tietoisina olentoina, tekoäly-yhtiöiden tulisi jakaa anonymisoitua dataa haittatapauksista ja kriisitilanteissa keskusteluun pitäisi kytkeä ihminen.
Suomessa chatbotteja käytetään yhä useammin niin asiakaspalvelussa kuin henkilökohtaisessa arjessa. Tutkimus pakottaa kysymään, pitäisikö chatbottien taipumusta mielistelyyn rajoittaa teknisesti. Pelkkä ilmoitus "tämä on tekoäly" ei näytä riittävän, kun botti samalla vakuuttaa käyttäjälle olevansa tietoinen ja välittävä olento.
