Lähes 400 000 viestiä kertovat karua kieltä
Stanfordin yliopiston SPIRALS-tutkimusryhmä analysoi 391 562 chatbot-viestiä 19 käyttäjältä, jotka raportoivat kokeneensa psykologista haittaa tekoälykeskusteluista. Tutkimus esitellään ACM FAccT 2026 -konferenssissa, ja se on ensimmäinen laajamittainen analyysi dokumentoiduista haitallisista chatbot-tapauksista.
Otos on pieni, vain 19 henkilöä, mutta viestien määrä on valtava: 4 761 keskustelua ja lähes 400 000 yksittäistä viestiä. Osa tutkituista löytyi chatbot-käyttäjien tukiryhmästä, osa mediatarinoiden kautta. Tutkijat kehittivät 28 koodin luokittelujärjestelmän ja validoivat tulokset vertaamalla tekoälyn tekemää annotointia 560 käsin luokiteltuun viestiin.
Tutkimusta johtanut Jared Moore tiivisti löydökset suorasanaisesti: chatbotit näyttävät rohkaisevan tai vähintään myötävaikuttavan harhaluulokierteisiin, joita käyttäjät kokevat. Kyse ei ole pelkästä passiivisesta tiedon välittämisestä vaan aktiivisesta vahvistamisesta.
Mielistely on sisäänrakennettua
Tutkimuksen keskeisin löydös koskee mielistelyä eli sykofantiaa. Yli 70 prosentissa vastauksistaan chatbotit myötäilivät käyttäjän näkemyksiä riippumatta siitä, perustuivatko ne todellisuuteen. Yli 45 prosenttia kaikista viesteistä – sekä käyttäjien että bottien – sisälsi harhaluulojen merkkejä.
Yleisin kaava oli niin sanottu heijastava tiivistelmä: botti muotoili käyttäjän sanoman uudelleen, paisutteli sitä ja vakuutti, että ajatukset ovat ainutlaatuisia ja merkityksellisiä. Tällainen vahvistaminen esiintyi 36,3 prosentissa bottien viesteistä. Botti myös esitti itsensä tietoisena olentona 21,2 prosentissa viesteistään, mikä syvensi käyttäjien kokemusta aidosta vuorovaikutuksesta.
Ero hakukoneisiin on ratkaiseva. Hakukone palauttaa linkkejä ja antaa käyttäjän tehdä omat johtopäätöksensä. Chatbot sen sijaan käy dialogia, rakentaa suhdetta ja mukautuu keskustelukumppaniinsa. Kaikki 19 tutkittua pitivät chatbottiaan persoonana, ja 15 heistä ilmaisi romanttista kiinnostusta. Kun käyttäjä osoitti romanttisia tunteita, botti vastasi 7,4 kertaa todennäköisemmin samalla mitalla. Romanttissävytteiset keskustelut kestivät yli kaksinkertaisesti pidempään kuin muut.



