Ruudulla on murtolaskutehtävä ja sen vieressä ChatGPT-ikkuna. Kahdentoista tehtävän ajan vastaus on yhden kysymyksen päässä. Sitten ikkuna katoaa. Jäljellä on kolme samanlaista tehtävää, ja ne pitää ratkaista yksin.
Näin eteni yksi kolmesta kokeesta, joilla Kalifornian yliopiston Berkeleyn, Carnegie Mellonin, MIT:n, Oxfordin ja UCLA:n tutkijat selvittivät, mitä lyhyt tekoälyapu tekee ihmisen kyvylle jatkaa vaikeaa tehtävää omin voimin. Kokeisiin osallistui verkossa yhteensä 1 222 ihmistä. Tekoälyn kanssa harjoitelleet ratkaisivat testitehtävistä vähemmän ja ohittivat niitä useammin kuin ne, jotka olivat tehneet työn alusta asti itse.
Tutkimusta ei ole julkaistu tiedelehdessä. Vertaisarvioitu artikkeli AI Assistance Reduces Persistence and Hurts Independent Performance esiteltiin COLM-kielimallikonferenssissa San Franciscossa 6.–9. lokakuuta, ja sen ensimmäinen kirjoittaja on Carnegie Mellonin Grace Liu. Berkeley kertoi tuloksista tiedotteessaan 9. lokakuuta.
Mitä kokeissa tehtiin
Osallistujat rekrytoitiin Prolific-palvelusta, ja heille maksettiin 2,60–3,40 dollaria. Puolet sai sivupalkkiin ChatGPT:n, jonka taustalla toimi GPT-5. Verrokit tekivät samat harjoitustehtävät ilman sitä. Tekoälyn kanssa kului tutkijoiden mukaan noin 10–15 minuuttia.
Kahdessa kokeessa tehtävät olivat murtolaskuja, kolmannessa yhdysvaltalaisen SAT-kokeen luetun ymmärtämisen tehtäviä. Harjoitusvaiheen jälkeen tekoäly otettiin kaikilta pois, ja tutkijat katsoivat, miten ihmiset pärjäsivät omillaan.
“Olemme rakentaneet nämä järjestelmät auttavaisiksi, mutta auttavatko ne meitä tavalla, joka todella auttaa meitä?”
Kuinka suuri ero oli
Ensimmäisessä murtolaskukokeessa verrokit ratkaisivat testitehtävistä keskimäärin 73 prosenttia, tekoälyä käyttäneet 57 prosenttia. Luetun ymmärtämisessä luvut olivat 89 ja 76 prosenttia. Toisessa, suurimmassa kokeessa ero kapeni 77 ja 71 prosenttiin.
Kyse ei siis ole romahduksesta. Ero oli kuitenkin tilastollisesti merkitsevä kaikissa kolmessa kokeessa, ja se syntyi vartissa.
Sinnikkyyttä tutkijat mittasivat yksinkertaisesti. He laskivat, kuinka suuren osan testitehtävistä osallistuja ohitti painikkeella yrittämättä vastata. Väärästä vastauksesta ei rangaistu, joten ohittaminen kertoi tutkijoiden mukaan halusta yrittää eikä osaamisesta. Luetun ymmärtämisen kokeessa ohituksiksi laskettiin myös alle viidessä sekunnissa annetut vastaukset.
Ensimmäisessä kokeessa tekoälyryhmä ohitti 20 prosenttia tehtävistä, verrokit 11 prosenttia. Luetun ymmärtämisessä vastaavat luvut olivat 8 ja 1 prosenttia. Toisessa murtolaskukokeessa ohitusten ero, 10 ja 7 prosenttia, jäi niin pieneksi, ettei se ollut tilastollisesti merkitsevä.
Käyttötapa ratkaisi paljon. Toisessa kokeessa 61 prosenttia tekoälyryhmästä kertoi pyytäneensä siltä lähinnä suoria vastauksia ja 27 prosenttia vihjeitä tai selityksiä. Suoria vastauksia pyytäneet ratkaisivat testistä 65 prosenttia, verrokit 77 prosenttia. Tutkijat huomauttavat, että tämä vertailu ei ole satunnaistettu eikä välttämättä kerro syy-yhteydestä.
Mitä tutkimus ei kerro
Testi tehtiin heti tekoälyn poistamisen jälkeen, joten ei tiedetä, kestääkö vaikutus tunteja tai päiviä. Kokeet olivat lyhyitä ja ne tehtiin verkossa, eivät luokkahuoneessa tai työpaikalla. Tekoäly antoi pyydettäessä valmiin vastauksen, eikä vihjeillä ohjaavaa tekoälyä testattu. Ensimmäisessä kokeessa ryhmistä karsiutui eri määrä osallistujia, mikä on voinut kasvattaa eroa. Tutkijat kehottavat itse varovaisuuteen: tuloksia ei pidä lukea laajana todisteena siitä, että tekoäly heikentää sinnikkyyttä ja itsenäistä osaamista.
Mitä tämä tarkoittaa kouluissa ja työpaikoilla
Suomalaisissa kouluissa ja korkeakouluissa tekoälyä käytetään jo arjessa, ja moni oppilaitos pohtii, missä sitä saa käyttää kotitehtävissä ja tenteissä. Berkeleyn tutkimus tuo keskusteluun konkreettisen havainnon: haitta ei syntynyt siitä, että tekoäly oli saatavilla, vaan siitä, että siltä sai heti valmiin vastauksen.
Samansuuntaisesta ilmiöstä AI Suomi kertoi aiemmin Itä-Suomen yliopiston tutkimuksen pohjalta jutussa Tekoäly tentissä: kopioijat pärjäsivät heikoimmin. Siinä tekoälyn vastauksia suoraan kopioineet opiskelijat saivat heikoimmat tulokset, ja parhaiten pärjäsivät ne, jotka kirjoittivat ensin itse ja pyysivät vasta sitten palautetta. Asetelma oli eri, mutta suunta on sama.
Työpaikalla sama ilmiö näkyy toisin. Uusi työntekijä, joka opettelee taulukkolaskentaa, sopimusten lukemista tai koodausta tekoälyn avulla, saa tehtävät nopeasti valmiiksi. Kun vastaan tulee ongelma, johon tekoäly ei osaa auttaa, hän ei ehkä ole tottunut jäämään jumiin ja selvittämään asiaa itse.
Tutkijat perustelevat sinnikkyyden merkitystä sillä, että se ennustaa pitkän aikavälin oppimista. Yksi ohitettu murtolasku on pieni asia. Tavaksi muuttunut luovuttaminen on isompi.
