Kognitiivinen tutkinto tekoälylle
Milloin tekoäly on "yleisälykäs"? Kysymys on vaivannut tutkijoita vuosikymmeniä, mutta vakuuttavaa vastausta ei ole ollut. Google DeepMind otti 17. maaliskuuta konkreettisen askeleen: tutkimusryhmä julkaisi kognitiivisen viitekehyksen, joka pilkkoo yleisälykkyyden kymmeneen mitattavaan kyvykkyyteen.
Samalla DeepMind avasi Kaggle-hackathonin, jossa tutkijat ja kehittäjät voivat kilpailla 200 000 dollarin palkintopotista suunnittelemalla parhaita arviointitestejä. Kyseessä on ensimmäinen vakava yritys siirtää AGI-keskustelu spekulaatiosta mitattavaksi tieteeksi.
Kymmenestä kyvystä koostuva äly
Viitekehys perustuu vuosikymmenten psykologian ja neurotieteen tutkimukseen. DeepMindin tiimi, jota johtaa tutkija Ryan Burnell, jakoi kognition kahdeksaan perusrakennuspalikkaan ja kahteen yhdistelmäkykyyn.
Perusrakennuspalikat ovat havainnointi, tuottaminen, tarkkaavaisuus, oppiminen, muisti, päättely, metakognitio ja toiminnanohjaus. Näiden päälle rakentuvat ongelmanratkaisu ja sosiaalinen kognitio, jotka yhdistelevät useampaa peruskyvykkyyttä.
Käytännössä tämä tarkoittaa, että tekoälyjärjestelmää ei enää arvioida yhdellä kokonaispisteellä vaan kymmenellä erillisellä mittarilla. Ajatus on sama kuin ihmisen älykkyyden mittaamisessa: neuropsykologi ei luota yhteen ÄO-lukuun vaan laatii monipuolisen profiilin.
Nykymallien vahvuudet painottuvat havainnoinnin, tuottamisen ja päättelyn puolelle. ChatGPT tuottaa sujuvaa tekstiä ja päättelee loogisesti, mutta sen kyky oppia lennossa uusista tilanteista, arvioida omaa epävarmuuttaan tai lukea sosiaalisia vihjeitä on pinnallista.
Otetaan esimerkiksi metakognitio: ihminen osaa arvioida, milloin hän tietää vastauksen ja milloin ei. Kielimallit tuottavat usein itsevarmoja vastauksia silloinkin, kun niiden pitäisi sanoa "en tiedä". Toiminnanohjaus taas kattaa kyvyn suunnitella monivaiheisia tehtäviä ja muuttaa suunnitelmaa kesken kaiken. Juuri tätä taitoa tekoälyagenttien pitäisi hallita, mutta toistaiseksi ne kompastuvat siihen toistuvasti.
Viisi aukkoa ja 200 000 dollarin palkinto
DeepMindin tutkijat tunnistivat viisi kyvykkyyttä, joissa nykyiset arviointimenetelmät ovat heikoimmillaan: oppiminen, metakognitio, tarkkaavaisuus, toiminnanohjaus ja sosiaalinen kognitio. Juuri näiden ympärille rakennettiin Kaggle-hackathon.
Kilpailussa on viisi erillistä sarjaa, yksi kullekin kyvykkyydelle. Jokaisessa sarjassa kaksi parasta osallistujaa palkitaan 10 000 dollarilla. Lisäksi neljä kokonaiskilpailun parasta saavat kukin 25 000 dollarin palkinnon. Hakuaika päättyy 16. huhtikuuta, ja tulokset julkistetaan 1. kesäkuuta.
Hackathonin idea on kunnianhimoinen: DeepMind ei väitä ratkaisseensa AGI:n mittaamisongelmaa yksin vaan pyytää tutkimusyhteisöä apuun. Avoin lähestymistapa on poikkeuksellinen alalla, jossa suuret toimijat usein kehittävät arviointimittaristonsa suljettujen ovien takana ja julkaisevat vain itselleen mairittelevia tuloksia.
