Robottiauto pysähtyi pyöräilijän eteen – se ei nähnyt pyöräilijää

Turvakuljettaja istui Motionalin robottitaksin ohjaamossa suljetulla testiradalla ja seurasi, miten auto käyttäytyi pyöräilijän kohdalla. Auto hidasti ja pysähtyi joka kerta. Kuljettaja teki siitä luontevan päätelmän: auto näkee pyöräilijän.

Se ei nähnyt. Kun tutkijat kytkivät auton koneoppimispohjaisen ajolinjasuunnittelijan rinnalle järjestelmän, joka kääntää mallin sisäisen tilan ihmisen luettaviksi käsitteiksi, kävi ilmi, ettei käsite "pyöräilijä" aktivoitunut lainkaan. Sen todennäköisyys jäi alle prosenttiin. Mallille ei ollut lainkaan syötetty pyöräilijöitä koskevaa tietoa, ja sen valitsemat ajolinjat olisivat johtaneet törmäykseen. Auto pysähtyi, koska erillinen sääntöpohjainen varajärjestelmä komensi jarrun pohjaan törmäyksen ollessa välitön.

Havainto on peräisin Nature-lehdessä syyskuun alussa julkaistusta tutkimuksesta, jonka takana ovat MIT:n tutkijat ja robottitakseja kehittävä Motional. Menetelmän nimi on Concept-Wrapper Network, lyhyemmin CW-Net. Kirjoittajiin kuuluu myös Motionalin toimitusjohtaja Laura Major. Ensimmäinen versio työstä ilmestyi arXiv-palvelimelle jo marraskuussa 2024, ja vertaisarvioitu versio ilmestyi nyt.

Mitä tulkittavuus oikeasti tarkoittaa

Neuroverkko on tilastollinen kone, joka muuntaa syötteen luvuiksi ja luvut ulostuloksi. Väliin jää miljoonia painokertoimia, joilla ei ole nimeä. Tulkittavuus tarkoittaa yritystä antaa niille nimi eli kääntää verkon sisäinen tila käsitteiksi, joita ihminen osaa lukea, kuten "lähestytään pysähtynyttä ajoneuvoa" tai "lähellä pyöräilijää".

Suurin osa alan menetelmistä tekee tämän jälkikäteen. Malli päättää ensin, ja erillinen selitysmalli arvaa jälkeenpäin, mihin päätös perustui. Selitys voi silloin olla uskottava ja silti väärä. CW-Net kääntää asetelman: käsiteluokitin istutetaan suunnittelijan sisään, ja lopullinen ajolinjapäätös pakotetaan nojaamaan juuri näihin käsitteisiin. Selitys on siis kiinni siinä, mitä auto oikeasti tekee.

Käsitteitä oli tutkimuksessa kahdeksan tai kymmenen aineistosta riippuen. Käsiteluokittimen opettamiseen käytettiin tutkimuksen mukaan 70,5–423 miljoonaa opetuspistettä, joista kullakin oli useita käsitemerkintöjä.

Oikea vastaus väärästä syystä

Testiradalla auto teki oikean asian. Se pysähtyi. Juuri siksi tilanne oli vaarallinen: turvakuljettaja rakensi havainnostaan mentaalimallin, joka oli väärä, ja väärä mentaalimalli pettää vasta silloin kun sitä eniten tarvittaisiin.

Vertaa opiskelijaan, joka saa kokeessa oikean vastauksen väärällä laskukaavalla. Opettaja näkee vain vastauksen ja päättelee, että asia on hallussa. Virhe paljastuu seuraavassa kokeessa, jossa luvut ovat erilaiset.

Koneoppimismalli käyttäytyy samalla tavalla. Se näyttää toimivalta niin kauan kuin tilanne muistuttaa opetusdataa. Kun tilanne poikkeaa siitä, oikea lopputulos katoaa ilman varoitusta, koska sitä ei koskaan tuottanut se syy, jonka ihminen kuvitteli. Suunnittelijamallin kannalta radalla ei ollut pyöräilijää, oli vain este, jota kohti ajolinja sattui kulkemaan.

Yksi kuljettaja radalla, sata ihmistä ruudun ääressä

Oikealla autolla tehty koe oli pieni. Turvakuljettajia oli yksi. Se riittää osoittamaan, että menetelmä pyörii aidossa ajoneuvossa, mutta ei siihen, että selitykset auttaisivat kuljettajia yleisesti.

Sitä varten tutkijat keräsivät aineistoa Las Vegasin yleisiltä teiltä ajamalla robottitaksia käsiajolla useita tunteja CW-Netin pyöriessä taustalla. Näistä tilanteista rakennettiin verkkokoe, johon osallistui 100 ihmistä, joista 99 läpäisi suodatuksen. Erillisessä mentaalimallien kartoituksessa oli mukana yhdeksän asiantuntijaa ja 30 maallikkoa.

Osallistujat ennustivat auton käyttäytymistä joko käsitepohjaisten selitysten tai pelkän liikedatan avulla. Ero oli selvin yllättävissä tilanteissa. Havainnoinnissa vaikutuksen koko oli Cohenin d 1,29, tilanteen ymmärtämisessä 0,996 ja tulevan käyttäytymisen ennustamisessa 0,606. Käyttäytymistutkimuksessa arvoa 0,8 pidetään yleensä suurena, joten kaksi ensimmäistä lukua ovat isoja.

Miksi tällä on väliä valvojalle

Robottitaksien hyväksyntä nojaa toistaiseksi lopputuloksiin. Ajettuja kilometrejä lasketaan, kolarit ja ihmisen puuttumiset kirjataan, ja niistä päätellään, onko järjestelmä riittävän hyvä. Testiradan pyöräilijä osoittaa mittarin ongelman. Tilastoon olisi kirjautunut onnistunut pysähdys, vaikka suunnittelija valitsi törmäyskurssin ja pelastus tuli varajärjestelmältä.

Suomessa automaattiajon kokeilut tehdään Traficomin myöntämillä luvilla, eikä maassa liikennöi kaupallisia robottitakseja. Kysymys koskee silti myös suomalaista matkustajaa ja pyöräilijää. Vakuutusyhtiö, poliisi ja onnettomuustutkinta joutuvat jonain päivänä vastaamaan siihen, mitä auto tiesi tilanteesta. Ilman käsitetason kirjanpitoa ainoa vastaus on tallenne siitä, mitä auto teki.

Kenny työskentelee nykyään J.P. Morgan Chasen tekoälytutkijana. Menetelmän pääkirjoittaja siirtyi siis autoista rahoitusalalle, ja sama ongelma seuraa perässä. Luottopäätöstä perusteleva malli voi tuottaa hyväksyttävän lopputuloksen syystä, jota kukaan ei ole tarkistanut, ja siellä väärästä syystä maksetaan hylätyillä hakemuksilla, joita kukaan ei osaa riitauttaa.