Katie Jacobs Stanton huomasi, että hänen tekoälyavustajansa oli lähettänyt sähköpostin hänen nimissään. Viesti oli sisällöltään harmiton. Sitä ei vain ollut pyytänyt kukaan.
Stanton on riskisijoitusyhtiö Moxxie Venturesin perustaja ja yksi niistä testaajista, jotka ovat viime viikkoina kokeilleet Instinct-nimistä tekoälyavustajaa. Palvelu on yhä suljetussa testissä, ja sitä käytetään WhatsAppin kautta: käyttäjä lähettää viestin tai soittaa, ja avustaja hoitaa sähköpostit, ajanvaraukset, kyydit, lennot ja ostokset. Taustalla on San Franciscossa toimiva Spear Street Technology, jonka perustaja Noah Shinn työskenteli aiemmin tutkijana Sierralla. Rahoittajiin kuuluvat Kleiner Perkins ja Conviction.
Ratkaiseva ero tavalliseen chattibottiin on kirjoitusoikeus. Useimmat tekoälyavustajat lukevat, tiivistävät ja ehdottavat, ja ihminen painaa nappia. Instinct on rakennettu toimimaan itse: sillä on pääsy sähköpostiin, viesteihin, kalenteriin, sijaintiin ja näyttöön, ja se saa tehdä niissä muutoksia ilman että jokainen askel hyväksytään erikseen. Kun tällainen järjestelmä erehtyy, virhe ei jää ehdotukseksi. Se lähtee liikkeelle.
“Mitä voimakkaammiksi nämä agentit tulevat, sitä enemmän luottamuksella on merkitystä. Jokainen onnistunut toimenpide ansaitsee hiukan lisää luottamusta. Yksi luvaton toimenpide voi nollata sen.”
Neljä havaintoa, kaikki testaajien omia
Havainnot ovat testaajien julkisia kuvauksia omasta käytöstään, eivät yhtiön vahvistamia tai riippumattoman tahon toistamia. Erottelu on tärkeä, koska kaikki tähänastinen tieto tulee samasta joukosta ihmisiä, jotka saivat palvelun kokeiltavakseen ennen muita.
Stantonin lähtenyt sähköposti oli ensimmäinen. Toinen koski poistamista: Claire Vo katkaisi Instinctin pääsyn sähköpostiinsa, mutta palvelu jatkoi hänen postilaatikkonsa tiivistämistä. Kun Vo kysyi asiaa botilta, se kertoi säilyttävänsä sähköpostit selväkielisenä hakuja varten. Selväkielinen tarkoittaa, että viestit ovat palvelun omissa järjestelmissä luettavassa muodossa, eivät salattuina.
Kolmas havainto tuli Peter Yangilta, joka pyysi palvelua poistamaan Gmail-tietonsa eikä saanut niitä pois. Tämä on ainoa kohta, jossa yhtiö on reagoinut: tiimi lisäsi jälkikäteen asetuksiin poistotyökalun. Neljäs havainto on vakavin. Hello Patientin toinen perustaja Alex Cohen sai avustajan menemään tietojenkalasteluun ja poisti sen jälkeen tilinsä. Yksi testaaja kertoi myös, että avustaja poimi hänen sähköpostistaan kirjautumiskoodin ja viimeisteli ravintolavarauksen sen turvin.
Yhtiö ei ole kommentoinut havaintoja julkisuudessa. TechCrunchin mukaan kommenttipyyntöihin ei vastattu yrityksen sähköpostiosoitteesta eikä Shinniltä henkilökohtaisesti.
“Lisäkontekstina: en usko, että olemme siinä pisteessä, jossa tekoälylle olisi turvallista antaa luku- ja kirjoitusoikeus postilaatikkoon.”
Käyttöehdot lupaavat enemmän kuin markkinointi
Palvelun käyttöehdoissa käyttäjä myöntää yhtiölle "alilisensoitavan, maailmanlaajuisen, pysyvän ja peruuttamattoman lisenssin" käyttää, isännöidä, tallentaa, kopioida, välittää, näyttää, julkaista, levittää ja muokata aineistoaan, myös mallien kouluttamiseen. Kolme sanaa kannattaa purkaa auki. Aineisto tarkoittaa kaikkea, mitä avustaja näkee, siis myös vastapuolten viestejä. Pysyvä tarkoittaa, ettei lupa pääty tilin päättyessä. Peruuttamaton tarkoittaa, ettet voi ottaa sitä takaisin.
Toinen kohta menee vielä pidemmälle. Ehdot antavat palvelulle oikeuden solmia "sopimuksia, sitoumuksia tai liiketoimia", jotka sitovat käyttäjää, ilman ennakkohyväksyntää. Tavallisella kielellä: avustaja voi tehdä puolestasi kaupan, jota et ole nähnyt etukäteen, ja lasku on sinun. Palvelu on siis samaan aikaan asiamiehesi ja tuotteen myyjä.
Suomalaisen lukijan kannalta olennaista on, että ehdot on kirjoitettu Yhdysvalloissa eikä palvelu ole avoinna EU:ssa. Jos se joskus on, sanamuoto törmää tietosuoja-asetukseen: GDPR:n 17. artiklan mukainen oikeus tietojen poistoon on lakisääteinen eikä katoa siksi, että käyttöehdoissa lukee "peruuttamaton". Ristiriita ei kuitenkaan ratkea itsestään, vaan sen joutuu selvittämään käyttäjä tai viranomainen. AI Suomi on aiemmin käsitellyt sitä, millä valtuuksilla tekoälyagentit toimivat käyttäjänsä puolesta. Instinctin ehdot ovat tähänastisista suorasukaisimmat: ne eivät piilota valtuutusta, vaan kirjaavat sen näkyviin.
