Berkeleyn professori Yi Ma ja kollegat Sam Buchanan, Druv Pai ja Peng Wang julkaisivat 1. maaliskuuta version 2.0 oppikirjasta, joka käsittelee syväoppimisen teorian niin, että matemaattisesti suuntautunut perustutkinto-opiskelija pystyy seuraamaan. Kirjan otsikko on Principles and Practice of Deep Representation Learning: or a Mathematical Theory of Memory, ja koko teos on luettavissa ilmaiseksi Ma-Lab-Berkeleyn verkkosivuilta sekä arXivissa.
Miksi syväoppiminen toimii, ei vain miten
Tähän asti suurin osa syväoppimisen oppikirjoista on selittänyt, mitä neuroverkko tekee ja miten sitä koulutetaan, mutta ei sitä, miksi tietyt arkkitehtuurit toimivat. Yi Ma ja hänen ryhmänsä lähtevät toisesta päästä. He pitävät arkkitehtuurin suunnittelua optimointitehtävänä: jokainen verkkokerros on yksi iteraatio sellaisessa algoritmissa, joka pakkaa datan matalaulotteiseen rakenteeseen samalla kun se pitää eri käsitteet erillään.
Yhdistävää periaatetta kutsutaan nimellä rate reduction. Yi Man ryhmä julkaisi sen ensimmäisen muodon vuonna 2020 (MCR²) ja kehitti siitä myöhemmin CRATE-nimisen arkkitehtuurin. Kirjassa todistetaan, että transformerin self-attention-mekanismi voidaan johtaa rate reductionin koodausnopeustermin gradientista. Sama optimointiajattelu kattaa myös autoenkooderit: niiden harvaa koodausvaihetta vastaa kirjassa ISTA-pohjainen iteraatio.
Transformerit, diffuusiot ja autoenkooderit samaan ruutuun
Aiemmat tekstit käsittelevät perheen jäseniä erikseen. Ian Goodfellow'n klassikko Deep Learning (2016) keskittyy konvoluutio- ja toistoverkkoihin, Kevin Murphyn Probabilistic Machine Learning (2022–2023) lähestyy aihetta tilastollisesti. Yi Man tiimi väittää nyt, että transformerit, diffuusiomallit ja autoenkooderit ovat saman optimointiongelman eri ratkaisuja. Kirjan luvuissa 5 ja 6 käydään läpi, kuinka kukin arkkitehtuuri vastaa eri tapaa purkaa rate reduction -tavoitefunktio iteratiivisiksi kerroksiksi.
“Kun perimmäiset periaatteet on selvitetty, syväoppimisen arkkitehtuurien suunnittelu redusoituu perustutkintotason lineaarialgebraan ja differentiaalilaskentaan.”
Mitä tämä tarkoittaa suomalaiselle opetukselle
Aalto-yliopiston ja Helsingin yliopiston syväoppimiskursseilla on toistaiseksi tukeuduttu Goodfellow'n teokseen ja Stanfordin CS231n-luentomateriaaleihin. Ne ovat pedagogisesti hyviä, mutta painottavat empiriaa: katso miten ResNet voitti ImageNetin, katso miten transformer korvasi LSTM:n. Yi Man kirja antaa eri lähtökohdan. Jos opiskelija oppii rate reductionin ensin, hän näkee transformer-lohkot yhden optimointialgoritmin iteraatioina, ei mystisinä mustina laatikkoina.
Pyysin sähköpostitse kommenttia Helsingin yliopiston NLP-ryhmältä sekä Aallon Department of Computer Sciencen syväoppimisesta vastaavalta opetushenkilöstöltä. Vastauksia ei ehtinyt tämän jutun julkaisuhetkeen mennessä, ja päivitän tekstiä, kun saan kommentin. Käytännön kysymys ei ole, korvaako Yi Man kirja Goodfellow'n syksyllä 2026, vaan otetaanko se rinnalle valinnaiseksi syventäväksi materiaaliksi. Jälkimmäinen on rehellisesti sanottuna todennäköisempi ja samalla pedagogisesti hyödyllisin reitti.
Mistä kirjan saa
PDF: ma-lab-berkeley.github.io/deep-representation-learning-book. LaTeX-lähdekoodi GitHubissa repossa Ma-Lab-Berkeley/deep-representation-learning-book. Versio 2.0 julkaistiin 1. maaliskuuta 2026, ja arXiv-versio (2606.06624) ilmestyi 4. kesäkuuta.
Sanasto
Syväoppiminen
Koneoppimisen ala, jossa keinotekoiset neuroverkot koostuvat useista peräkkäisistä kerroksista. Suurin osa nykyisistä tekoälyläpimurroista – kuten ChatGPT ja kuvantunnistus – pohjaa syväoppimiseen.
Transformer
Vuonna 2017 esitelty neuroverkkoarkkitehtuuri, joka mullisti tekoälyn. Sen self-attention-mekanismi sallii mallin painottaa, mitkä syötteen osat ovat tärkeitä. Kaikki nykyiset kielimallit perustuvat siihen.
Diffuusiomalli
Tekoälytyyppi, joka oppii tuottamaan kuvia tai ääntä lisäämällä ja sitten poistamalla kohinaa harjoitusaineistosta. DALL-E ja Stable Diffusion ovat diffuusiomalleja.
Avoimuus on osa argumenttia
Yi Man ratkaisu julkaista LaTeX-lähdekoodi GitHubiin ei ole pelkkä julkaisustrategia. Se on osa kirjan argumenttia. Jos syväoppimisen toiminta voidaan kirjoittaa auki riittävän selkeästi, sen pitäisi olla yhtä avointa kuin lineaarialgebran oppikirja. Tämä asettaa paineen myös suljettujen mallien julkaisijoille. Kun perusteet ovat vapaasti luettavissa, on vaikeampi puolustaa väitettä, että vain harvat hallitsevat alaa.
Viikoittainen uutiskirje
Tule firmasi fiksuimmaksi AI-osaajaksi
Yksi uutiskirje kerrallaan. Kokoamme viikon tärkeimmät tekoälyuutiset suomeksi ja kerromme, mitä ne tarkoittavat sinun työsi kannalta. Luet sen kahvitauolla.
