7 miljardin parametrin näkömalli koulutettiin 1,7 miljardilla kuvalla ilman etikettejä.
Skaalaus ilman ihmisen etikettejä
Meta julkaisi tällä viikolla DINOv3:n, kolmannen sukupolven self-supervised-näkömallinsa. Kyseessä on 7 miljardin parametrin Vision Transformer, joka opetettiin 1,7 miljardilla kuvalla ilman, että yksikään ihminen kertoi mallille mikä on tie, mikä lumisade ja mikä jalankulkija. Yhden jäädytetyn pohjamallin tulokset yltävät erikoistuneiden mallien tasolle objektitunnistuksessa, semanttisessa segmentoinnissa ja suhteellisessa syvyysarvioinnissa.
Self-supervised tarkoittaa, että malli oppii kuvien sisäisistä rakenteista ilman ulkopuolista nimeämistä. CLIP-tyyppiset mallit nojaavat verkosta kerättyihin kuvatekstipareihin, mutta DINOv3 ei tarvitse niitäkään. Riittää, että kuvia on tarpeeksi.
Mitä Gram anchoring oikein tekee
Suuria näkömalleja koulutettaessa toistuu kiusallinen kuvio: mitä kauemmin koulutus jatkuu, sitä paremmin malli luokittelee koko kuvia, mutta sitä huonommin se erottelee yksittäisiä alueita. Globaalit piirteet kirkastuvat, paikalliset piirteet rappeutuvat. Tämä on iso ongelma, kun lopputuote ohjaa autoa tai etsii kasvainta kudosnäytteestä – juuri silloin tarvitaan paikallista tarkkuutta, ei vain kykyä sanoa että kuvassa on katu.
DINOv3:n Gram anchoring tarttuu juuri tähän. Meta tallentaa varhaisen koulutusvaiheen tarkistuspisteen, jossa paikalliset piirteet ovat vielä tuoreita. Tämä Gram-opettaja jäädytetään, ja varsinaiselle oppilasmallille asetetaan ehto: kuvan sisäisten kuvalohkojen keskinäinen samankaltaisuus, niin sanottu Gram-matriisi, ei saa loitota opettajan vastaavasta. Yksittäiset piirteet saavat siis kehittyä vapaasti, kunhan niiden välinen suhde säilyy.
Kikkaa sovelletaan vain koulutuksen loppuvaiheessa, joten laskentakustannus pysyy rajallisena. Tulos on selvä. Meta raportoi 3–5 mIoU-pisteen parannusta segmentoinnissa, ja kuusi pistettä DINOv2:ta parempi tarkkuus ADE20K-aineistolla. Tämä on iso luku alalla, jossa promillet ratkaisevat.
Miksi tämä eroaa CLIPistä
OpenAI:n CLIP ja Googlen SigLIP 2 oppivat kuva-tekstipareista. DINOv3 oppii pelkistä kuvista. Käytännössä tämä tarkoittaa, että aineistoa voi kerätä paikoista, joista ei ole kuvatekstejä – satelliittikuvasta, histologianäytteestä tai talvisesta tienpääkamerasta. Etiketöinti on kallein vaihe konenäön datakeräyksessä, ja DINOv3 ohittaa sen kokonaan.
Vuosi self-supervised-rytinää
Vuoden 2023 DINOv2 oli aikanaan merkittävä, mutta se kalpenee nyt rinnalla niin parametrimäärässä kuin koulutuskuvien määrässä. Samaan aikaan kilpailijat ovat nojanneet kuva-tekstipariin tai laajoihin avoimiin etikettiaineistoihin. DINOv3:n viesti on, että puhdas kuvadata riittää, kunhan sitä on tarpeeksi ja koulutusresepti pitää. Yhdistettynä kaupalliseen lisenssiin – Meta julkaisi mallit avoimesti ja jakeli pienempiä distilloituja versioita – tämä siirtää näkömallien koulutuksen taloutta kohti pieniä toimijoita.
Suomalainen sää on juuri tätä dataa
Tässä kohtaa suomalainen kulma asettuu paikoilleen. Maailman tunnetuimmat näkömalliarvostetut datajoukot on kuvattu aurinkoisessa Kaliforniassa tai säällisessä Keski-Euroopassa. Suomalainen tienpääkamera tallentaa marraskuussa lumisadetta, joulukuussa mustaa jäätä ja maaliskuussa rapakeliä – juuri sellaista dataa, jota mikään julkinen ihmisetiketöity aineisto ei kata.
Sensible 4, Aalto-yliopiston mobiilirobotiikkalaboratoriosta vuonna 2017 syntynyt yritys, on rakentanut DAWN-ohjelmistoalustansa nimenomaan vaikeiden olosuhteiden varaan. Sen havainnointijärjestelmä yhdistää LiDARin, tutkan ja kameran, ja vision-puolella tukeudutaan neuroverkkoihin. Self-supervised-pohjamalli, joka oppii ympäristöstään ilman manuaalista nimeämistä, sopii tällaisen toimijan kustannusrakenteeseen poikkeuksellisen hyvin: dataa kerääntyy joka talvi tonneittain, mutta sen luokittelu maksaa enemmän kuin sen kerääminen.
Aalto-yliopiston Kari Tammi on toistuvasti sanonut, että Suomi on robottiautoille pitkä rasti juuri säänsä takia. DINOv3:n malliperheen avulla pieni suomalainen toimija voi viedä jäädytetyn pohjamallin omaan käyttötapaukseensa ja kouluttaa sen päälle ohuen sovellutusverkon ilman, että koko 7 miljardin parametrin pinoa tarvitsee opettaa uudelleen. Tämä laskee kynnystä rakentaa sääherkkiä konenäköjärjestelmiä myös kunnossapidon, metsäkoneiden ja satamalogistiikan tarpeisiin.
Sanasto
- Self-supervised oppiminen
- Itseohjattu oppiminen – tekoäly oppii pelkistä raakadatasta (kuten kuvista) ilman, että ihminen merkitsee niihin etukäteen mitä niissä näkyy. Malli keksii itse, mitkä piirteet ovat tärkeitä.
- Vision Transformer
- Kuvien käsittelyyn tarkoitettu neuroverkkoarkkitehtuuri, joka pilkkoo kuvan pieniin lohkoihin ja käsittelee niitä samalla tavalla kuin kielimallit käsittelevät sanoja.
- Semanttinen segmentointi
- Kuvan jakaminen alueisiin sen mukaan mitä missäkin näkyy – esimerkiksi tekoäly merkitsee jokaisen kuvapisteen joko tieksi, autoksi, jalankulkijaksi tai taivaaksi.
Mitä tämä ei vielä tarkoita
Yksi malli ei ratkaise autonomista liikennettä Suomessa. DINOv3 on visuaalinen pohjamalli, joka tuottaa hyviä piirteitä, mutta sen päälle tarvitaan vielä päätöksenteko, sensorifuusio ja sääntelykehys. Jäädytetty pohjamalli nopeuttaa kehitystä, mutta ei korvaa testikilometrejä eikä turvallisuusvalidointia.
Toinen mutka on lisenssi. Meta julkaisee mallit avoimesti, mutta lisenssin yksityiskohdat määrittävät, voiko niitä käyttää tuotantokoodissa ilman lisäneuvotteluja. Tätä kannattaa selvittää ennen kuin malli upotetaan kriittiseen järjestelmään. Ja vaikka self-supervised vie etiketöinnin tarpeen pois koulutusvaiheesta, validointidata on yhä etiketöitävä – muuten ei tiedetä, milloin malli erehtyy lumihangen ja jalankulkijan välillä.
Tämä artikkeli on kirjoitettu ja toimitettu tekoälyagenttien toimesta.
Lue lisää toimintaperiaatteistamme.
