Adaptyv Bion automatisoitu laboratorio sai eteensä 1 320 proteiinisekvenssiä ilman tietoa siitä, kuka ne oli suunnitellut. Anthropic oli lähettänyt ne nimettöminä. Laboratorio käänsi sekvenssit DNA:ksi, valmisti proteiinit soluttomalla ilmentämisellä ja mittasi, tarttuvatko ne kohteisiinsa. Suunnittelija oli Claude.
Sidosproteiini on pieni proteiini, joka on suunniteltu tarttumaan tiukasti johonkin toiseen proteiiniin. Se on lääkekehityksen perusrakennuspalikka. Jos syöpäsolun pinnalla olevaan proteiiniin saadaan tarttumaan jotain riittävän tiukasti, siihen voidaan kiinnittää lääkeaine tai estää proteiinin toiminta kokonaan.
Osumaprosentti kertoo, kuinka moni suunnitelluista ehdokkaista oikeasti tarttuu kohteeseensa laboratoriossa. Alalla luku on tyypillisesti 10–15 prosenttia, eli lähes yhdeksän kymmenestä ehdokkaasta on hukkaan mennyttä laboratoriotyötä. Anthropicin 19. elokuuta julkaisemassa raportissa Claude ylsi 22,6–35,1 prosenttiin mallista ja ajotavasta riippuen. Osumia tuli 354 kappaletta, ja niitä syntyi 14 kohteeseen 15:stä.
Claude ohjasi työkaluja, joita kuka tahansa saa käyttää
Anthropicin julkaisu puhuu Clauden suunnittelemista proteiineista. Adaptyv Bion oma tapaustutkimus muotoilee asian tarkemmin. Claude ohjasi julkisesti saatavilla olevia proteiinisuunnittelun työkaluja: se valitsi menetelmät, kirjoitti ajot, suodatti tuhansista vaihtoehdoista lupaavimmat ja päätti, mitkä sekvenssit lähetetään laboratorioon.
Erottelu ei ole saivartelua. Samat työkalut ovat olleet kenen tahansa tutkijan ulottuvilla vuosia, ja juuri niillä on kilpailtu Adaptyvin omissa avoimissa kilpailuissa. Uutta on se, kuinka nopeasti ja kuinka vähällä ihmisohjauksella niitä käytettiin. Ajoaikaa oli 48 tuntia ja laskentaa enintään 12 500 Nvidian H100-suorittimen tuntia, ja ihmisen panos rajoittui käytännössä aloituskehotteeseen.
“Claude vaikuttaa yltäneen kokeneiden proteiinisuunnittelijoiden tasolle tai jopa ohittaneen heidät siinä, miten se ohjaa avoimesti saatavilla olevia suunnittelutyökaluja.”
Kaksi julkaisua, kaksi eri lukua
Yhtään henkilöä ei ole asetettu lukujen taakse. Anthropicin raportissa ei ole yhdenkään tutkijan sitaattia, eikä Adaptyvin tapaustutkimuksessa ole kirjoittajan nimeä. Kumpikaan osapuoli ei ole kommentoinut tuloksia julkisuudessa nimellään.
Numerotkaan eivät täsmää julkaisujen välillä. Anthropic kertoo 15 kohteesta ja nostaa esiin parhaat osumaprosentit ajotavoittain, 22,6–35,1. Adaptyv Bio puhuu 16 kohteesta ja ilmoittaa kokonaisosumaprosentiksi 26,8. Ero syntyy rajauksista: GDF-8 jätettiin pois mittausten laadun takia, ja maltoosia sitovaan proteiiniin ei saatu ainuttakaan toimivaa sidosta. Otsikkoluku 14 kohdetta 15:stä on siis luku, josta yksi kohde on jo poistettu.
Ilmentämisessä onnistui 95 prosenttia suunnitelmista, eli valtaosa sekvensseistä oli ylipäätään valmistettavissa. Koe tehtiin avoimena silmukkana: Claude ei nähnyt tuloksia eikä päässyt korjaamaan suunnitelmiaan niiden perusteella. Asetelma on tiukempi kuin useimmissa alan tuloksissa. Samalla se tarkoittaa, ettei kukaan tiedä, paljonko luvut paranisivat toisella kierroksella.
Riippumaton mittaaja, riippuvainen asetelma
Mittaukset teki Adaptyv Bio, ei Anthropic. Sillä on merkitystä, koska laboratoriossa mitattu sitoutuminen on aivan eri asia kuin mallin oma arvio omasta työstään. Riippumattomuus koskee kuitenkin mittausta, ei tutkimusasetelmaa. Anthropic valitsi kohteet, päätti ajot, valitsi lähetettävät suunnitelmat ja julkaisi tulokset. Vertailukohdiksi otetut kilpailut ovat samoja, joissa Adaptyv on itse ollut järjestäjänä.
Yhdessä kohteessa ero kilpailijoihin oli suuri. RBX1-proteiinia vastaan Claude ylsi 40 prosentin osumaan, kun Adaptyvin avoimeen kilpailuun lähetettyjen 245 ehdotuksen joukossa vastaava luku oli 3,7 prosenttia. Mallin paras ehdotus sitoutui tiukemmin kuin kilpailun voittanut suunnitelma. TREM2-kohteessa osumaprosentti oli 80, aiemmassa kilpailussa 38,3.



