Osana Qwenputer-projektia tutkijat kehittivät laajennetun version Qwen3.5-4B-tekoälymallista, joka toteuttaa täysimittaisen 32-bittisen suorittimen sulautetun simulaattorin RISC-V-arkkitehtuurin (RV32IM) pohjalta, tukee Zba-laajennusta ja on varustettu bignum-apuprosessorilla suurten lukujen aritmetiikkaa varten. Suorittimen ytimen toteutus käännetään joukoksi painoja ja integroidaan suurempaan kielimalliin 11 lisämuuntokerroksena, jotka lisätään ennen Qwen-pääkerroksia. Laskennat suoritetaan suoraan neuroverkon eteenpäin suuntautuvan kierron aikana ilman ulkoisia työkaluja tai laajennuksia.
Toteutus läpäisee kaikki virallisen riscv-tests-paketin testit ja pystyy suorittamaan käännettyä C- ja MicroPython-koodia. Suoritettaessa aritmeettisia laskutoimituksia suurilla luvuilla Qwenputer saavuttaa 97.5–100 %:n tarkkuuden, joka on verrattavissa tai parempi kuin Qwen3.5-perusmalli ulkoisella Python-tulkilla.
RAM-muistin simulointiin malli käyttää erillisiä Gated DeltaNet -kerroksia (lineaarisia RNN-verkkoja), joita käytetään Qwenin tekoälymallissa muokatun tilan säilyttämiseksi työskenneltäessä suurten konteksti-ikkunoiden kanssa. Lukitsemalla porttitilan ja käyttämällä yhden latauksen koodausta jokainen kirjoituspyyntö korvaa täsmälleen yhden rivin tilamatriisista, jolloin DeltaNet-tilaa voidaan käyttää kiinteän kokoisena osoitteellisena muistina, välttäen avain-arvo (KV) -välimuistin lineaarisen kasvun kontekstin pituuden kasvaessa. Tämä muisti sisältää suorittimen rekistereitä, dataa ja suoritettavaa konekoodia.
Suorittimen käskyt, kuten rekisterien luku, aritmeettiset operaatiot ja ehdolliset hypyt, käännetään suoraan muuntajakerroksen painoihin. Jokainen käsky liittyy erityisiin tokeneihin (ADDR, VAL, STEP), jotka tekoälymallikerrokset tulkitsevat suorittimen logiikaksi. Pieni ulkoinen ajuri, RvChat, alustetaan suorittimessa ja ladataan laiteohjelmisto, mutta itse konekieli käsitellään kokonaan mallin painojen sisällä.
Projektin rajoituksiin kuuluu noin kaksinkertainen koon kasvu (18.8 Gt) alkuperäiseen Qwen-malliin verrattuna tilaviipaleita (tarkistuspisteitä) säilytettäessä, mikä johtuu pääasiassa lisäkerrosten täyttämisestä. Myös suhteellisen hidas laskentanopeus havaitaan (noin 3 200 tokenia sekunnissa L4-grafiikkasuorittimella), mikä tarkoittaa, että monimutkaiset laskelmat voivat kestää sekunteja millisekuntien sijaan.
Lisäksi tekoälymallista toteutettiin kokeellisella tiedostojärjestelmällä varustettu variantti, joka mahdollistaa jopa 512 tiedoston ja 53 000 tekstitokenin tallentamisen tekoälymallin painojen puitteissa. Kuten RAM-toteutuksessa, tallennus on järjestetty DeltaNet-tilojen perusteella, mutta erona on, että tiedostojärjestelmä tarjoaa pysyvän tallennuksen, joka ei menetä tilaa istuntojen välillä.
Qwenputerin työ muodosti myös pohjan tekoälyn uusien mahdollisten tietoturvaongelmien tutkimukselle. Qwenputerin esimerkkinä käyttäen osoitettiin, kuinka erityisesti muokattu tekoälymalli voi piilottaa päättelynsä RNN-tilassa ja ohittaa mallin päättelyn valvontamekanismit (CoT, Chain-of-Thought). Se osoitettiin myös
kyky luoda tekoälymallin painoihin sisäänrakennettuja tietoturvan valvonta- ja valvontamekanismeja, joita malli itse ei voi poistaa käytöstä tai muokata.
Lähde: opennet.ru
