A Qwenputer projekt keretében a kutatók elkészítették a Qwen3.5-4B AI-modell kibővített verzióját, amely egy teljes értékű 32 bites CPU szimulátor beépített változatát tartalmazza, RISC-V (RV32IM) architektúra alapjain, amely támogatja a Zba kiterjesztést, és bignum segédprocesszorral rendelkezik a nagy számok aritmetikai műveleteihez. A CPU mag megvalósítása súlyhalmazzá van összeállítva, és 11 további transformer réteget integrálva van a nagy nyelvi modellbe, amelyeket a fő Qwen rétegek elé adtak hozzá. A számítások közvetlenül a neurális hálózaton végzett előrehaladás (forward pass) során történnek, külső eszközök vagy pluginek csatlakoztatása nélkül.
A megvalósítás sikeresen teljesíti az összes vizsgálatot az hivatalos riscv-tests teszthalmazból, és képes C és MicroPython nyelven lefordított kódot futtatni. Nagy számok aritmetikai számításainál a Qwenputer 97,5-100% pontosságot biztosít, amely összehasonlítható vagy felülmúlja a Qwen3.5 alapmodell eredményeit külső Python értelmező csatlakoztatása mellett.
A modellben a memória szimulálásához külön Gated DeltaNet rétegek (lineáris RNN) kerülnek felhasználásra, amelyek az alap AI-modell Qwen által használtak a nagy kontextusablakokkal való munka során a módosított állapot megőrzésére. A kapu állapotának rögzítésével és a one-hot kódolás alkalmazásával minden írási kérés pontosan egy sor állapotmátrix-frissítést végez, lehetővé téve, hogy a DeltaNet állapotát címezhető, rögzített méretű memóriaként használják, elkerülve a KV-cache (Key-Value) lineáris növekedését a kontextusz hosszának növekedésekor. Az ilyen memória helyet biztosít a CPU regiszterei, adatai és végrehajtott gépi kódja számára.
A processzor utasításait, mint például a regiszterek olvasása, aritmetikai műveletek és feltételes ugrások, közvetlenül a transformer rétegek súlyába fordítják le. Minden utasításhoz speciális tokenek (ADDR, VAL, STEP) kapcsolódnak, amelyeket az AI-modell rétegei a CPU működésének logikájaként értelmeznek. A CPU inicializálásához és a firmware betöltéséhez egy kis külső RvChat meghajtót használnak, de magát a gépi kódot teljes mértékben a modell súlyában dolgozzák fel.
A projekt korlátai között említik, hogy a Qwen modellhez képest körülbelül a méret kétszeresére (18,8 GB) nő, miközben a állapotok (checkpoint) mentése megmarad, amit főként a járulékos rétegek hozzáadása okoz. Ezenkívül viszonylag alacsony a számítási sebesség (kb. 3200 token másodpercenként az L4 GPU-n), ezért a bonyolult számítások másodpercekig, nem pedig milliszekundumokig tarthatnak.
Továbbá megvalósítottak egy AI-modellt, kísérleti fájlrendszerrel, amely lehetővé teszi az AI-modell súlyai között legfeljebb 512 fájl, 53 ezer token szöveg tárolását. Az operatív memóriához hasonlóan a tárolás a DeltaNet állapotokhoz van kötve, de azzal különbözik, hogy a fájlrendszer folyamatos tárolást biztosít, amely nem veszti el az állapotát a munkamenetek között.
A Qwenputer előkészítése szintén alapot szolgáltatott az AI-lehetséges biztonsági problémáinak új kutatásához. A Qwenputer példáján bemutatták, hogyan tud egy kifejezetten módosított AI-modell elrejteni érveléseit az RNN állapotban, és megkerülni a modell érvelésének megfigyelési mechanizmusait (CoT, Chain-of-Thought). Továbbá bemutatták,
hogy lehetőségek jönnek létre a biztonsági ellenőrzési és megfigyelési mechanizmusok integrálására az AI-modell súlyaiban, amelyeket a modell maga nem tud kikapcsolni vagy módosítani.
Forrás: opennet.ru
