V rámci projektu Qwenputer výskumníci pripravili rozšírenú verziu AI-modelu Qwen3.5-4B, ktorý obsahuje integrovaný simulátor plnohodnotného 32-bitového CPU na báze architektúry RISC-V (RV32IM), podporujúci rozšírenie Zba a vybavený koprocesorom bignum na aritmetické operácie s veľkými číslami. Implementácia jadra CPU bola skompilovaná do súboru váh a integrovaná do väčšieho jazykového modelu formou 11 dodatočných vrstiev transformátorov, pridaných pred základné vrstvy Qwen. Výpočty sa vykonávajú priamo počas procesu priameho prechodu (forward pass) neurónovej siete, bez pripojenia externých nástrojov alebo pluginov.
Implementácia úspešne prechádza všetkými testami z oficiálneho súboru testov riscv-tests a je schopná vykonávať skompilovaný kód v C a MicroPython. Pri vykonávaní aritmetických výpočtov s veľkými číslami Qwenputer zabezpečuje presnosť 97,5-100%, čo je porovnateľné alebo prevyšuje výsledky základného modelu Qwen3.5 s pripojeným externým interpretrátorom Python.
Na simuláciu operačnej pamäte v modeli sú využité samostatné vrstvy Gated DeltaNet (lineárne RNN), zamestnávané v štandardnom AI-modeli Qwen na uchovávanie zmeneného stavu pri práci s veľkými kontextovými oknami. Pevné uloženie stavu brány a aplikácia unitarne kódovania (one-hot) umožňuje, aby každý zápisový požiadavok prepísal presne jeden riadok matice stavu, čo umožňuje využívať stav DeltaNet ako adresovateľnú pamäť pevnej veľkosti, pričom sa vyhýba lineárnemu rastu KV-cache (Key-Value) pri zväčšovaní dĺžky kontextu. V podobnej pamäti sú umiestnené registre CPU, dáta a vykonávaný strojový kód.
Inštrukcie procesora, ako čítanie registrov, aritmetické operácie a podmienené skoky, sa kompilujú priamo do váh vrstiev transformátora. S každou inštrukciou sú spárované špeciálne tokeny (ADDR, VAL, STEP), ktoré vrstvy AI-modelu interpretujú ako logiku fungovania CPU. Na inicializáciu CPU a načítanie firmvéru sa používa malý externý ovládač RvChat, ale samotný strojový kód sa spracováva úplne v rámci váh modelu.
Medzi obmedzeniami projektu sa spomína približne dvojnásobné zvýšenie veľkosti (18,8 GB) v porovnaní s pôvodným modelom Qwen pri zachovaní snímok stavu (checkpoint), čo sa väčšinou pripisuje dodatočnému zaplneniu ďalších vrstiev. Takisto sa uvádza relatívne nízka rýchlosť výpočtov (okolo 3200 tokenov za sekundu na GPU L4), čo môže spôsobiť, že zložité výpočty trvajú sekundy, nie milisekundy.
Ďalšie varianty AI-modelu implementovali s experimentálnym súborovým systémom, ktorý umožňuje uchovávať vo váhach AI-modelu až 512 súborov s 53 000 tokenmi textu. Rovnako ako pri realizácii operačnej pamäte, je uloženie usporiadané v súvislosti so stavmi DeltaNet, ale odlišuje sa tým, že FS zabezpečuje trvalé uchovávanie, ktoré nestráca stav medzi reláciami.
Vyvinuté technológie Qwenputer tiež poslúžili ako základ pre výskum nových potenciálnych problémov s bezpečnosťou v AI. Na príklade Qwenputer sa ukazuje, ako môže špeciálne modifikovaný AI-model skrývať svoje úvahy v RNN stave a obchádzať mechanizmy monitorovania úvah modelu (CoT, Chain-of-Thought). Taktiež bola predvedená
možnosť vytvárania mechanizmov kontroly a monitorovania bezpečnosti, zabudovaných do váh AI-modelu, ktoré sama model nemôže vypnúť alebo zmeniť.
Zdroj: opennet.ru
