В рамках проекта Qwenputer исследователи подготовили расширенный вариант AI-модели Qwen3.5-4B, в котором реализован встроенный симулятор полноценного 32-разрядного CPU на базе архитектуры RISC-V (RV32IM), поддерживающего расширение Zba и оснащённого сопроцессором bignum для арифметических операций с большими числами. Реализация ядра CPU скомпилирована в набор весов и интегрирована в большую языковую модель в виде 11 дополнительных слоёв трансформеров, добавленных перед основными слоями Qwen. Вычисления выполняются непосредственно в процессе прямого прохода (forward pass) нейросети, без подключения внешних инструментов или плагинов.
Реализация успешно проходит все проверки из официального набора тестов riscv-tests и способна выполнять скомпилированный код на C и MicroPython. При выполнении арифметических вычислений с большими числами Qwenputer обеспечивает точность 97.5-100%, что сопоставимо или превосходит результаты базовой модели Qwen3.5 с подключённым внешним интерпретатором Python.
Для симуляции оперативной памяти в модели задействованы отдельные слои Gated DeltaNet (линейные RNN), применяемые в штатной AI-модели Qwen для сохранения изменённого состояния при работе с большими контекстными окнами. Путём фиксации состояния гейта и применения унитарного кодирования (one-hot) каждый запрос на запись перезаписывает ровно одну строку матрицы состояния, что позволяет использовать состояние DeltaNet как адресуемую память фиксированного размера, избегая линейного роста KV-кэша (Key-Value) при увеличении длины контекста. В подобной памяти размещаются регистры CPU, данные и выполняемый машинный код.
Инструкции процессора, такие как чтение регистров, арифметические операции и условные переходы, компилируются непосредственно в веса слоёв трансформера. С каждой инструкцией сопоставляются специальные токены (ADDR, VAL, STEP), которые слои AI-модели интерпретируют как логику работы CPU. Для инициализации CPU и загрузки прошивки применяется небольшой внешний драйвер RvChat, но сам машинный код обрабатывается полностью внутри весов модели.
Omejitve projekta vključujejo približno dvakratno povečanje velikosti (18,8 GB) v primerjavi s prvotnim modelom Qwen ter ohranjanje točk stanja (checkpoint), kar je predvsem posledica dodatnega polnjenja dodatnih plasti. Prav tako se omenja relativno nizka hitrost izračunov (približno 3200 tokenov na sekundo na GPU L4), zaradi česar lahko zahtevni izračuni trajajo sekunde, namesto milisekund.
Dodatno je implementirana različica AI modela z eksperimentalnim datotečnim sistemom, ki omogoča shranjevanje do 512 datotek z 53 tisočimi tokeni besedila znotraj tež. Tako kot pri implementaciji RAM-a je shranjevanje organizirano v povezavi s stanji DeltaNet, vendar se razlikuje po tem, da FS zagotavlja trajno shranjevanje, ki ne izgubi stanja med seansami.
Dosežki Qwenputerja so prav tako postali osnova za raziskovanje novih potencialnih varnostnih težav v AI. Na primeru Qwenputerja je prikazano, kako lahko posebej modificiran AI model prikrije svoje razpravljanje v RNN stanju in se izogne mehanizmom za spremljanje razpravljanja modela (CoT, Chain-of-Thought). Prav tako je bilo prikazano
možnost ustvarjanja mehanizmov nadzora in spremljanja varnosti, vgrajenih v teže AI modela, ki jih sam model ne more izključiti ali spremeniti.
Izvor: opennet.ru
