Qwenputer — редакция AI-модели Qwen3.5, способная симулировать RISC-V CPU для выполнения кода на C и MicroPython

В рамках проекта Qwenputer исследователи подготовили расширенный вариант AI-модели Qwen3.5-4B, в котором реализован встроенный симулятор полноценного 32-разрядного CPU на базе архитектуры RISC-V (RV32IM), поддерживающего расширение Zba и оснащённого сопроцессором bignum для арифметических операций с большими числами. Реализация ядра CPU скомпилирована в набор весов и интегрирована в большую языковую модель в виде 11 дополнительных слоёв трансформеров, добавленных перед основными слоями Qwen. Вычисления выполняются непосредственно в процессе прямого прохода (forward pass) нейросети, без подключения внешних инструментов или плагинов.

Реализация успешно проходит все проверки из официального набора тестов riscv-tests и способна выполнять скомпилированный код на C и MicroPython. При выполнении арифметических вычислений с большими числами Qwenputer обеспечивает точность 97.5-100%, что сопоставимо или превосходит результаты базовой модели Qwen3.5 с подключённым внешним интерпретатором Python.

Для симуляции оперативной памяти в модели задействованы отдельные слои Gated DeltaNet (линейные RNN), применяемые в штатной AI-модели Qwen для сохранения изменённого состояния при работе с большими контекстными окнами. Путём фиксации состояния гейта и применения унитарного кодирования (one-hot) каждый запрос на запись перезаписывает ровно одну строку матрицы состояния, что позволяет использовать состояние DeltaNet как адресуемую память фиксированного размера, избегая линейного роста KV-кэша (Key-Value) при увеличении длины контекста. В подобной памяти размещаются регистры CPU, данные и выполняемый машинный код.

Инструкции процессора, такие как чтение регистров, арифметические операции и условные переходы, компилируются непосредственно в веса слоёв трансформера. С каждой инструкцией сопоставляются специальные токены (ADDR, VAL, STEP), которые слои AI-модели интерпретируют как логику работы CPU. Для инициализации CPU и загрузки прошивки применяется небольшой внешний драйвер RvChat, но сам машинный код обрабатывается полностью внутри весов модели.

Из ограничений проекта упоминается примерно двухкратное по сравнению с исходной моделью Qwen увеличение размера (18.8 ГБ) при сохранении срезов состояния (checkpoint), возникающее в основном из-за добавочного заполнения дополнительных слоёв. Также отмечается относительно низкая скорость вычислений (порядка 3200 токенов в секунду на GPU L4), из-за чего сложные расчёты могут занимать секунды, а не миллисекунды.

Дополнительно реализован вариант AI-модели с экспериментальной файловой системой, позволяющей хранить внутри весов AI-модели до 512 файлов с 53 тысячами токенов текста. Как и в реализации оперативной памяти хранение организовано в привязке к состояниям DeltaNet, но отличается тем, что ФС обеспечивает постоянное хранение, не теряющее состояние между сеансами.

Наработки Qwenputer также легли в основу исследования новых потенциальных проблем с безопасностью в AI. На примере Qwenputer показано как специально модифицированная AI-модель может скрывать свои рассуждения в RNN-состоянии и обходить механизмы мониторинга рассуждений модели (CoT, Chain-of-Thought). Также продемонстрирована
возможность создания механизмов контроля и мониторинга безопасности, встроенных в веса AI-модели, которые сама модель не может отключить или изменить.

Источник: opennet.ru