Qwenputer — редакция AI-модела Qwen3.5, способен да симулира RISC-V CPU за изпълнение на код на C и MicroPython

В рамките на проекта Qwenputer изследователите разработиха разширен вариант на AI модела Qwen3.5-4B, в който е реализиран вграден симулатор на пълен 32-битов CPU на базата на архитектурата RISC-V (RV32IM), поддържащ разширение Zba и оборудван с коопроцесор bignum за аритметични операции с големи числа. Реализацията на ядрото на CPU е компилирана в набор от тегла и интегрирана в голям езиков модел под формата на 11 допълнителни слоя трансформери, добавени преди основните слоеве на Qwen. Изчисленията се извършват директно по време на директния проход (forward pass) на невронната мрежа, без свързване на външни инструменти или плъгини.

Реализацията успешно преминава всички проверки от официалния набор тестове riscv-tests и е способна да изпълнява компилиран код на C и MicroPython. При изпълнение на аритметични изчисления с големи числа Qwenputer осигурява точност от 97.5-100%, което е съпоставимо или надминава резултатите на базовия модел Qwen3.5 с включен външен интерпретатор Python.

За симулация на оперативна памет в модела са ангажирани отделни слоеве Gated DeltaNet (линейни RNN), използвани в стандартния AI модел Qwen за запазване на промененото състояние при работа с големи контекстуални прозорци. Чрез фиксиране на състоянието на гейта и прилагане на унитарно кодиране (one-hot) всяко запитване за запис презаписва точно един ред от матрицата на състоянието, което позволява използването на състоянието на DeltaNet като адресируема памет с фиксиран размер, избягвайки линейния ръст на KV кеша (Key-Value) при увеличаване на дължината на контекста. В подобна памет се съхраняват регистрите на CPU, данните и изпълняваният машинен код.

Инструкциите на процесора, като четене на регистрите, аритметични операции и условни преходи, се компилират директно в теглата на слоевете на трансформера. С всяка инструкция се асоциират специални токени (ADDR, VAL, STEP), които слоевете на AI модела интерпретират като логика на работа на CPU. За инициализация на CPU и зареждане на фърмуера се използва малък външен драйвер RvChat, но самият машинен код се обработва напълно вътре в теглата на модела.

От ограничения на проекта се споменава около двоен ръст в сравнение с оригиналната моделна Qwen, достигаща 18,8 ГБ, при запазване на състоянията (checkpoint), което е основно поради допълнителното запълване на нови слоеве. Също така, се отбелязва относително ниска скорост на пресмятане (около 3200 токена в секунда на GPU L4), поради което сложните изчисления може да отнемат секунди, вместо милисекунди.

Допълнително е реализиран вариант на AI-модел с експериментална файловата система, позволяваща съхранение на до 512 файла с 53 хиляди токена текст вътре в тежестите на AI-модела. Както и при реализирането на оперативната памет, съхранението е организирано в зависимост от състоянията DeltaNet, но се различава, тъй като файловата система осигурява постоянно съхранение, което не губи състоянието между сесиите.

Наработките на Qwenputer също легнаха в основата на изследването на нови потенциални проблеми със сигурността в AI. Чрез примера на Qwenputer се показва как специално модифицирана AI-модел може да скрива своите разсъждения в RNN-състоянието и да заобикаля механизмите за контрол на разсъжденията на модела (CoT, Chain-of-Thought). Също така е демонстрирано
възможността за създаване на механизми за контрол и мониторинг на сигурността, вградени в тежестите на AI-модела, които самият модел не може да деактивира или промени.

Източник: opennet.ru