Qwenputerプロジェクトの一環として、研究者らはQwen3.5-4B AIモデルの拡張版を開発しました。この拡張版は、RISC-Vアーキテクチャ（RV32IM）に基づく本格的な32ビットCPUの組み込みシミュレータを実装しており、Zba拡張機能をサポートし、大規模演算用のbignumコプロセッサを備えています。CPUカーネルの実装は重みセットにコンパイルされ、メインのQwenレイヤーの前に追加された11層のトランスフォーマーとして、より大きな言語モデルに統合されます。計算は、外部ツールやプラグインを必要とせず、ニューラルネットワークの順伝播中に直接実行されます。
この実装は、公式のriscv-testsスイートに含まれるすべてのテストに合格し、コンパイル済みのC言語およびMicroPythonコードを実行できます。大きな数値を用いた算術計算では、Qwenputerは97.5～100%の精度を達成しており、これは外部Pythonインタープリタを使用したベースラインのQwen3.5モデルと同等かそれ以上の精度です。
RAMをシミュレートするために、このモデルは、標準的なQwen AIモデルで大きなコンテキストウィンドウを扱う際に変更された状態を保持するために使用されている、独立したゲート付きDeltaNetレイヤー（線形RNN）を利用します。ゲート状態をロックし、ワンホットエンコーディングを使用することで、各書き込み要求は状態マトリックスの正確に1行を上書きし、DeltaNet状態を固定サイズのアドレス指定可能なメモリとして使用できるようにします。これにより、コンテキスト長の増加に伴うキーバリュー（KV）キャッシュの線形増加を回避できます。このメモリには、CPUレジスタ、データ、および実行可能なマシンコードが格納されます。
レジスタ読み取り、算術演算、条件分岐などのプロセッサ命令は、トランスフォーマー層の重みに直接コンパイルされます。各命令には、AIモデル層がCPUロジックとして解釈する特殊なトークン（ADDR、VAL、STEP）が関連付けられています。CPUの初期化とファームウェアのロードには、小型の外部ドライバであるRvChatが使用されますが、マシンコード自体はモデル重み内で完全に処理されます。
このプロジェクトの制約としては、状態スライス（チェックポイント）を保持する場合、元のQwenモデルと比較してサイズが約2倍（18.8GB）に増加することが挙げられます。これは主に、追加レイヤーによるパディングの増加が原因です。また、計算速度も比較的遅く（L4 GPUで毎秒約3200トークン）、複雑な計算にはミリ秒ではなく秒単位の時間がかかる場合があります。
さらに、実験的なファイルシステムを備えたAIモデルのバリアントが実装され、AIモデルの重み内に最大512個のファイル（テキストトークン53個）を保存できるようになりました。RAM実装と同様に、ストレージはDeltaNetの状態に基づいて構成されますが、FSはセッション間で状態が失われない永続ストレージを提供する点で異なります。
Qwenputerの研究は、AIにおける新たな潜在的なセキュリティ問題の研究の基礎ともなった。Qwenputerを例として、特別に改変されたAIモデルがRNNの状態に推論を隠蔽し、モデル推論監視メカニズム（CoT、Chain-of-Thought）を回避できることが実証された。
AIモデルの重みに組み込まれたセキュリティ制御および監視メカニズムを作成する能力。これらのメカニズムは、モデル自体が無効化または変更することはできません。
出所： オープンネット.ru
