Qwenputer — die AI-Modellversion Qwen3.5, die in der Lage ist, einen RISC-V CPU zu simulieren, um Code in C und MicroPython auszuführen

Im Rahmen des Projekts Qwenputer haben Forscher eine erweiterte Version des KI-Modells Qwen3.5-4B entwickelt, die einen integrierten Simulator einer vollwertigen 32-Bit-CPU auf Basis der RISC-V-Architektur (RV32IM) umfasst. Diese unterstützt die Erweiterung Zba und ist mit einem Bignum-Coprozessor für arithmetische Operationen mit großen Zahlen ausgestattet. Die Implementierung des CPU-Kerns wurde in ein Gewichtssatz kompiliert und in ein großes Sprachmodell integriert, indem 11 zusätzliche Transformatorschichten vor den Hauptschichten von Qwen hinzugefügt wurden. Die Berechnungen erfolgen direkt im Verlauf des neuronalen Netzwerks, ohne externe Werkzeuge oder Plugins zu verwenden.

Die Implementierung besteht alle Tests des offiziellen Testsets riscv-tests und kann kompilierten Code in C und MicroPython ausführen. Bei der Durchführung von arithmetischen Berechnungen mit großen Zahlen bietet Qwenputer eine Genauigkeit von 97,5-100 %, was mit den Ergebnissen des Basismodells Qwen3.5 mit angeschlossenem externen Python-Interpreter vergleichbar oder besser ist.

Für die Simulation des Arbeitsspeichers in dem Modell werden separate Schichten von Gated DeltaNet (lineare RNN) verwendet, die in der Standard-KI-Modell Qwen implementiert sind, um den geänderten Zustand bei der Verarbeitung großer Kontextfenster zu speichern. Durch die Fixierung des Gate-Zustands und die Anwendung von One-Hot-Codierung wird jede Schreibanforderung genau eine Zeile der Zustandsmatrix überschreiben, was es ermöglicht, den DeltaNet-Zustand als adressierbaren Speicher fester Größe zu nutzen und ein lineares Wachstum des KV-Caches (Key-Value) bei zunehmender Kontextlänge zu vermeiden. In einem solchen Speicher werden die CPU-Register, Daten und der ausführbare Maschinencode untergebracht.

Die Prozessoranweisungen, wie das Lesen von Registern, arithmetische Operationen und bedingte Sprünge, werden direkt in die Gewichte der Transformatorschichten kompiliert. Jede Anweisung wird mit speziellen Tokens (ADDR, VAL, STEP) verknüpft, die von den Schichten des KI-Modells als Logik des CPU-Betriebs interpretiert werden. Zur Initialisierung der CPU und zum Laden der Firmware wird ein kleiner externer Treiber namens RvChat verwendet, aber der Maschinencode wird vollständig innerhalb der Gewichte des Modells verarbeitet.

In den Einschränkungen des Projekts wird eine etwa doppelte Vergrößerung im Vergleich zum Originalmodell Qwen erwähnt (18,8 GB) bei der Speicherung von Zustandsschnitten (Checkpoint), die hauptsächlich durch zusätzliches Filling von weiteren Schichten verursacht wird. Es wird auch eine relativ niedrige Rechenleistung festgestellt (ca. 3200 Tokens pro Sekunde auf GPU L4), weshalb komplexe Berechnungen möglicherweise Sekunden statt Millisekunden in Anspruch nehmen können.

Zusätzlich wurde eine Variante des KI-Modells mit einem experimentellen Dateisystem implementiert, das es ermöglicht, bis zu 512 Dateien mit 53.000 Tokens Text innerhalb der Gewichte des KI-Modells zu speichern. Wie im RAM ist die Speicherung an die Zustände von DeltaNet gebunden, unterscheidet sich jedoch darin, dass das FS eine dauerhafte Speicherung bietet, die den Zustand zwischen den Sitzungen nicht verliert.

Die Entwicklungen von Qwenputer flossen auch in die Untersuchung neuer potenzieller Sicherheitsprobleme in KI ein. Am Beispiel von Qwenputer wird gezeigt, wie ein speziell modifiziertes KI-Modell seine Überlegungen im RNN-Zustand verbergen und die Überwachungsmechanismen der Modellüberlegungen (CoT, Chain-of-Thought) umgehen kann. Es wurde ebenfalls demonstriert,
wie Mechanismen zur Kontrolle und Überwachung der Sicherheit erstellt werden können, die in die Gewichte des KI-Modells integriert sind und die das Modell selbst nicht deaktivieren oder ändern kann.

Quelle: opennet.ru