Sebagai bagian dari proyek Qwenputer, para peneliti mengembangkan versi yang diperluas dari model AI Qwen3.5-4B, yang mengimplementasikan simulator tertanam dari CPU 32-bit lengkap berdasarkan arsitektur RISC-V (RV32IM), mendukung ekstensi Zba dan dilengkapi dengan koprosesor bignum untuk aritmatika bilangan besar. Implementasi kernel CPU dikompilasi menjadi serangkaian bobot dan diintegrasikan ke dalam model bahasa yang lebih besar sebagai 11 lapisan transformer tambahan yang ditambahkan sebelum lapisan Qwen utama. Komputasi dilakukan langsung selama proses forward pass jaringan saraf, tanpa memerlukan alat atau plugin eksternal.
Implementasi ini berhasil melewati semua pengujian dalam rangkaian pengujian resmi riscv-tests dan mampu mengeksekusi kode C dan MicroPython yang telah dikompilasi. Saat melakukan perhitungan aritmatika dengan angka besar, Qwenputer mencapai akurasi 97.5-100%, yang setara atau lebih baik daripada model dasar Qwen3.5 dengan interpreter Python eksternal.
Untuk mensimulasikan RAM, model ini menggunakan lapisan Gated DeltaNet terpisah (RNN linier), yang digunakan dalam model AI Qwen standar untuk mempertahankan status yang dimodifikasi saat bekerja dengan jendela konteks yang besar. Dengan mengunci status gerbang dan menggunakan pengkodean one-hot, setiap permintaan penulisan menimpa tepat satu baris matriks status, memungkinkan status DeltaNet digunakan sebagai memori yang dapat diakses dengan ukuran tetap, menghindari pertumbuhan linier cache Key-Value (KV) seiring bertambahnya panjang konteks. Memori ini mengakomodasi register CPU, data, dan kode mesin yang dapat dieksekusi.
Instruksi prosesor, seperti pembacaan register, operasi aritmatika, dan lompatan bersyarat, dikompilasi langsung ke dalam bobot lapisan transformer. Setiap instruksi dikaitkan dengan token khusus (ADDR, VAL, STEP), yang diinterpretasikan oleh lapisan model AI sebagai logika CPU. Sebuah driver eksternal kecil, RvChat, digunakan untuk menginisialisasi CPU dan memuat firmware, tetapi kode mesin itu sendiri diproses sepenuhnya di dalam bobot model.
Keterbatasan proyek ini mencakup peningkatan ukuran sekitar dua kali lipat (18.8 GB) dibandingkan dengan model Qwen asli saat mempertahankan potongan status (checkpoint), terutama karena penambahan padding pada lapisan tambahan. Kecepatan komputasi yang relatif rendah juga dicatat (sekitar 3200 token per detik pada GPU L4), yang berarti perhitungan kompleks dapat memakan waktu beberapa detik, bukan milidetik.
Selain itu, varian model AI diimplementasikan dengan sistem file eksperimental, yang memungkinkan penyimpanan hingga 512 file dengan 53 token teks di dalam bobot model AI. Seperti halnya implementasi RAM, penyimpanan diatur berdasarkan status DeltaNet, tetapi berbeda karena FS menyediakan penyimpanan persisten yang tidak kehilangan status antar sesi.
Karya Qwenputer juga menjadi dasar penelitian tentang potensi masalah keamanan baru dalam AI. Dengan menggunakan Qwenputer sebagai contoh, ditunjukkan bagaimana model AI yang dimodifikasi secara khusus dapat menyembunyikan penalaran dalam keadaan RNN dan melewati mekanisme pemantauan penalaran model (CoT, Chain-of-Thought). Hal ini juga ditunjukkan.
Kemampuan untuk menciptakan mekanisme kontrol dan pemantauan keamanan yang terintegrasi ke dalam bobot model AI yang tidak dapat dinonaktifkan atau dimodifikasi oleh model itu sendiri.
Sumber: opennet.ru
