Trong khuôn khổ dự án Qwenputer, các nhà nghiên cứu đã phát triển một phiên bản mở rộng của mô hình AI Qwen3.5-4B, triển khai một trình mô phỏng nhúng của CPU 32-bit hoàn chỉnh dựa trên kiến trúc RISC-V (RV32IM), hỗ trợ phần mở rộng Zba và được trang bị bộ xử lý phụ bignum cho các phép toán số lớn. Việc triển khai nhân CPU được biên dịch thành một tập hợp các trọng số và được tích hợp vào một mô hình ngôn ngữ lớn hơn dưới dạng 11 lớp transformer bổ sung được thêm vào trước các lớp Qwen chính. Các phép tính được thực hiện trực tiếp trong quá trình truyền tiến của mạng nơ-ron, mà không cần đến các công cụ hoặc plugin bên ngoài.
Phiên bản này đã vượt qua thành công tất cả các bài kiểm tra trong bộ kiểm thử chính thức riscv-tests và có khả năng thực thi mã C và MicroPython đã biên dịch. Khi thực hiện các phép tính số học với số lớn, Qwenputer đạt độ chính xác từ 97.5-100%, tương đương hoặc tốt hơn so với mô hình Qwen3.5 cơ bản sử dụng trình thông dịch Python bên ngoài.
Để mô phỏng RAM, mô hình sử dụng các lớp Gated DeltaNet riêng biệt (RNN tuyến tính), được sử dụng trong mô hình AI Qwen tiêu chuẩn để bảo toàn trạng thái đã sửa đổi khi làm việc với các cửa sổ ngữ cảnh lớn. Bằng cách khóa trạng thái cổng và sử dụng mã hóa one-hot, mỗi yêu cầu ghi sẽ ghi đè chính xác một hàng của ma trận trạng thái, cho phép trạng thái DeltaNet được sử dụng như bộ nhớ có thể truy cập với kích thước cố định, tránh sự tăng trưởng tuyến tính của bộ nhớ đệm Key-Value (KV) khi độ dài ngữ cảnh tăng lên. Bộ nhớ này chứa các thanh ghi CPU, dữ liệu và mã máy có thể thực thi.
Các lệnh xử lý, chẳng hạn như đọc thanh ghi, các phép toán số học và các lệnh nhảy có điều kiện, được biên dịch trực tiếp vào trọng số của lớp biến đổi. Mỗi lệnh được liên kết với các mã thông báo đặc biệt (ADDR, VAL, STEP), mà các lớp mô hình AI diễn giải là logic CPU. Một trình điều khiển bên ngoài nhỏ, RvChat, được sử dụng để khởi tạo CPU và tải phần mềm, nhưng bản thân mã máy được xử lý hoàn toàn bên trong trọng số của mô hình.
Những hạn chế của dự án bao gồm kích thước tăng gấp đôi (18.8 GB) so với mô hình Qwen gốc khi lưu giữ các lát cắt trạng thái (điểm kiểm tra), chủ yếu là do việc thêm phần đệm của các lớp bổ sung. Tốc độ tính toán tương đối chậm cũng được ghi nhận (khoảng 3200 token mỗi giây trên GPU L4), có nghĩa là các phép tính phức tạp có thể mất vài giây thay vì vài mili giây.
Ngoài ra, một biến thể của mô hình AI đã được triển khai với hệ thống tệp thử nghiệm, cho phép lưu trữ tối đa 512 tệp với 53 mã thông báo văn bản trong trọng số của mô hình AI. Giống như triển khai trên RAM, bộ nhớ được tổ chức dựa trên trạng thái DeltaNet, nhưng khác ở chỗ hệ thống tệp cung cấp bộ nhớ bền vững không bị mất trạng thái giữa các phiên.
Công trình nghiên cứu của Qwenputer cũng tạo nền tảng cho việc nghiên cứu các vấn đề bảo mật tiềm tàng mới trong trí tuệ nhân tạo. Sử dụng Qwenputer làm ví dụ, người ta đã chứng minh cách một mô hình AI được sửa đổi đặc biệt có thể che giấu quá trình suy luận của nó trong trạng thái mạng nơ-ron hồi quy (RNN) và vượt qua các cơ chế giám sát quá trình suy luận của mô hình (CoT, Chuỗi suy nghĩ). Người ta cũng đã chứng minh
Khả năng tạo ra các cơ chế kiểm soát và giám sát an ninh được tích hợp vào trọng số của mô hình AI mà bản thân mô hình không thể vô hiệu hóa hoặc sửa đổi.
Nguồn: opennet.ru
