Qwenputer는 RISC-V CPU를 시뮬레이션하여 C 및 MicroPython 코드를 실행할 수 있는 Qwen3.5 AI 모델의 개정판입니다.

Qwenputer 프로젝트의 일환으로 연구진은 RISC-V 아키텍처(RV32IM) 기반의 완전한 32비트 CPU 임베디드 시뮬레이터를 구현한 확장 버전의 Qwen3.5-4B AI 모델을 개발했습니다. 이 시뮬레이터는 Zba 확장 기능을 지원하며, 대규모 연산을 위한 bignum 코프로세서를 갖추고 있습니다. CPU 커널 구현은 가중치 세트로 컴파일되어 더 큰 언어 모델에 통합되며, 주요 Qwen 레이어 앞에 11개의 추가 트랜스포머 레이어가 추가됩니다. 계산은 외부 도구나 플러그인 없이 신경망의 순방향 전달 과정에서 직접 수행됩니다.

이 구현체는 공식 riscv-tests 스위트의 모든 테스트를 성공적으로 통과했으며 컴파일된 C 및 MicroPython 코드를 실행할 수 있습니다. 큰 숫자를 사용한 산술 계산에서 Qwenputer는 97.5~100%의 정확도를 달성했는데, 이는 외부 Python 인터프리터를 사용하는 기본 Qwen3.5 모델과 비슷하거나 더 나은 수준입니다.

RAM을 시뮬레이션하기 위해, 이 모델은 표준 Qwen AI 모델에서 대규모 컨텍스트 윈도우를 처리할 때 수정된 상태를 보존하는 데 사용되는 별도의 Gated DeltaNet 레이어(선형 RNN)를 활용합니다. 게이트 상태를 잠그고 원핫 인코딩을 사용함으로써, 각 쓰기 요청은 상태 행렬의 정확히 한 행만 덮어쓰게 되어 DeltaNet 상태를 고정 크기의 주소 지정 가능한 메모리로 사용할 수 있습니다. 이는 컨텍스트 길이가 증가함에 따라 키-값(KV) 캐시가 선형적으로 증가하는 것을 방지합니다. 이 메모리는 CPU 레지스터, 데이터 및 실행 가능한 기계어 코드를 저장할 수 있습니다.

레지스터 읽기, 산술 연산, 조건부 점프와 같은 프로세서 명령어는 트랜스포머 레이어 가중치에 직접 컴파일됩니다. 각 명령어는 특수 토큰(ADDR, VAL, STEP)과 연결되며, AI 모델 레이어는 이를 CPU 로직으로 해석합니다. RvChat이라는 소형 외부 드라이버는 CPU를 초기화하고 펌웨어를 로드하는 데 사용되지만, 기계어 코드 자체는 모델 가중치 내에서 완전히 처리됩니다.

이 프로젝트의 한계점으로는 상태 슬라이스(체크포인트)를 보존할 경우 기존 Qwen 모델에 비해 크기가 약 두 배(18.8GB) 증가한다는 점이 있는데, 이는 주로 추가 레이어의 패딩 때문입니다. 또한 상대적으로 낮은 연산 속도(L4 GPU에서 초당 약 3200 토큰)로 인해 복잡한 계산에 밀리초가 아닌 초가 소요될 수 있습니다.

또한, AI 모델의 변형 버전은 실험적인 파일 시스템을 사용하여 구현되었으며, 이를 통해 AI 모델의 가중치 내에 최대 512개의 파일과 53개의 텍스트 토큰을 저장할 수 있습니다. RAM 구현과 마찬가지로 저장소는 DeltaNet 상태를 기반으로 구성되지만, 파일 시스템은 세션 간 상태 손실을 방지하는 영구 저장소를 제공한다는 점에서 차이가 있습니다.

Qwenputer의 연구는 AI의 새로운 잠재적 보안 문제에 대한 연구의 토대가 되었습니다. Qwenputer를 예로 들어, 특별히 수정된 AI 모델이 RNN 상태에 추론 과정을 숨기고 모델 추론 모니터링 메커니즘(CoT, 사고 연쇄)을 우회하는 방법을 보여주었습니다. 또한,
AI 모델의 가중치에 내장된 보안 제어 및 모니터링 메커니즘을 생성할 수 있으며, 모델 자체는 이를 비활성화하거나 수정할 수 없습니다.

출처 : opennet.ru