ในส่วนหนึ่งของโครงการ Qwenputer นักวิจัยได้พัฒนาโมเดล AI Qwen3.5-4B เวอร์ชันขยาย ซึ่งใช้โปรแกรมจำลองแบบฝังตัวของซีพียู 32 บิตเต็มรูปแบบบนสถาปัตยกรรม RISC-V (RV32IM) รองรับส่วนขยาย Zba และมีตัวประมวลผลร่วม bignum สำหรับการคำนวณเลขจำนวนมาก การใช้งานเคอร์เนลซีพียูถูกคอมไพล์เป็นชุดของน้ำหนักและรวมเข้ากับโมเดลภาษาขนาดใหญ่ในรูปแบบของทรานส์ฟอร์เมอร์เพิ่มเติม 11 เลเยอร์ที่เพิ่มเข้ามาก่อนเลเยอร์หลักของ Qwen การคำนวณจะดำเนินการโดยตรงในระหว่างการส่งผ่านไปข้างหน้าของเครือข่ายประสาทเทียม โดยไม่จำเป็นต้องใช้เครื่องมือหรือปลั๊กอินภายนอก
การใช้งานนี้ผ่านการทดสอบทั้งหมดในชุดทดสอบ riscv-tests อย่างเป็นทางการ และสามารถประมวลผลโค้ด C และ MicroPython ที่คอมไพล์แล้วได้ เมื่อทำการคำนวณทางคณิตศาสตร์กับตัวเลขขนาดใหญ่ Qwenputer สามารถทำได้แม่นยำ 97.5-100% ซึ่งเทียบเท่าหรือดีกว่ารุ่นพื้นฐาน Qwen3.5 ที่ใช้ตัวแปลภาษา Python ภายนอก
เพื่อจำลอง RAM โมเดลนี้ใช้เลเยอร์ Gated DeltaNet แยกต่างหาก (RNN เชิงเส้น) ซึ่งใช้ในโมเดล Qwen AI มาตรฐานเพื่อรักษาสถานะที่แก้ไขแล้วเมื่อทำงานกับหน้าต่างบริบทขนาดใหญ่ โดยการล็อกสถานะเกตและใช้การเข้ารหัสแบบ one-hot คำขอเขียนแต่ละครั้งจะเขียนทับแถวเดียวของเมทริกซ์สถานะ ทำให้สามารถใช้สถานะ DeltaNet เป็นหน่วยความจำที่เข้าถึงได้ขนาดคงที่ หลีกเลี่ยงการเติบโตเชิงเส้นของแคช Key-Value (KV) เมื่อความยาวของบริบทเพิ่มขึ้น หน่วยความจำนี้รองรับรีจิสเตอร์ CPU ข้อมูล และรหัสเครื่องที่สามารถเรียกใช้งานได้
คำสั่งประมวลผล เช่น การอ่านรีจิสเตอร์ การคำนวณทางคณิตศาสตร์ และการกระโดดแบบมีเงื่อนไข จะถูกคอมไพล์โดยตรงลงในน้ำหนักของเลเยอร์ทรานส์ฟอร์เมอร์ แต่ละคำสั่งจะเชื่อมโยงกับโทเค็นพิเศษ (ADDR, VAL, STEP) ซึ่งเลเยอร์โมเดล AI จะตีความว่าเป็นตรรกะของ CPU ไดรเวอร์ภายนอกขนาดเล็ก RvChat ถูกใช้เพื่อเริ่มต้น CPU และโหลดเฟิร์มแวร์ แต่รหัสเครื่องเองนั้นจะถูกประมวลผลทั้งหมดภายในน้ำหนักของโมเดล
ข้อจำกัดของโครงการนี้ ได้แก่ ขนาดไฟล์ที่เพิ่มขึ้นประมาณสองเท่า (18.8 GB) เมื่อเทียบกับโมเดล Qwen ดั้งเดิม เมื่อเก็บรักษาข้อมูลสถานะ (checkpoints) ซึ่งส่วนใหญ่เกิดจากการเพิ่มเลเยอร์เพิ่มเติม นอกจากนี้ยังพบว่าความเร็วในการคำนวณค่อนข้างต่ำ (ประมาณ 3200 โทเค็นต่อวินาทีบน GPU ระดับ L4) ซึ่งหมายความว่าการคำนวณที่ซับซ้อนอาจใช้เวลาหลายวินาที แทนที่จะเป็นมิลลิวินาที
นอกจากนี้ ยังมีการนำโมเดล AI เวอร์ชันหนึ่งมาใช้งานร่วมกับระบบไฟล์แบบทดลอง ซึ่งอนุญาตให้จัดเก็บไฟล์ได้มากถึง 512 ไฟล์ โดยแต่ละไฟล์มีโทเค็นข้อความ 53 รายการภายในน้ำหนักของโมเดล AI เช่นเดียวกับการใช้งาน RAM การจัดเก็บข้อมูลจะจัดระเบียบตามสถานะของ DeltaNet แต่แตกต่างตรงที่ระบบไฟล์นี้ให้การจัดเก็บข้อมูลแบบถาวรที่ไม่สูญเสียสถานะระหว่างเซสชัน
งานของ Qwenputer ยังเป็นพื้นฐานสำหรับการวิจัยเกี่ยวกับปัญหาด้านความปลอดภัยที่อาจเกิดขึ้นใหม่ใน AI โดยใช้ Qwenputer เป็นตัวอย่าง ได้มีการสาธิตให้เห็นว่าโมเดล AI ที่ได้รับการดัดแปลงเป็นพิเศษสามารถซ่อนกระบวนการให้เหตุผลไว้ในสถานะ RNN และหลีกเลี่ยงกลไกการตรวจสอบกระบวนการให้เหตุผลของโมเดล (CoT, Chain-of-Thought) ได้อย่างไร นอกจากนี้ยังได้สาธิตให้เห็นว่า...
ความสามารถในการสร้างกลไกการควบคุมและตรวจสอบความปลอดภัยที่ฝังอยู่ในน้ำหนักของโมเดล AI ซึ่งตัวโมเดลเองไม่สามารถปิดใช้งานหรือแก้ไขได้
ที่มา: opennet.ru
