כחלק מפרויקט Qwenputer, חוקרים פיתחו גרסה מורחבת של מודל הבינה המלאכותית Qwen3.5-4B, אשר מיישמת סימולטור משובץ של מעבד 32 סיביות מלא המבוסס על ארכיטקטורת RISC-V (RV32IM), התומך בהרחבת Zba ומצויד במעבד קו-מעבד bignum לאריתמטיקה של מספרים גדולים. יישום ליבת המעבד עובר קומפילציה לקבוצת משקלים ומשולב במודל שפה גדול יותר כאשר 11 שכבות נוספות של שנאים נוספו לפני שכבות Qwen העיקריות. החישובים מבוצעים ישירות במהלך המעבר קדימה של הרשת הנוירונים, ללא צורך בכלים חיצוניים או תוספים.
המימוש עובר בהצלחה את כל הבדיקות בחבילת riscv-tests הרשמית ומסוגל לבצע קוד C ו-MicroPython שעבר קומפילציה. בעת ביצוע חישובים אריתמטיים עם מספרים גדולים, Qwenputer משיג דיוק של 97.5-100%, דיוק דומה או טוב יותר למודל הבסיסי Qwen3.5 עם מפרש Python חיצוני.
כדי לדמות זיכרון RAM, המודל משתמש בשכבות DeltaNet Gated נפרדות (RNNs ליניאריים), המשמשות במודל הבינה המלאכותית הסטנדרטי של Qwen כדי לשמר את המצב המותאם בעת עבודה עם חלונות הקשר גדולים. על ידי נעילת מצב השער ושימוש בקידוד one-hot, כל בקשת כתיבה דורסת שורה אחת בדיוק של מטריצת המצב, מה שמאפשר להשתמש במצב DeltaNet כזיכרון כתובתי בגודל קבוע, תוך הימנעות מגידול ליניארי של מטמון Key-Value (KV) ככל שאורך ההקשר גדל. זיכרון זה מכיל אוגרי CPU, נתונים וקוד מכונה הניתנים להפעלה.
הוראות מעבד, כגון קריאת אוגרים, פעולות אריתמטיות וקפיצות מותנות, עוברות קומפילציה ישירות לתוך משקלי שכבת השנאים. כל הוראה משויכת לאסימונים מיוחדים (ADDR, VAL, STEP), אשר שכבות מודל הבינה המלאכותית מפרשות כלוגיקת CPU. מנהל התקן חיצוני קטן, RvChat, משמש לאתחול ה-CPU ולטעינת הקושחה, אך קוד המכונה עצמו מעובד כולו בתוך משקלי המודל.
מגבלות הפרויקט כוללות גידול כפול בגודל (18.8 ג'יגה-בייט) בהשוואה למודל Qwen המקורי בעת שימור פרוסות מצב (נקודות בדיקה), בעיקר בשל ריפוד נוסף של שכבות נוספות. כמו כן, נצפית מהירות חישוב נמוכה יחסית (כ-3200 טוקנים לשנייה בכרטיס מסך L4), כלומר חישובים מורכבים יכולים לקחת שניות ולא אלפיות שנייה.
בנוסף, יושמה גרסה של מודל הבינה המלאכותית עם מערכת קבצים ניסיונית, המאפשרת אחסון של עד 512 קבצים עם 53 טוקנים טקסטיים במסגרת משקלי מודל הבינה המלאכותית. כמו במימוש ה-RAM, האחסון מאורגן על סמך מצבי DeltaNet, אך שונה בכך שמערכת ה-FS מספקת אחסון מתמשך שאינו מאבד מצב בין סשנים.
עבודתו של קוונפוטר היוותה גם את הבסיס למחקר על בעיות אבטחה פוטנציאליות חדשות בבינה מלאכותית. תוך שימוש בקוונפוטר כדוגמה, הודגם כיצד מודל בינה מלאכותית שעבר שינוי מיוחד יכול להסתיר את הנמקתו במצב RNN ולעקוף מנגנוני ניטור של הנמקת המודל (CoT, Chain-of-Thought). כמו כן הודגם...
היכולת ליצור מנגנוני בקרה וניטור אבטחה המובנים במשקלים של מודל הבינה המלאכותית, שהמודל עצמו אינו יכול להשבית או לשנות.
מקור: OpenNet.ru
