מודל שפה עם 28,9 מיליון פרמטרים הושק על גבי ה-ESP32-S3.

המפתח ויאצ'סלב סרבוב, בשם הבדוי slvDev, הפגין יצירת טקסט מקומית לחלוטין על גבי מיקרו-בקר ESP32-S3. מודל השפה המתקבל מכיל 28,9 מיליון פרמטרים ומייצר כ-9,9 טוקנים לשנייה ללא גישה לשרת או למשאבי מחשוב חיצוניים אחרים. הסיפורים הקצרים שנוצרו מוצגים על גבי צג OLED מחובר.

פרויקט esp32-ai נבדק על מודול ESP32-S3 N16R8 עם 512 KB של SRAM מובנה, 8 MB של PSRAM ו-16 MB של זיכרון פלאש. המודל הממותק של 4 סיביות תופס 14,9 MB. המאגר מכיל את קוד המקור של זמן הריצה של C, כלי אימון וכימות, קושחה, בדיקות וסקריפטים להעלאתו ללוח.

אין להשוות ישירות את 28,9 מיליון הפרמטרים הנטענים למספר הפרמטרים של מערכות LLM שולחניות קונבנציונליות. לפי דוח מפתח מפורטהמודל מורכב מליבה חישובית צפופה עם כ-559 פרמטרים, שכבת פלט עם 3,1 מיליון פרמטרים, וטבלה של ייצוגים וקטוריים בשכבות עם כ-25 מיליון פרמטרים. האחרון מספק את עיקר הגודל הפורמלי של המודל, אך אינו מעובד במלואו בעת יצירת כל אסימון.

שלוש רמות זיכרון משמשות לאחסון המודל. הנתונים הנגישים בתדירות הגבוהה ביותר נמצאים ב-SRAM הפנימי, שכבת הפלט, מטמון KV ומאגרים זמניים נמצאים ב-PSRAM, והטבלה בת 25 מיליון הפריטים נמצאת בזיכרון פלאש ונגישה באמצעות מיפוי מרחב כתובות. עבור כל אסימון, נקראות ממנו רק כשש שורות, בסך הכל כ-450 בתים.

מכשיר זה מבוסס על טכנולוגיית Per-Layer Embeddings בה משתמשת גוגל ב-Gemma 3n. לפי תיעוד גוגלניתן לאחסן פרמטרים של PLE מחוץ לזיכרון העבודה של המודל ולהוסיף אותם לתהליך ההסקה כאשר שכבות בודדות מעובדות. ב-esp32-ai, גישה זו מורחבת להיררכיית הזיכרון של המיקרו-בקר, שם SRAM מהיר מוגבל במיוחד.

הגרסה הנכונה הראשונה של זמן הריצה מבוסס C ייצרה רק 0,57 טוקנים לשנייה. לאחר הצבת שכבת הפלט ב-PSRAM, מעבר להפעלות של שמונה סיביות, פיזור החישוב בין שתי ליבות Xtensa LX7 ואופטימיזציות נוספות, זמן ההשהיה הופחת ל-94,9 אלפיות השנייה לכל שלב במודל. התפוקה הסופית שנמדדה הגיעה ל-9,88 טוקנים לשנייה, תוך התחשבות בתהליך היצירה המלא. המגבלה העיקרית הפכה כעת לרוחב הפס של PSRAM בעת קריאת שכבת הפלט.

המודל אומן על גבי מערך נתונים סינתטי סיפורים קטנים, המורכב מסיפורים פשוטים בשפה האנגלית עם אוצר מילים מוגבל. לכן, הוא יכול להמשיך משפטים ולחבר סיפורים קצרים וקוהרנטיים, אך הוא אינו מיועד לענות על שאלות, לעקוב אחר הוראות, לתכנת או לשכפל ידע עובדתי. המפתח רואה את העבודה בעיקר כהדגמה של מיקום יעיל של המודל בזיכרון המיקרו-בקר, ולא כצ'אטבוט אוטונומי מוכן מראש.

בתיעוד הנוכחי, המחבר מדגיש במפורש ש-esp32-ai הוא פיתוח עצמאי. llama2.c עבודתו של אנדריי קרפטי וההשקה המוקדמת יותר של הדגם ה-260 על גבי ה-ESP32-S3 ניתנות רק כהנחיות ודוגמאות לעבודות קודמות: הקוד, נקודות הבדיקה והמתודולוגיה אינם מושאלים ישירות מהם. קוד המקור של esp32-ai מופץ תחת רישיון MIT.

מקור: linux.org.ru