המעבד המרכזי היה מהיר פי כמה בביצועים מאשר שילוב של שמונה מעבדים גרפיים בו-זמנית בעת למידה עמוקה של רשתות עצביות. נשמע כמו משהו מתוך מדע בדיוני, לא? אבל חוקרים מאוניברסיטת רייס, המשתמשים באינטל Xeon, הוכיחו שזה אפשרי.
GPUs תמיד התאימו הרבה יותר לרשתות עצביות של למידה עמוקה מאשר CPUs. זה נובע מהארכיטקטורה של מעבדי GPU, המורכבים מליבות קטנות רבות שמסוגלות לבצע משימות קטנות רבות במקביל, וזה בדיוק מה שנדרש לאימון רשתות עצביות. אבל התברר שמעבדים מרכזיים, בגישה הנכונה, יכולים להיות יעילים מאוד בלמידה עמוקה.
מדווח כי בעת שימוש באלגוריתם הלמידה העמוקה SLIDE, מעבד Intel Xeon עם 44 ליבות היה פרודוקטיבי פי 3,5 משילוב של שמונה מאיצי מחשוב NVIDIA Tesla V100. זו אולי הפעם הראשונה שה-CPU לא רק הדביק את ה-GPU בתרחיש כזה, אלא גם התעלה עליהם, ובולט מאוד.
הודעה לעיתונות שהוציאה האוניברסיטה מציינת שאלגוריתם SLIDE אינו דורש GPUs מכיוון שהוא משתמש בגישה שונה לחלוטין. בדרך כלל, בעת אימון רשתות עצביות, נעשה שימוש בטכניקת ההפצה לאחור של שגיאות האימון, המשתמשת בכפל מטריצה, שהיא עומס אידיאלי עבור ה-GPU. SLIDE, לעומת זאת, הופך את הלמידה לבעיית חיפוש שנפתרת באמצעות טבלאות hash.
לטענת החוקרים, הדבר מפחית משמעותית את העלות החישובית של אימון רשתות עצביות. כדי לקבל קו בסיס, החוקרים השתמשו במערכת הקיימת של אוניברסיטת רייס עם שמונה מאיצי Tesla V100 כדי לאמן רשת עצבית באמצעות ספריית TensorFlow של גוגל. התהליך ארך 3,5 שעות. לאחר מכן, רשת נוירונים דומה אומנה באמצעות אלגוריתם SLIDE על מערכת עם מעבד Xeon יחיד בעל 44 ליבות, וזה לקח רק שעה אחת.
ראוי לציין כאן כי לאינטל אין כיום דגמי מעבדים בעלי 44 ליבות במגוון המוצרים שלה. יתכן שהחוקרים השתמשו באיזה שהוא שבב מותאם אישית או שלא שוחרר, אבל זה לא סביר. סביר הרבה יותר שהשתמשו כאן במערכת עם שני Xeons של אינטל 22 ליבות, או שפשוט הייתה שגיאה בהודעה לעיתונות, ואנחנו מדברים על 44 שרשורים שסופקו על ידי מעבד אחד בעל 22 ליבות. אך בכל מקרה אין בכך כדי לגרוע מההישג עצמו.
כמובן, אלגוריתם SLIDE עדיין צריך לעבור בדיקות רבות ולהוכיח את יעילותו, כמו גם את היעדר מוזרויות ומלכודות. עם זאת, מה שאנו רואים כעת הוא מאוד מרשים ויכול באמת להשפיע רבות על התפתחות התעשייה.
מקור: 3dnews.ru
