למידה מבוזרת עם Apache MXNet ו- Horovod

תרגום המאמר הוכן ערב תחילת הקורס למידת מכונה תעשייתית על ביג דאטה

אימון מבוזר על פני מספר מופעי מחשוב בעלי ביצועים גבוהים יכול להפחית את זמן האימון של רשתות עצביות עמוקות מודרניות על מערכי נתונים גדולים משבועות לשעות או אפילו דקות, מה שהופך את טכניקת האימון הזו לנפוצה בשימוש המעשי של למידה עמוקה. על המשתמשים להבין כיצד לשתף ולסנכרן נתונים על פני מספר מופעים, מה שבתורו משפיע באופן משמעותי על יכולת ההרחבה. יתר על כן, על המשתמשים לדעת גם כיצד לפרוס סקריפט אימון הפועל על מופע יחיד למספר מופעים.

במאמר זה, נדון בשיטה מהירה וקלה לאימון מבוזר באמצעות ספריית הלמידה העמוקה של Apache MXNet בקוד פתוח ומסגרת האימון המבוזרת Horovod. נדגים את יתרונות הביצועים של מסגרת Horovod ונראה כיצד לכתוב סקריפט אימון MXNet שפועל באופן מבוזר עם Horovod.

מה זה אפאצ'י MXNet?

אפאצ'י MXNet MXNet היא מסגרת למידה עמוקה בקוד פתוח המשמשת ליצירה, אימון ופריסה של רשתות עצביות עמוקות. MXNet מפשטת את המורכבויות הקשורות ליישום רשתות עצביות, מספקת ביצועים גבוהים וגמישות, ומציעה ממשקי API לשפות תכנות פופולריות כגון פיתון, C + +, קלוז'ורה, Java, ג'וליה, R, סולם ועוד.

הדרכה מבוזרת ב-MXNet עם שרת פרמטרים

מודול למידה מבוזר סטנדרטי ב-MXNet משתמש בגישת שרת פרמטרים. היא משתמשת בקבוצת שרתי פרמטרים כדי לאסוף גרדיאנטים מכל עובד, לבצע צבירה ולשלוח גרדיאנטים מעודכנים בחזרה לעובדים עבור איטרציית האופטימיזציה הבאה. קביעת היחס הנכון בין שרתים לעובדים היא המפתח לקנה מידה יעיל. אם משתמשים רק בשרת פרמטרים אחד, הוא יכול להפוך לצוואר בקבוק חישובי. לעומת זאת, אם משתמשים ביותר מדי שרתים, הקשר של רבים לרבים יכול להרוות את כל חיבורי הרשת.

מה זה הורובוד?

הורובוד – מסגרת למידה עמוקה מבוזרת בקוד פתוח שפותחה באובר. היא משתמשת בטכנולוגיות יעילות לתקשורת בין מספר מעבדים גרפיים וצמתים, כגון ספריית התקשורת הקולקטיבית של NVIDIA (NCCL) וממשק העברת הודעות (MPI), כדי להפיץ ולצבור פרמטרים של מודלים על פני מערבולות. היא ממטבת את ניצול רוחב הפס של הרשת ומתאימה את עצמה היטב בעת הפעלת מודלים של רשתות עצביות עמוקות. היא תומכת כיום במספר מסגרות פופולריות של למידת מכונה, דהיינו MX Net, Tensorflow, Keras ו-PyTorch.

אינטגרציה בין MXNet ו-Horovod

MXNet משתלב עם Horovod דרך ממשקי ה-API של למידה מבוזרת המוגדרים ב-Horovod. ממשקי ה-API של התקשורת של Horovod horovod.broadcast(), horovod.allgather() и horovod.allreduce() מיושמים באמצעות קריאות חוזרות אסינכרוניות של מנוע MXNet כחלק מגרף המשימות שלו. בדרך זו, תלויות נתונים בין תקשורת לחישוב מטופלות בקלות על ידי מנוע MXNet כדי למנוע הפסדי ביצועים עקב סנכרון. אובייקט האופטימיזציה המבוזר, המוגדר ב-Horovod horovod.DistributedOptimizer מתרחב מיטוב ב-MXNet כך שהוא יקרא ל-API של Horovod המתאימים עבור עדכוני פרמטרים מבוזרים. כל פרטי היישום הללו שקופים למשתמשי הקצה.

התחלה מהירה

ניתן להתחיל במהירות לאמן רשת נוירונים קונבולוציונית קטנה על קבוצת הנתונים MNIST באמצעות MXNet ו-Horovod במחשב ה-MacBook שלכם.
כדי להתחיל, התקינו את mxnet ו-horovod מ-PyPI:

pip install mxnet
pip install horovod

הערה: אם נתקלת בשגיאה במהלך פיפ מתקין הורובוד, ייתכן שתצטרך להוסיף משתנה MACOSX_DEPLOYMENT_TARGET=10.vvאיפה vv – זוהי גרסת ה-MacOS שלך, לדוגמה, עבור MacOSX Sierra תצטרך לכתוב MACOSX_DEPLOYMENT_TARGET=10.12 התקנת pip horovod

לאחר מכן התקן את OpenMPI מכאן.

בסוף, העלו את סקריפט הבדיקה mxnet_mnist.py מכאן והרץ את הפקודות הבאות במסוף ה-MacBook בספריית העבודה:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

פעולה זו תפעיל אימון על שתי ליבות של המעבד שלך. הפלט יהיה:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

הדגמת ביצועים

בעת אימון מודל ResNet50-v1 על קבוצת הנתונים ImageNet על 64 יחידות GPU עם שמונה מופעים p3.16xlarge באמצעות שרתי EC2, שכל אחד מהם הכיל שמונה מעבדי GPU של NVIDIA Tesla V100 על גבי AWS Cloud, השגנו תפוקת אימון של 45000 תמונות/שנייה (כלומר, מספר הדגימות שאומנו לשנייה). האימון הושלם תוך 44 דקות לאחר 90 תקופות, עם דיוק אופטימלי של 75.7%.

השווינו זאת לאימון מבוזר של MXNet באמצעות שרתי פרמטרים על גבי 8, 16, 32 ו-64 מעבדים גרפיים עם שרת פרמטר יחיד ויחס שרת-לעובד של 1:1 ו-2:1, בהתאמה. התוצאות מוצגות באיור 1 להלן. העמודות בציר ה-y השמאלי מייצגות את מספר תמונות האימון לשנייה, והקווים בציר ה-y הימני מייצגים את יעילות קנה המידה (כלומר, היחס בין התפוקה בפועל לתפוקה האידיאלית). כפי שניתן לראות, בחירת מספר השרתים משפיעה על יעילות קנה המידה. עם שרת פרמטר יחיד, יעילות קנה המידה יורדת ל-38% על 64 מעבדים גרפיים. כדי להשיג את אותה יעילות קנה מידה כמו עם Horovod, יש להכפיל את מספר השרתים ביחס למספר העובדים.

איור 1. השוואה בין אימון מבוזר באמצעות MXNet עם Horovod ועם שרת פרמטרים

טבלה 1 להלן משווה את העלות הכוללת לכל מופע בעת הפעלת ניסויים על 64 מעבדים גרפיים. שימוש ב-MXNet עם Horovod מספק את התפוקה הטובה ביותר בעלות הנמוכה ביותר.

טבלה 1. השוואת עלויות בין Horovod לשרת פרמטרים עם יחס שרת-לעובד של 2:1.

שלבים להתרבות

בשלבים הבאים, נראה לכם כיצד לשחזר את תוצאת האימון המבוזרת באמצעות MXNet ו-Horovod. למידע נוסף על אימון מבוזר עם MXNet, קראו הפוסט הזה.

שלב 1

צור אשכול של מופעים הומוגניים עם MXNet גרסה 1.4.0 ומעלה ו-Horovod גרסה 0.16.0 ומעלה כדי להשתמש באימון מבוזר. תצטרך גם להתקין את הספריות לאימון GPU. עבור המופעים שלנו, בחרנו Ubuntu 16.04 Linux, עם מנהל התקן GPU 396.44, CUDA 9.2, ספריית cuDNN 7.2.1, NCCL communicator 2.2.13 ו-OpenMPI 3.1.1. ניתן גם להשתמש למידה עמוקה של אמזון (AMI), כאשר ספריות אלו כבר מותקנות מראש.

שלב 2

שפרו את סקריפט האימון של MXNet שלכם בעזרת ממשק ה-API של Horovod. הסקריפט שלהלן, המבוסס על ממשק ה-API של MXNet Gluon, יכול לשמש כתבנית פשוטה. השורות המודגשות נדרשות אם כבר יש לכם סקריפט אימון תואם. הנה כמה שינויים קריטיים שעליכם לבצע כדי להתאמן עם Horovod:

• הגדר את ההקשר כך שיתאים לדירוג Horovod המקומי (שורה 8) כדי להבטיח שהאימון יבוצע על ליבת ה-GPU הנכונה.
• העבירו פרמטרים התחלתיים מעובד אחד לכולם (שורה 18) כדי להבטיח שכל העובדים יתחילו עם אותם פרמטרים התחלתיים.
• צור הורובוד אופטימיזציה מבוזרת (שורה 25) כדי לעדכן את הפרמטרים בצורה מבוזרת.

לקבלת הסקריפט המלא, אנא עיינו בדוגמאות של Horovod-MXNet. MNIST и אימג'נט.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

שלב 3

התחבר לאחד מה-workers כדי להריץ אימון מבוזר באמצעות הוראת MPI. בדוגמה זו, אימון מבוזר מופעל על ארבעה מופעים עם ארבעה GPU כל אחד, בסך הכל 16 GPU באשכול. ייעשה שימוש בממטב סטוכסטי של גרדיאנט יורד (SGD) עם ההיפר-פרמטרים הבאים:

• גודל מיני-אצווה: 256
• קצב למידה: 0.1
• תנע: 0.9
• דעיכת משקל: 0.0001

כאשר גדלנו ממעבד גרפי יחיד ל-64 מעבדים גרפיים, שדרגנו את מהירות האימון באופן ליניארי עם מספר המעבדים הגרפיים (מ-0,1 עבור מעבד גרפי אחד ל-6,4 עבור 64 מעבדים גרפיים) תוך שמירה על מספר התמונות לכל מעבד גרפי על 256 (מקבוצה של 256 תמונות עבור מעבד גרפי אחד ל-16,384 עבור 64 מעבדים גרפיים). פרמטרי דעיכת המשקל והתנע הותאמו ככל שמספר המעבדים הגרפיים גדל. השתמשנו באימון בדיוק מעורב עם סוגי נתונים float16 עבור מעבר קדימה ו-float32 עבור גרדיאנטים כדי להאיץ את חישובי float16 הנתמכים על ידי מעבדי גרפיים של NVIDIA Tesla.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

מסקנה

במאמר זה, בחנו גישה ניתנת להרחבה לאימון מודלים מבוזרים באמצעות Apache MXNet ו-Horovod. הדגמנו את המדרגיות והיעילות העלותית בהשוואה לגישת שרת פרמטרים על קבוצת הנתונים ImageNet, אשר שימשה לאימון מודל ResNet50-v1. תיארנו גם את השלבים שניתן לנקוט כדי לשנות סקריפט קיים כדי להריץ אימון על מספר מופעים באמצעות Horovod.

אם אתם רק מתחילים עם MXNet ולמידה עמוקה, גשו לדף ההתקנה. MXNe, כדי לבנות תחילה את MXNet. אנו ממליצים בחום גם לקרוא את המאמר MXNet תוך 60 דקותכדי להתחיל.

אם כבר עבדתם עם MXNet ורוצים לנסות למידה מבוזרת עם Horovod, בדקו את דף ההתקנה של הורובוד, קומפיל אותו עם MXNet ופעל לפי הדוגמה MNIST או אימג'נט.

*העלות מחושבת על סמך תעריפים לשעה AWS עבור מופעי EC2

למידע נוסף על הקורס למידת מכונה תעשייתית על ביג דאטה

מקור: www.habr.com