למידה מבוזרת עם Apache MXNet ו- Horovod

תרגום המאמר הוכן ערב תחילת הקורס "ML תעשייתי על ביג דאטה"

הכשרה מבוזרת במספר מופעי מחשוב בעלי ביצועים גבוהים יכולה להפחית את זמן האימון של רשתות עצביות עמוקות מודרניות על כמויות גדולות של נתונים משבועות לשעות או אפילו דקות, מה שהופך את טכניקת האימון הזו לנפוצה ביישומים מעשיים של למידה עמוקה. על המשתמשים להבין כיצד לשתף ולסנכרן נתונים על פני מספר מופעים, אשר בתורו יש לו השפעה גדולה על יעילות קנה המידה. בנוסף, על המשתמשים לדעת גם כיצד לפרוס סקריפט הדרכה שרץ על מופע בודד למספר מופעים.

במאמר זה נדבר על דרך מהירה וקלה להפצת למידה באמצעות ספריית הלמידה העמוקה הפתוחה Apache MXNet ומסגרת הלמידה המבוזרת Horovod. נדגים בבירור את יתרונות הביצועים של מסגרת Horovod ונדגים כיצד לכתוב סקריפט אימון MXNet כך שיעבוד בצורה מבוזרת עם Horovod.

מה זה Apache MXNet

אפאצ'י MXNet היא מסגרת למידה עמוקה בקוד פתוח המשמשת ליצירה, אימון ופריסה של רשתות עצביות עמוקות. MXNet מרחיקה את המורכבות הקשורה ביישום רשתות עצביות, היא בעלת ביצועים גבוהים וניתנת להרחבה, ומציעה ממשקי API לשפות תכנות פופולריות כגון פיתון, C + +, קלוז'ורה, Java, ג'וליה, R, סולם ועוד.

הדרכה מבוזרת ב-MXNet עם שרת פרמטרים

מודול למידה מבוזר סטנדרטי ב-MXNet משתמש בגישת שרת פרמטרים. הוא משתמש בקבוצה של שרתי פרמטרים כדי לאסוף מעברי צבע מכל עובד, לבצע צבירה ולשלוח מעברי צבע מעודכנים בחזרה לעובדים עבור איטרציית האופטימיזציה הבאה. קביעת היחס הנכון בין שרתים לעובדים היא המפתח לקנה מידה יעיל. אם יש רק שרת פרמטר אחד, זה עלול להתברר כצוואר בקבוק בחישובים. לעומת זאת, אם נעשה שימוש ביותר מדי שרתים, תקשורת מרובה לרבים עלולה לסתום את כל חיבורי הרשת.

מה זה הורובוד

הורובוד היא מסגרת למידה עמוקה מבוזרת פתוחה שפותחה ב- Uber. הוא ממנף טכנולוגיות יעילות חוצות-GPU וצמתים כמו ספריית תקשורת קולקטיבית של NVIDIA (NCCL) וממשק העברת הודעות (MPI) כדי להפיץ ולצבור פרמטרים של מודל על פני vorecs. זה מייעל את השימוש ברוחב הפס של הרשת ומתרחב היטב כאשר עובדים עם מודלים של רשתות עצביות עמוקות. כרגע הוא תומך במספר מסגרות למידת מכונה פופולריות, כלומר MX Net, Tensorflow, Keras ו- PyTorch.

שילוב MXNet ו- Horovod

MXNet משתלב עם Horovod באמצעות ממשקי API של למידה מבוזרת המוגדרים בהורובוד. ממשקי API לתקשורת Horovod horovod.broadcast(), horovod.allgather() и horovod.allreduce() מיושם באמצעות התקשרויות אסינכרוניות של מנוע MXNet, כחלק מגרף המשימות שלו. בדרך זו, תלות נתונים בין תקשורת לחישוב מטופלת בקלות על ידי מנוע MXNet כדי למנוע אובדן ביצועים עקב סנכרון. אובייקט אופטימיזציה מבוזר שהוגדר בהרובוד horovod.DistributedOptimizer מתרחב מיטוב ב-MXNet כך שהוא קורא לממשקי ה-API של Horovod התואמים עבור עדכוני פרמטרים מבוזרים. כל פרטי ההטמעה הללו שקופים למשתמשי הקצה.

התחלה מהירה

אתה יכול להתחיל במהירות להכשיר רשת עצבית קונבולוציונית קטנה במערך הנתונים של MNIST באמצעות MXNet ו- Horovod ב-MacBook שלך.
ראשית, התקן את mxnet ואת horovod מ- PyPI:

pip install mxnet
pip install horovod

הערה: אם אתה נתקל בשגיאה במהלך pip להתקין horovodאולי אתה צריך להוסיף משתנה MACOSX_DEPLOYMENT_TARGET=10.vvאיפה vv – זו הגרסה של גרסת ה-MacOS שלך, למשל, עבור MacOSX Sierra תצטרך לכתוב MACOSX_DEPLOYMENT_TARGET=10.12 התקנת pip horovod

לאחר מכן התקן את OpenMPI מכאן.

בסוף, הורד את סקריפט הבדיקה mxnet_mnist.py מכאן והפעל את הפקודות הבאות במסוף MacBook בספריית העבודה:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

זה יפעיל אימון על שתי ליבות של המעבד שלך. הפלט יהיה הבא:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

הדגמת ביצועים

בעת אימון מודל ResNet50-v1 על מערך נתונים של ImageNet על 64 GPUs עם שמונה מופעים p3.16xlarge EC2, שכל אחד מהם מכיל 8 GPUs NVIDIA Tesla V100 על ענן AWS, השגנו תפוקת אימון של 45000 תמונות/שנייה (כלומר, מספר הדגימות המאומנות בשנייה). האימון הושלם תוך 44 דקות לאחר 90 עידנים עם דיוק מיטבי של 75.7%.

השווינו זאת לגישת ההדרכה המבוזרת של MXNet של שימוש בשרתי פרמטרים על 8, 16, 32 ו-64 GPUs עם שרת פרמטר בודד ויחס שרת לעובד של 1 ל-1 ו-2 ל-1, בהתאמה. אתה יכול לראות את התוצאה באיור 1 למטה. בציר ה-y משמאל, הפסים מייצגים את מספר התמונות לאימון בשנייה, הקווים משקפים את יעילות קנה המידה (כלומר, היחס בין התפוקה בפועל לאידיאלית) בציר ה-y מימין. כפי שניתן לראות, הבחירה במספר השרתים משפיעה על יעילות קנה המידה. אם יש רק שרת פרמטר אחד, יעילות קנה המידה יורדת ל-38% ב-64 GPUs. כדי להשיג את אותה יעילות קנה מידה כמו עם Horovod, עליך להכפיל את מספר השרתים ביחס למספר העובדים.

איור 1. השוואה של למידה מבוזרת באמצעות MXNet עם Horovod ועם שרת פרמטרים

בטבלה 1 להלן, אנו משווים את העלות הסופית למופע בעת הפעלת ניסויים על 64 GPUs. השימוש ב-MXNet עם Horovod מספק את התפוקה הטובה ביותר בעלות הנמוכה ביותר.

טבלה 1. השוואת עלויות בין Horovod ל-Parameter Server עם יחס שרת לעובד של 2 ל-1.

צעדים לשחזור

בשלבים הבאים, נראה לך כיצד לשחזר את התוצאה של אימון מבוזר באמצעות MXNet ו- Horovod. למידע נוסף על למידה מבוזרת עם MXNet קרא הפוסט הזה.

שלב 1

צור אשכול של מופעים הומוגניים עם MXNet גרסה 1.4.0 ומעלה ו- Horovod גרסה 0.16.0 ומעלה כדי להשתמש בלמידה מבוזרת. תצטרך גם להתקין ספריות עבור אימון GPU. עבור המקרים שלנו, בחרנו באובונטו 16.04 לינוקס, עם מנהל התקן GPU 396.44, CUDA 9.2, ספריית cuDNN 7.2.1, NCCL 2.2.13 communicator ו-OpenMPI 3.1.1. כמו כן אתה יכול להשתמש Amazon Deep Learning AMI, שבו ספריות אלה כבר מותקנות מראש.

שלב 2

הוסף את היכולת לעבוד עם ה-API של Horovod לסקריפט ההדרכה שלך ב-MXNet. הסקריפט שלהלן המבוסס על ה-API של MXNet Gluon יכול לשמש כתבנית פשוטה. השורות המודגשות נחוצות אם כבר יש לך תסריט הדרכה מתאים. הנה כמה שינויים קריטיים שעליך לבצע כדי ללמוד עם Horovod:

• הגדר את ההקשר בהתאם לדרגת Horovod המקומית (שורה 8) כדי להבין שהאימון מתבצע על הליבה הגרפית הנכונה.
• העבר פרמטרים ראשוניים מעובד אחד לכולם (שורה 18) כדי להבטיח שכל העובדים יתחילו עם אותם פרמטרים ראשוניים.
• צור הורבוד DistributedOptimizer (שורה 25) לעדכון הפרמטרים בצורה מבוזרת.

כדי לקבל את התסריט המלא, עיין בדוגמאות של Horovod-MXNet MNIST и אימג'נט.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

שלב 3

היכנס לאחד העובדים כדי להתחיל הכשרה מבוזרת באמצעות הוראת MPI. בדוגמה זו, אימון מבוזר פועל על ארבעה מופעים עם 4 GPUs כל אחד, ובסך הכל 16 GPUs באשכול. כלי האופטימיזציה של ירידה בדרגה סטוקהסטית (SGD) ישמש עם ההיפרפרמטרים הבאים:

• גודל מיני אצווה: 256
• קצב למידה: 0.1
• מומנטום: 0.9
• דעיכה במשקל: 0.0001

כאשר הרחבנו מ-GPU אחד ל-64 GPUs, הגדלנו באופן ליניארי את קצב האימון בהתאם למספר ה-GPUs (מ-0,1 עבור 1 GPU ל-6,4 עבור 64 GPUs), תוך שמירה על מספר התמונות לכל GPU על 256 (מקבוצה של 256 תמונות עבור 1 GPU עד 16 עבור 384 GPUs). פרמטרי דעיכת המשקל והמומנטום השתנו ככל שמספר ה-GPUs גדל. השתמשנו באימון דיוק מעורב עם סוג הנתונים float64 עבור מעבר קדימה ו-float16 עבור שיפועים כדי להאיץ את חישובי float32 הנתמכים על ידי NVIDIA Tesla GPUs.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

מסקנה

במאמר זה, בדקנו גישה ניתנת להרחבה לאימון מודלים מבוזרים באמצעות Apache MXNet ו- Horovod. הדגמנו את יעילות קנה המידה והעלות-תועלת בהשוואה לגישת שרת הפרמטרים במערך הנתונים של ImageNet שעליו הוכשר מודל ResNet50-v1. כללנו גם שלבים שבהם אתה יכול להשתמש כדי לשנות סקריפט קיים כדי להפעיל אימון מרובה מופעים באמצעות Horovod.

אם אתה רק התחלת עם MXNet ולמידה עמוקה, עבור לדף ההתקנה MXNeכדי לבנות תחילה MXNet. אנו גם ממליצים בחום לקרוא את המאמר MXNet תוך 60 דקותלהתחיל.

אם כבר עבדת עם MXNet וברצונך לנסות למידה מבוזרת עם Horovod, תסתכל על דף התקנה של הורבוד, בנה אותו מ-MXNet ופעל לפי הדוגמה MNIST או אימג'נט.

*העלות מחושבת על סמך חיובים לפי שעות AWS עבור מופעי EC2

למידע נוסף על הקורס "ML תעשייתי על ביג דאטה"

מקור: www.habr.com