Apache MXNet आणि Horovod सह वितरित शिक्षण

लेखाचा अनुवाद अभ्यासक्रम सुरू होण्याच्या आदल्या दिवशी तयार केला होता "बिग डेटावर औद्योगिक एमएल"

एकाहून अधिक उच्च-कार्यक्षमता संगणकीय उदाहरणांवर वितरित प्रशिक्षण आधुनिक डीप न्यूरल नेटवर्क्सच्या मोठ्या प्रमाणात डेटावरील प्रशिक्षण वेळ आठवड्यांपासून तास किंवा अगदी मिनिटांपर्यंत कमी करू शकते, ज्यामुळे हे प्रशिक्षण तंत्र सखोल शिक्षणाच्या व्यावहारिक अनुप्रयोगांमध्ये प्रचलित होते. वापरकर्त्यांनी अनेक घटनांमध्ये डेटा कसा शेअर आणि सिंक्रोनाइझ करायचा हे समजून घेतले पाहिजे, ज्यामुळे स्केलिंग कार्यक्षमतेवर मोठा प्रभाव पडतो. याव्यतिरिक्त, वापरकर्त्यांना हे देखील माहित असले पाहिजे की एक प्रशिक्षण स्क्रिप्ट कशी तैनात करावी जी एकाच प्रसंगावर अनेक उदाहरणांवर चालते.

या लेखात आपण ओपन डीप लर्निंग लायब्ररी Apache MXNet आणि Horovod डिस्ट्रिब्युटेड लर्निंग फ्रेमवर्क वापरून शिक्षण वितरित करण्याच्या जलद आणि सोप्या मार्गाबद्दल बोलू. आम्ही Horovod फ्रेमवर्कचे कार्यप्रदर्शन फायदे स्पष्टपणे प्रदर्शित करू आणि MXNet प्रशिक्षण स्क्रिप्ट कशी लिहायची ते दाखवू जेणेकरून ते Horovod सह वितरित पद्धतीने कार्य करेल.

Apache MXNet म्हणजे काय

अपाचे एमएक्सनेट एक ओपन-सोर्स डीप लर्निंग फ्रेमवर्क आहे ज्याचा वापर डीप न्यूरल नेटवर्क तयार करण्यासाठी, प्रशिक्षण देण्यासाठी आणि तैनात करण्यासाठी केला जातो. MXNet न्यूरल नेटवर्क्सची अंमलबजावणी करण्याशी संबंधित जटिलता सोडवते, अत्यंत कार्यक्षम आणि स्केलेबल आहे आणि लोकप्रिय प्रोग्रामिंग भाषांसाठी API ऑफर करते जसे की python ला, C ++, क्लोजर, जावा, जुलिया, R, Scala आणि इतर.

पॅरामीटर सर्व्हरसह MXNet मध्ये प्रशिक्षण वितरित केले

MXNet मध्ये मानक वितरित शिक्षण मॉड्यूल पॅरामीटर सर्व्हर दृष्टीकोन वापरते. हे प्रत्येक कामगाराकडून ग्रेडियंट गोळा करण्यासाठी, एकत्रीकरण करण्यासाठी आणि पुढील ऑप्टिमायझेशन पुनरावृत्तीसाठी अद्यतनित ग्रेडियंट्स परत कामगारांना पाठवण्यासाठी पॅरामीटर सर्व्हरचा संच वापरते. कामगार आणि सर्व्हरचे योग्य गुणोत्तर निश्चित करणे ही प्रभावी स्केलिंगची गुरुकिल्ली आहे. फक्त एकच पॅरामीटर सर्व्हर असल्यास, तो गणनेमध्ये अडथळा ठरू शकतो. याउलट, खूप जास्त सर्व्हर वापरल्यास, अनेक-ते-अनेक संप्रेषणे सर्व नेटवर्क कनेक्शन बंद करू शकतात.

Horovod काय आहे

Horovod उबेर येथे विकसित केलेली खुली वितरित खोल शिक्षण फ्रेमवर्क आहे. हे व्होरेक्समध्ये मॉडेल पॅरामीटर्सचे वितरण आणि एकत्रित करण्यासाठी NVIDIA कलेक्टिव्ह कम्युनिकेशन्स लायब्ररी (NCCL) आणि मेसेज पासिंग इंटरफेस (MPI) सारख्या कार्यक्षम क्रॉस-GPU आणि क्रॉस-नोड तंत्रज्ञानाचा लाभ घेते. हे नेटवर्क बँडविड्थचा वापर ऑप्टिमाइझ करते आणि डीप न्यूरल नेटवर्क मॉडेल्ससह काम करताना चांगले स्केल करते. हे सध्या अनेक लोकप्रिय मशीन लर्निंग फ्रेमवर्कचे समर्थन करते, म्हणजे एमएक्स नेट, Tensorflow, Keras, आणि PyTorch.

MXNet आणि Horovod एकत्रीकरण

MXNet Horovod मध्ये परिभाषित केलेल्या Distributed Learning API द्वारे Horovod सह समाकलित होते. Horovod संप्रेषण APIs horovod.broadcast(), horovod.allgather() и horovod.allreduce() MXNet इंजिनचे असिंक्रोनस कॉलबॅक वापरून कार्यान्वित केले जाते, त्याच्या कार्य आलेखाचा भाग म्हणून. अशाप्रकारे, सिंक्रोनाइझेशनमुळे कार्यक्षमतेचे नुकसान टाळण्यासाठी MXNet इंजिनद्वारे संप्रेषण आणि गणनेमधील डेटा अवलंबित्व सहजपणे हाताळले जाते. Horovod मध्ये परिभाषित वितरित ऑप्टिमायझर ऑब्जेक्ट horovod.DistributedOptimizer विस्तारते ऑप्टिमायझर MXNet मध्ये जेणेकरून ते वितरित पॅरामीटर अद्यतनांसाठी संबंधित Horovod API ला कॉल करेल. हे सर्व अंमलबजावणी तपशील अंतिम वापरकर्त्यांसाठी पारदर्शक आहेत.

जलद सुरुवात

तुम्ही तुमच्या MacBook वरील MXNet आणि Horovod चा वापर करून MNIST डेटासेटवर लहान कंव्होल्युशनल न्यूरल नेटवर्कचे प्रशिक्षण त्वरीत सुरू करू शकता.
प्रथम, PyPI वरून mxnet आणि horovod स्थापित करा:

pip install mxnet
pip install horovod

टीप: यादरम्यान तुम्हाला एखादी त्रुटी आढळल्यास pip horovod प्रतिष्ठापीतकदाचित तुम्हाला व्हेरिएबल जोडावे लागेल MACOSX_DEPLOYMENT_TARGET=10.vvकुठे vv - ही तुमच्या MacOS आवृत्तीची आवृत्ती आहे, उदाहरणार्थ, MacOSX Sierra साठी तुम्हाला लिहावे लागेल MACOSX_DEPLOYMENT_TARGET=10.12 pip install horovod

त्यानंतर OpenMPI इंस्टॉल करा येथून.

शेवटी, चाचणी स्क्रिप्ट डाउनलोड करा mxnet_mnist.py येथून आणि कार्यरत निर्देशिकेत मॅकबुक टर्मिनलमध्ये खालील आदेश चालवा:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

हे तुमच्या प्रोसेसरच्या दोन कोरांवर प्रशिक्षण चालवेल. आउटपुट खालीलप्रमाणे असेल:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

कामगिरी डेमो

आठ उदाहरणांसह 50 GPU वर इमेजनेट डेटासेटवर ResNet1-v64 मॉडेलला प्रशिक्षण देताना p3.16x मोठा EC2, प्रत्येकामध्ये AWS क्लाउडवर 8 NVIDIA Tesla V100 GPUs आहेत, आम्ही 45000 प्रतिमा/सेकंद (म्हणजे, प्रति सेकंद प्रशिक्षित नमुन्यांची संख्या) प्रशिक्षण थ्रूपुट प्राप्त केले. 44% च्या उत्कृष्ट अचूकतेसह 90 युगांनंतर 75.7 मिनिटांत प्रशिक्षण पूर्ण झाले.

आम्ही MXNet च्या 8, 16, 32 आणि 64 GPU वर पॅरामीटर सर्व्हर वापरण्याच्या वितरीत प्रशिक्षण पद्धतीशी तुलना केली आहे ज्यामध्ये एकल पॅरामीटर सर्व्हर आणि 1 ते 1 आणि 2 ते 1 च्या सर्व्हर ते वर्कर गुणोत्तर आहे. आपण खालील आकृती 1 मध्ये परिणाम पाहू शकता. डावीकडील y-अक्षावर, पट्ट्या प्रति सेकंद प्रशिक्षित करण्यासाठी प्रतिमांची संख्या दर्शवतात, रेषा उजवीकडील y-अक्षावर स्केलिंग कार्यक्षमता (म्हणजेच, आदर्श थ्रुपुटचे वास्तविक गुणोत्तर) दर्शवतात. जसे आपण पाहू शकता, सर्व्हरच्या संख्येची निवड स्केलिंग कार्यक्षमतेवर परिणाम करते. फक्त एक पॅरामीटर सर्व्हर असल्यास, स्केलिंग कार्यक्षमता 38 GPU वर 64% पर्यंत घसरते. Horovod प्रमाणेच स्केलिंग कार्यक्षमता प्राप्त करण्यासाठी, तुम्हाला कामगारांच्या संख्येच्या तुलनेत सर्व्हरची संख्या दुप्पट करणे आवश्यक आहे.

आकृती 1. Horovod आणि पॅरामीटर सर्व्हरसह MXNet वापरून वितरित शिक्षणाची तुलना

खालील तक्त्या 1 मध्ये, आम्ही 64 GPU वर प्रयोग चालवताना प्रति उदाहरण अंतिम खर्चाची तुलना करतो. Horovod सह MXNet वापरणे सर्वात कमी किमतीत सर्वोत्तम थ्रूपुट प्रदान करते.

सारणी 1. 2 ते 1 च्या सर्व्हर ते कामगार गुणोत्तरासह Horovod आणि पॅरामीटर सर्व्हर यांच्यातील खर्चाची तुलना.

पुनरुत्पादनासाठी पायऱ्या

पुढील चरणांमध्ये, आम्ही तुम्हाला MXNet आणि Horovod वापरून वितरित प्रशिक्षणाचे परिणाम कसे पुनरुत्पादित करायचे ते दर्शवू. MXNet सह वितरित शिक्षणाबद्दल अधिक जाणून घेण्यासाठी वाचा हे पोस्ट.

1 पाऊल

वितरित शिक्षण वापरण्यासाठी MXNet आवृत्ती 1.4.0 किंवा उच्च आणि Horovod आवृत्ती 0.16.0 किंवा उच्च सह एकसंध उदाहरणांचा क्लस्टर तयार करा. तुम्हाला GPU प्रशिक्षणासाठी लायब्ररी देखील स्थापित करण्याची आवश्यकता असेल. आमच्या उदाहरणांसाठी, आम्ही GPU ड्रायव्हर 16.04, CUDA 396.44, cuDNN 9.2 लायब्ररी, NCCL 7.2.1 कम्युनिकेटर आणि OpenMPI 2.2.13 सह उबंटू 3.1.1 लिनक्स निवडले. तसेच तुम्ही वापरू शकता Amazon Deep Learning AMI, जिथे ही लायब्ररी आधीपासून स्थापित केलेली आहे.

2 पाऊल

तुमच्या MXNet प्रशिक्षण स्क्रिप्टमध्ये Horovod API सह काम करण्याची क्षमता जोडा. MXNet Gluon API वर आधारित खालील स्क्रिप्ट एक साधे टेम्पलेट म्हणून वापरली जाऊ शकते. तुमच्याकडे आधीपासूनच संबंधित प्रशिक्षण स्क्रिप्ट असल्यास ठळक ओळी आवश्यक आहेत. Horovod सह शिकण्यासाठी तुम्हाला येथे काही गंभीर बदल करावे लागतील:

• प्रशिक्षण योग्य ग्राफिक्स कोरवर केले जाते हे समजून घेण्यासाठी स्थानिक होरोवोड रँक (ओळ 8) नुसार संदर्भ सेट करा.
• सर्व कामगार समान प्रारंभिक पॅरामीटर्ससह प्रारंभ करतात याची खात्री करण्यासाठी एका कामगाराकडून सर्व (लाइन 18) प्रारंभिक पॅरामीटर्स पास करा.
• एक Horovod तयार करा DistributedOptimizer (ओळ 25) वितरित पद्धतीने पॅरामीटर्स अद्यतनित करण्यासाठी.

संपूर्ण स्क्रिप्ट मिळविण्यासाठी, कृपया Horovod-MXNet उदाहरणे पहा MNIST и इमेजनेट.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

3 पाऊल

MPI निर्देश वापरून वितरित प्रशिक्षण सुरू करण्यासाठी कामगारांपैकी एकामध्ये लॉग इन करा. या उदाहरणात, वितरित प्रशिक्षण प्रत्येकी 4 GPU आणि क्लस्टरमध्ये एकूण 16 GPU सह चार घटनांवर चालते. स्टोकास्टिक ग्रेडियंट डिसेंट (SGD) ऑप्टिमायझर खालील हायपरपॅरामीटर्ससह वापरला जाईल:

• मिनी-बॅच आकार: 256
• शिकण्याचा दर: 0.1
• गती: ०.९
• वजन क्षय: 0.0001

आम्ही एका GPU वरून 64 GPU पर्यंत स्केल केल्यामुळे, आम्ही GPU च्या संख्येनुसार प्रशिक्षण दर रेषीयरीत्या मोजले (0,1 GPU साठी 1 वरून 6,4 GPU साठी 64), तर प्रति GPU प्रतिमांची संख्या 256 वर ठेवली ( च्या बॅचमधून 256 GPU साठी 1 प्रतिमा ते 16 GPU साठी 384 पर्यंत). GPU ची संख्या वाढल्याने वजन क्षय आणि गती मापदंड बदलले. NVIDIA Tesla GPU द्वारे समर्थित फ्लोट64 गणनांना गती देण्यासाठी आम्ही फॉरवर्ड पाससाठी float16 डेटा प्रकार आणि ग्रेडियंटसाठी float32 सह मिश्रित अचूक प्रशिक्षण वापरले.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

निष्कर्ष

या लेखात, आम्ही Apache MXNet आणि Horovod वापरून वितरित मॉडेल प्रशिक्षणासाठी स्केलेबल दृष्टिकोन पाहिला. ResNet50-v1 मॉडेल प्रशिक्षित केलेल्या ImageNet डेटासेटवरील पॅरामीटर सर्व्हर पध्दतीच्या तुलनेत आम्ही स्केलिंग कार्यक्षमता आणि खर्च-प्रभावीता प्रदर्शित केली. Horovod वापरून मल्टी-इन्स्टन्स ट्रेनिंग चालवण्यासाठी तुम्ही विद्यमान स्क्रिप्ट सुधारण्यासाठी वापरू शकता अशा पायऱ्या देखील आम्ही समाविष्ट केल्या आहेत.

तुम्ही नुकतेच MXNet आणि सखोल शिक्षण सुरू करत असल्यास, इंस्टॉलेशन पेजवर जा MXNeप्रथम MXNet तयार करण्यासाठी. आम्ही लेख वाचण्याची जोरदार शिफारस देखील करतो 60 मिनिटांत MXNetसुरू करण्यासाठी.

जर तुम्ही आधीच MXNet वर काम केले असेल आणि Horovod सह वितरीत शिक्षण वापरून पहायचे असेल, तर पहा Horovod प्रतिष्ठापन पृष्ठ, MXNet वरून तयार करा आणि उदाहरणाचे अनुसरण करा MNIST किंवा इमेजनेट.

*खर्चावर आधारित गणना केली जाते तासाचे दर EC2 उदाहरणांसाठी AWS

कोर्सबद्दल अधिक जाणून घ्या "बिग डेटावर औद्योगिक एमएल"

स्त्रोत: www.habr.com