🥇अपाचे एमएक्सनेट और होरोवोड के साथ वितरित शिक्षा

पाठ्यक्रम की शुरुआत की पूर्व संध्या पर लेख का अनुवाद तैयार किया गया था "बड़े डेटा पर औद्योगिक एमएल"

कई उच्च-प्रदर्शन कंप्यूटिंग उदाहरणों पर वितरित प्रशिक्षण बड़ी मात्रा में डेटा पर आधुनिक गहरे तंत्रिका नेटवर्क के प्रशिक्षण समय को हफ्तों से घंटों या मिनटों तक कम कर सकता है, जिससे यह प्रशिक्षण तकनीक गहन शिक्षण के व्यावहारिक अनुप्रयोगों में प्रचलित हो जाती है। उपयोगकर्ताओं को यह समझना चाहिए कि कई उदाहरणों में डेटा को कैसे साझा और सिंक्रनाइज़ किया जाए, जिसका स्केलिंग दक्षता पर बड़ा प्रभाव पड़ता है। इसके अलावा, उपयोगकर्ताओं को यह भी पता होना चाहिए कि एक प्रशिक्षण स्क्रिप्ट को कैसे तैनात किया जाए जो एक ही उदाहरण पर कई उदाहरणों पर चलती है।

इस लेख में हम ओपन डीप लर्निंग लाइब्रेरी अपाचे एमएक्सनेट और होरोवोड डिस्ट्रीब्यूटेड लर्निंग फ्रेमवर्क का उपयोग करके सीखने को वितरित करने के त्वरित और आसान तरीके के बारे में बात करेंगे। हम होरोवोड ढांचे के प्रदर्शन लाभों को स्पष्ट रूप से प्रदर्शित करेंगे और प्रदर्शित करेंगे कि एमएक्सनेट प्रशिक्षण स्क्रिप्ट कैसे लिखी जाए ताकि यह होरोवोड के साथ वितरित तरीके से काम करे।

अपाचे एमएक्सनेट क्या है?

अपाचे एमएक्सनेट एक ओपन-सोर्स डीप लर्निंग फ्रेमवर्क है जिसका उपयोग डीप न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और तैनात करने के लिए किया जाता है। एमएक्सनेट तंत्रिका नेटवर्क को लागू करने से जुड़ी जटिलताओं को दूर करता है, अत्यधिक प्रदर्शन करने वाला और स्केलेबल है, और लोकप्रिय प्रोग्रामिंग भाषाओं के लिए एपीआई प्रदान करता है जैसे अजगर, सी + +, Clojure, जावा, जूलिया, R, स्काला और अन्य।

पैरामीटर सर्वर के साथ एमएक्सनेट में वितरित प्रशिक्षण

एमएक्सनेट में मानक वितरित शिक्षण मॉड्यूल पैरामीटर सर्वर दृष्टिकोण का उपयोग करता है। यह प्रत्येक कार्यकर्ता से ग्रेडिएंट एकत्र करने, एकत्रीकरण करने और अगले अनुकूलन पुनरावृत्ति के लिए अद्यतन ग्रेडिएंट को श्रमिकों को वापस भेजने के लिए पैरामीटर सर्वर के एक सेट का उपयोग करता है। सर्वर और श्रमिकों का सही अनुपात निर्धारित करना प्रभावी स्केलिंग की कुंजी है। यदि केवल एक पैरामीटर सर्वर है, तो यह गणना में बाधा बन सकता है। इसके विपरीत, यदि बहुत सारे सर्वरों का उपयोग किया जाता है, तो अनेक-से-अनेक संचार सभी नेटवर्क कनेक्शनों को अवरुद्ध कर सकता है।

होरोवोड क्या है

horovod उबर में विकसित एक खुला वितरित गहन शिक्षण ढांचा है। यह वोरेक्स में मॉडल मापदंडों को वितरित और एकत्रित करने के लिए कुशल क्रॉस-जीपीयू और क्रॉस-नोड प्रौद्योगिकियों जैसे एनवीआईडीआईए कलेक्टिव कम्युनिकेशंस लाइब्रेरी (एनसीसीएल) और मैसेज पासिंग इंटरफेस (एमपीआई) का लाभ उठाता है। यह गहरे तंत्रिका नेटवर्क मॉडल के साथ काम करते समय नेटवर्क बैंडविड्थ और स्केल के उपयोग को अच्छी तरह से अनुकूलित करता है। यह वर्तमान में कई लोकप्रिय मशीन लर्निंग फ्रेमवर्क का समर्थन करता है एमएक्सनेट, टेन्सरफ्लो, केरस, और पायटोरच।

एमएक्सनेट और होरोवोड एकीकरण

एमएक्सनेट होरोवोड में परिभाषित वितरित शिक्षण एपीआई के माध्यम से होरोवोड के साथ एकीकृत होता है। होरोवोड संचार एपीआई होरोवोड.प्रसारण(), horovod.allgather() и horovod.allreduce() इसके कार्य ग्राफ़ के भाग के रूप में, एमएक्सनेट इंजन के एसिंक्रोनस कॉलबैक का उपयोग करके कार्यान्वित किया गया। इस तरह, सिंक्रनाइज़ेशन के कारण प्रदर्शन हानि से बचने के लिए संचार और गणना के बीच डेटा निर्भरता को एमएक्सनेट इंजन द्वारा आसानी से नियंत्रित किया जाता है। होरोवोड में परिभाषित वितरित अनुकूलक वस्तु होरोवोड.डिस्ट्रीब्यूटेडऑप्टिमाइज़र फैलता अनुकूलक एमएक्सनेट में ताकि यह वितरित पैरामीटर अपडेट के लिए संबंधित होरोवोड एपीआई को कॉल करे। ये सभी कार्यान्वयन विवरण अंतिम उपयोगकर्ताओं के लिए पारदर्शी हैं।

तेजी से शुरू

आप अपने मैकबुक पर एमएक्सनेट और होरोवोड का उपयोग करके एमएनआईएसटी डेटासेट पर एक छोटे कन्वेन्शनल न्यूरल नेटवर्क का प्रशिक्षण तुरंत शुरू कर सकते हैं।
सबसे पहले, PyPI से mxnet और horovod इंस्टॉल करें:

pip install mxnet
pip install horovod

ध्यान दें: यदि आपको इस दौरान कोई त्रुटि मिलती है पिप इंस्टॉल होरोवोडशायद आपको एक वेरिएबल जोड़ने की आवश्यकता है MACOSX_DEPLOYMENT_TARGET=10.vvजहां vv - यह आपके MacOS संस्करण का संस्करण है, उदाहरण के लिए, MacOSX Sierra के लिए आपको लिखना होगा MACOSX_DEPLOYMENT_TARGET=10.12 पिप इंस्टॉल होरोवोड

फिर ओपनएमपीआई इंस्टॉल करें अत:.

अंत में, परीक्षण स्क्रिप्ट डाउनलोड करें mxnet_mnist.py अत: और कार्यशील निर्देशिका में मैकबुक टर्मिनल में निम्नलिखित कमांड चलाएँ:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

यह आपके प्रोसेसर के दो कोर पर प्रशिक्षण चलाएगा। आउटपुट निम्नलिखित होगा:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

प्रदर्शन डेमो

आठ उदाहरणों के साथ 50 जीपीयू पर एक इमेजनेट डेटासेट पर एक ResNet1-v64 मॉडल को प्रशिक्षित करते समय p3.16xबड़ा EC2, प्रत्येक में AWS क्लाउड पर 8 NVIDIA Tesla V100 GPU हैं, हमने 45000 छवियों/सेकंड (यानी, प्रति सेकंड प्रशिक्षित नमूनों की संख्या) का प्रशिक्षण थ्रूपुट हासिल किया। प्रशिक्षण 44 युगों के बाद 90 मिनट में 75.7% की सर्वोत्तम सटीकता के साथ पूरा हुआ।

हमने इसकी तुलना क्रमशः 8 से 16 और 32 से 64 के एकल पैरामीटर सर्वर और सर्वर से कार्यकर्ता अनुपात के साथ 1, 1, 2 और 1 जीपीयू पर पैरामीटर सर्वर का उपयोग करने के एमएक्सनेट के वितरित प्रशिक्षण दृष्टिकोण से की है। आप परिणाम नीचे चित्र 1 में देख सकते हैं। बाईं ओर y-अक्ष पर, पट्टियाँ प्रति सेकंड प्रशिक्षित की जाने वाली छवियों की संख्या को दर्शाती हैं, रेखाएँ दाईं ओर y-अक्ष पर स्केलिंग दक्षता (अर्थात्, वास्तविक से आदर्श थ्रूपुट का अनुपात) को दर्शाती हैं। जैसा कि आप देख सकते हैं, सर्वरों की संख्या का चुनाव स्केलिंग दक्षता को प्रभावित करता है। यदि केवल एक पैरामीटर सर्वर है, तो 38 जीपीयू पर स्केलिंग दक्षता 64% तक गिर जाती है। होरोवोड के समान स्केलिंग दक्षता प्राप्त करने के लिए, आपको श्रमिकों की संख्या के सापेक्ष सर्वरों की संख्या दोगुनी करने की आवश्यकता है।

चित्र 1. होरोवोड और पैरामीटर सर्वर के साथ एमएक्सनेट का उपयोग करके वितरित शिक्षण की तुलना

नीचे दी गई तालिका 1 में, हम 64 जीपीयू पर प्रयोग चलाते समय प्रति उदाहरण अंतिम लागत की तुलना करते हैं। होरोवोड के साथ एमएक्सनेट का उपयोग सबसे कम लागत पर सर्वोत्तम थ्रूपुट प्रदान करता है।

तालिका 1. 2 से 1 के सर्वर से कार्यकर्ता अनुपात के साथ होरोवोड और पैरामीटर सर्वर के बीच लागत तुलना।

प्रजनन के चरण

अगले चरणों में, हम आपको दिखाएंगे कि एमएक्सनेट और होरोवोड का उपयोग करके वितरित प्रशिक्षण के परिणाम को कैसे पुन: पेश किया जाए। एमएक्सनेट के साथ वितरित शिक्षण के बारे में अधिक जानने के लिए पढ़ें ये पद.

1 कदम

वितरित शिक्षण का उपयोग करने के लिए एमएक्सनेट संस्करण 1.4.0 या उच्चतर और होरोवोड संस्करण 0.16.0 या उच्चतर के साथ सजातीय उदाहरणों का एक समूह बनाएं। आपको GPU प्रशिक्षण के लिए लाइब्रेरी भी स्थापित करने की आवश्यकता होगी। हमारे उदाहरण के लिए, हमने GPU ड्राइवर 16.04, CUDA 396.44, cuDNN 9.2 लाइब्रेरी, NCCL 7.2.1 कम्युनिकेटर और OpenMPI 2.2.13 के साथ Ubuntu 3.1.1 Linux को चुना। आप भी उपयोग कर सकते हैं अमेज़ॅन डीप लर्निंग एएमआई, जहां ये लाइब्रेरी पहले से ही स्थापित हैं।

2 कदम

अपनी एमएक्सनेट प्रशिक्षण स्क्रिप्ट में होरोवोड एपीआई के साथ काम करने की क्षमता जोड़ें। एमएक्सनेट ग्लूऑन एपीआई पर आधारित नीचे दी गई स्क्रिप्ट को एक सरल टेम्पलेट के रूप में उपयोग किया जा सकता है। यदि आपके पास पहले से ही संबंधित प्रशिक्षण स्क्रिप्ट है तो बोल्ड पंक्तियों की आवश्यकता है। होरोवोड के साथ सीखने के लिए आपको यहां कुछ महत्वपूर्ण बदलाव करने होंगे:

यह समझने के लिए कि प्रशिक्षण सही ग्राफिक्स कोर पर किया गया है, स्थानीय होरोवोड रैंक (पंक्ति 8) के अनुसार संदर्भ सेट करें।
यह सुनिश्चित करने के लिए कि सभी कर्मचारी समान प्रारंभिक मापदंडों से शुरू करें, एक कार्यकर्ता से सभी के लिए प्रारंभिक पैरामीटर पास करें (पंक्ति 18)।
एक होरोवोड बनाएं वितरित अनुकूलक (पंक्ति 25) वितरित तरीके से मापदंडों को अद्यतन करने के लिए।

पूरी स्क्रिप्ट प्राप्त करने के लिए, कृपया होरोवोड-एमएक्सनेट उदाहरण देखें Mnist и IMAGEnet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

3 कदम

एमपीआई निर्देश का उपयोग करके वितरित प्रशिक्षण शुरू करने के लिए श्रमिकों में से एक में लॉग इन करें। इस उदाहरण में, वितरित प्रशिक्षण चार उदाहरणों पर चलता है, प्रत्येक में 4 जीपीयू और क्लस्टर में कुल 16 जीपीयू होते हैं। स्टोचैस्टिक ग्रेडिएंट डिसेंट (एसजीडी) ऑप्टिमाइज़र का उपयोग निम्नलिखित हाइपरपैरामीटर के साथ किया जाएगा:

मिनी-बैच का आकार: 256
सीखने की दर: 0.1
गति: 0.9
वज़न में कमी: 0.0001

जैसे ही हमने एक जीपीयू से 64 जीपीयू तक स्केल किया, हमने जीपीयू की संख्या के अनुसार प्रशिक्षण दर को रैखिक रूप से बढ़ाया (0,1 जीपीयू के लिए 1 से 6,4 जीपीयू के लिए 64 तक), जबकि प्रति जीपीयू छवियों की संख्या 256 (एक बैच से) रखी 256 जीपीयू के लिए 1 छवियां से 16 जीपीयू के लिए 384)। जीपीयू की संख्या बढ़ने के साथ वजन में कमी और गति पैरामीटर बदल गए। हमने एनवीआईडीआईए टेस्ला जीपीयू द्वारा समर्थित फ्लोट64 गणनाओं को तेज करने के लिए फॉरवर्ड पास के लिए फ्लोट16 डेटा प्रकार और ग्रेडिएंट्स के लिए फ्लोट32 के साथ मिश्रित सटीक प्रशिक्षण का उपयोग किया।

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

निष्कर्ष

इस लेख में, हमने अपाचे एमएक्सनेट और होरोवोड का उपयोग करके वितरित मॉडल प्रशिक्षण के लिए एक स्केलेबल दृष्टिकोण को देखा। हमने ImageNet डेटासेट पर पैरामीटर सर्वर दृष्टिकोण की तुलना में स्केलिंग दक्षता और लागत-प्रभावशीलता का प्रदर्शन किया, जिस पर ResNet50-v1 मॉडल को प्रशिक्षित किया गया था। हमने ऐसे चरण भी शामिल किए हैं जिनका उपयोग आप होरोवोड का उपयोग करके मल्टी-इंस्टेंस प्रशिक्षण चलाने के लिए मौजूदा स्क्रिप्ट को संशोधित करने के लिए कर सकते हैं।

यदि आप अभी एमएक्सनेट और डीप लर्निंग के साथ शुरुआत कर रहे हैं, तो इंस्टॉलेशन पेज पर जाएं एमएक्सनेसबसे पहले एमएक्सनेट का निर्माण करें। हम लेख पढ़ने की भी पुरजोर अनुशंसा करते हैं 60 मिनट में एमएक्सनेटआरंभ करना।

यदि आप पहले से ही एमएक्सनेट के साथ काम कर चुके हैं और होरोवोड के साथ वितरित शिक्षण का प्रयास करना चाहते हैं, तो एक नज़र डालें होरोवोड इंस्टालेशन पेज, इसे एमएक्सनेट से बनाएं और उदाहरण का पालन करें Mnist या IMAGEnet.

*लागत की गणना के आधार पर की जाती है प्रति घंटा दरें EC2 उदाहरणों के लिए AWS

पाठ्यक्रम के बारे में और जानें "बड़े डेटा पर औद्योगिक एमएल"

स्रोत: www.habr.com

अपाचे एमएक्सनेट और होरोवोड के साथ वितरित शिक्षण