Apache MXNet र Horovod संग शिक्षा वितरित

लेखको अनुवाद पाठ्यक्रमको सुरुवातको पूर्वसन्ध्यामा तयार गरिएको थियो "बिग डाटामा औद्योगिक एमएल"

धेरै उच्च-प्रदर्शन कम्प्युटिङ उदाहरणहरूमा वितरित प्रशिक्षणले आधुनिक गहिरो तंत्रिका सञ्जालहरूको प्रशिक्षण समयलाई हप्तादेखि घण्टा वा मिनेटमा ठूलो मात्रामा डेटामा घटाउन सक्छ, यस प्रशिक्षण प्रविधिलाई गहिरो शिक्षाको व्यावहारिक अनुप्रयोगहरूमा प्रचलित बनाउँछ। प्रयोगकर्ताहरूले धेरै उदाहरणहरूमा डेटा कसरी साझेदारी र सिङ्क्रोनाइज गर्ने भनेर बुझ्नुपर्छ, जसले स्केलिंग दक्षतामा ठूलो प्रभाव पार्छ। थप रूपमा, प्रयोगकर्ताहरूले एक प्रशिक्षण स्क्रिप्ट कसरी डिप्लोय गर्ने भनेर पनि जान्नुपर्छ जुन एकल उदाहरणमा धेरै उदाहरणहरूमा चल्छ।

यस लेखमा हामी खुला गहिरो सिकाइ पुस्तकालय Apache MXNet र Horovod वितरित सिकाइ फ्रेमवर्क प्रयोग गरी सिकाइ वितरण गर्ने द्रुत र सजिलो तरिकाको बारेमा कुरा गर्नेछौं। हामी Horovod फ्रेमवर्कको कार्यसम्पादन लाभहरू स्पष्ट रूपमा देखाउनेछौं र MXNet प्रशिक्षण लिपि कसरी लेख्ने भनेर प्रदर्शन गर्नेछौं ताकि यसले Horovod सँग वितरण गरिएको तरिकाले काम गर्छ।

Apache MXNet के हो

अपाचे MXNet एउटा खुला स्रोत गहिरो शिक्षा ढाँचा हो जुन गहिरो न्यूरल नेटवर्कहरू सिर्जना गर्न, तालिम दिन र प्रयोग गर्न प्रयोग गरिन्छ। MXNet ले तंत्रिका सञ्जालहरू लागू गर्न सम्बन्धित जटिलताहरूलाई सार दिन्छ, उच्च प्रदर्शनकारी र स्केलेबल छ, र लोकप्रिय प्रोग्रामिङ भाषाहरू जस्तै API हरू प्रदान गर्दछ। अजगर, सी ++, Clojure, Java, जुलिया, R, Scala र अन्य।

प्यारामिटर सर्भरको साथ MXNet मा वितरण प्रशिक्षण

MXNet मा मानक वितरित सिकाइ मोड्युल प्यारामिटर सर्भर दृष्टिकोण प्रयोग गर्दछ। यसले प्रत्येक कार्यकर्ताबाट ढाँचाहरू सङ्कलन गर्न, एकीकरण गर्न, र अर्को अप्टिमाइजेसन पुनरावृत्तिको लागि कामदारहरूलाई अद्यावधिक ढाँचाहरू पठाउन प्यारामिटर सर्भरहरूको सेट प्रयोग गर्दछ। कामदारहरूको लागि सर्भरहरूको सही अनुपात निर्धारण गर्नु प्रभावकारी स्केलिंगको कुञ्जी हो। यदि त्यहाँ केवल एक प्यारामिटर सर्भर छ भने, यो गणना मा एक बाधा हुन सक्छ। यसको विपरीत, यदि धेरै सर्भरहरू प्रयोग गरिन्छ भने, धेरै-देखि-धेरै सञ्चारले सबै नेटवर्क जडानहरू बन्द गर्न सक्छ।

Horovod के हो

Horovod Uber मा विकसित गरिएको खुला वितरित गहिरो शिक्षा ढाँचा हो। यसले कुशल क्रस-GPU र क्रस-नोड टेक्नोलोजीहरू जस्तै NVIDIA कलेक्टिभ कम्युनिकेसन्स लाइब्रेरी (NCCL) र मेसेज पासिङ इन्टरफेस (MPI) को भेरेक्सहरूमा मोडेल प्यारामिटरहरू वितरण र एकीकृत गर्नको लागि लाभ उठाउँछ। यसले नेटवर्क ब्यान्डविथको प्रयोगलाई अनुकूलन गर्छ र गहिरो न्यूरल नेटवर्क मोडेलहरूसँग काम गर्दा राम्रोसँग मापन गर्दछ। यसले हाल धेरै लोकप्रिय मेसिन लर्निङ फ्रेमवर्कहरूलाई समर्थन गर्दछ, अर्थात् MX नेट, Tensorflow, Keras, र PyTorch।

MXNet र Horovod एकीकरण

MXNet Horovod मा परिभाषित वितरित शिक्षा API मार्फत Horovod सँग एकीकृत हुन्छ। Horovod संचार APIs horovod.broadcast(), horovod.allgather() и horovod.allreduce() MXNet इन्जिनको एसिन्क्रोनस कलब्याकहरू प्रयोग गरी कार्यान्वयन गरिएको, यसको कार्य ग्राफको भागको रूपमा। यसरी, सिंक्रोनाइजेसनको कारण कार्यसम्पादन नोक्सानबाट बच्न MXNet इन्जिनद्वारा सञ्चार र गणना बीचको डाटा निर्भरताहरू सजिलैसँग ह्यान्डल गरिन्छ। Horovod मा परिभाषित वितरित अनुकूलक वस्तु horovod.DistributedOptimizer विस्तार गर्दछ अनुकूलक MXNet मा ताकि यसले वितरित प्यारामिटर अद्यावधिकहरूको लागि सम्बन्धित Horovod API लाई कल गर्छ। यी सबै कार्यान्वयन विवरणहरू अन्त प्रयोगकर्ताहरूका लागि पारदर्शी छन्।

द्रुत सुरुवात

तपाईंले आफ्नो MacBook मा MXNet र Horovod प्रयोग गरेर MNIST डाटासेटमा एउटा सानो कन्भोलुसनल न्यूरल नेटवर्कलाई तुरुन्तै तालिम दिन सक्नुहुन्छ।
पहिले, PyPI बाट mxnet र horovod स्थापना गर्नुहोस्:

pip install mxnet
pip install horovod

नोट: यदि तपाईंले समयमा त्रुटि सामना गर्नुभयो भने pip horovod स्थापनासायद तपाईले एउटा चर थप्नु पर्छ MACOSX_DEPLOYMENT_TARGET=10.vvकहाँ vv - यो तपाईको MacOS संस्करणको संस्करण हो, उदाहरणका लागि, MacOSX Sierra को लागी तपाईले लेख्नु पर्छ MACOSX_DEPLOYMENT_TARGET=10.12 pip install horovod

त्यसपछि OpenMPI स्थापना गर्नुहोस् यहाँ देखि.

अन्त्यमा, परीक्षण लिपि डाउनलोड गर्नुहोस् mxnet_mnist.py यहाँ देखि र काम गर्ने डाइरेक्टरीमा MacBook टर्मिनलमा निम्न आदेशहरू चलाउनुहोस्:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

यसले तपाइँको प्रोसेसरको दुई कोरहरूमा प्रशिक्षण चलाउनेछ। आउटपुट निम्न हुनेछ:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

प्रदर्शन डेमो

50 GPU हरूमा आठ दृष्टान्तहरू भएको ImageNet डाटासेटमा ResNet1-v64 मोडेललाई प्रशिक्षण दिंदा p3.16x ठूलो EC2, प्रत्येकले AWS क्लाउडमा 8 NVIDIA Tesla V100 GPU हरू समावेश गर्दछ, हामीले 45000 छविहरू/सेकेन्ड (अर्थात, प्रति सेकेन्ड प्रशिक्षित नमूनाहरूको संख्या) को प्रशिक्षण थ्रुपुट हासिल गर्‍यौं। 44% को उत्कृष्ट शुद्धताको साथ 90 युगहरू पछि 75.7 मिनेटमा प्रशिक्षण पूरा भयो।

हामीले यसलाई MXNet को 8, 16, 32 र 64 GPU मा एकल प्यारामिटर सर्भर र 1 देखि 1 र 2 देखि 1 को सर्भर र 1 देखि 38 को कार्यकर्ता अनुपातको साथ प्यारामिटर सर्भरहरू प्रयोग गर्ने वितरित प्रशिक्षण दृष्टिकोणसँग तुलना गर्यौं। तपाईंले तलको चित्र १ मा नतिजा हेर्न सक्नुहुन्छ। बाँयामा y-अक्षमा, बारहरूले प्रति सेकेन्ड प्रशिक्षित छविहरूको संख्या प्रतिनिधित्व गर्दछ, रेखाहरूले दायाँ y-अक्षमा स्केलिंग दक्षता (अर्थात, आदर्श थ्रुपुटको वास्तविक अनुपात) प्रतिबिम्बित गर्दछ। तपाईले देख्न सक्नुहुने रूपमा, सर्भरहरूको संख्याको छनौटले स्केलिंग दक्षतालाई असर गर्छ। यदि त्यहाँ केवल एक प्यारामिटर सर्भर छ भने, स्केलिंग दक्षता 64 GPU मा XNUMX% मा झर्छ। Horovod को रूपमा समान स्केलिंग दक्षता हासिल गर्न, तपाईंले कामदारहरूको संख्याको सापेक्ष सर्भरहरूको संख्या दोब्बर गर्न आवश्यक छ।

चित्र 1. Horovod र प्यारामिटर सर्भर संग MXNet प्रयोग गरी वितरित सिकाइको तुलना

तलको तालिका १ मा, ६४ GPU मा प्रयोगहरू चलाउँदा हामी प्रति उदाहरण अन्तिम लागत तुलना गर्छौं। Horovod को साथ MXNet को प्रयोग गर्नाले सबैभन्दा कम लागतमा उत्कृष्ट थ्रुपुट प्रदान गर्दछ।

तालिका 1. Horovod र प्यारामिटर सर्भर 2 देखि 1 को सर्भर र कार्यकर्ता अनुपात बीच लागत तुलना।

पुन: उत्पादन गर्न चरणहरू

अर्को चरणहरूमा, हामी तपाईंलाई MXNet र Horovod प्रयोग गरी वितरित तालिमको नतिजा कसरी पुन: उत्पादन गर्ने भनेर देखाउनेछौं। MXNet पढेर वितरित शिक्षा बारे थप जान्नको लागि यो पोस्ट.

1 कदम

वितरित सिकाइ प्रयोग गर्न MXNet संस्करण 1.4.0 वा उच्च र Horovod संस्करण 0.16.0 वा उच्चको साथ एकरूप उदाहरणहरूको क्लस्टर सिर्जना गर्नुहोस्। तपाईंले GPU प्रशिक्षणको लागि पुस्तकालयहरू पनि स्थापना गर्न आवश्यक हुनेछ। हाम्रो उदाहरणका लागि, हामीले Ubuntu 16.04 Linux, GPU Driver 396.44, CUDA 9.2, cuDNN 7.2.1 लाइब्रेरी, NCCL 2.2.13 कम्युनिकेटर र OpenMPI 3.1.1 को साथ रोज्यौं। साथै प्रयोग गर्न सक्नुहुन्छ Amazon Deep Learning AMI, जहाँ यी पुस्तकालयहरू पहिले नै पूर्व-स्थापित छन्।

2 कदम

Horovod API सँग आफ्नो MXNet तालिम लिपिमा काम गर्ने क्षमता थप्नुहोस्। MXNet Gluon API मा आधारित तलको लिपिलाई साधारण टेम्प्लेटको रूपमा प्रयोग गर्न सकिन्छ। यदि तपाइँसँग पहिले नै सम्बन्धित प्रशिक्षण लिपि छ भने बोल्ड रेखाहरू आवश्यक छ। यहाँ केहि महत्वपूर्ण परिवर्तनहरू छन् जुन तपाईंले Horovod सँग सिक्न आवश्यक छ:

• तालिम सही ग्राफिक्स कोरमा गरिन्छ भनी बुझ्नको लागि स्थानीय Horovod श्रेणी (लाइन 8) अनुसार सन्दर्भ सेट गर्नुहोस्।
• सबै कामदारहरू एउटै प्रारम्भिक प्यारामिटरहरूबाट सुरु भएको सुनिश्चित गर्नका लागि एक कामदारबाट सबैलाई प्रारम्भिक मापदण्डहरू पास गर्नुहोस् (लाइन 18)।
• Horovod सिर्जना गर्नुहोस् DistributedOptimizer (लाइन 25) एक वितरित तरिका मा प्यारामिटर अद्यावधिक गर्न।

पूर्ण लिपि प्राप्त गर्न, Horovod-MXNet उदाहरणहरू हेर्नुहोस् MNIST и IMAGEnet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

3 कदम

MPI निर्देशन प्रयोग गरी वितरण प्रशिक्षण सुरु गर्न कामदारहरू मध्ये एकमा लग इन गर्नुहोस्। यस उदाहरणमा, प्रत्येक 4 GPU हरू र क्लस्टरमा कुल 16 GPU हरू सहित चारवटा उदाहरणहरूमा वितरित प्रशिक्षण चल्छ। Stochastic Gradient Descent (SGD) अनुकूलक निम्न हाइपरपेरामिटरहरूसँग प्रयोग गरिनेछ:

• मिनी ब्याच आकार: 256
• सिकाइ दर: ०.१
• गति: ०.९
• वजन क्षय: 0.0001

हामीले एउटा GPU बाट 64 GPU मा मापन गर्दा, हामीले तालिम दरलाई GPU को संख्या अनुसार (0,1 बाट 1 GPU को लागि 6,4 बाट 64 GPU हरू) अनुसार तालिम दर मापन गर्यौं, जबकि प्रति GPU छविहरूको संख्या 256 मा राखेर (को ब्याचबाट) 256 GPU को लागि 1 छविहरू 16 GPU को लागि 384 सम्म)। GPU को संख्या बढ्दै जाँदा वजन क्षय र गति मापदण्डहरू परिवर्तन भयो। हामीले NVIDIA Tesla GPUs द्वारा समर्थित float64 गणनाहरूलाई गति दिन फर्वार्ड पासको लागि float16 डेटा प्रकार र ग्रेडियन्टहरूको लागि float32 सँग मिश्रित सटीक प्रशिक्षण प्रयोग गर्यौं।

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

निष्कर्षमा

यस लेखमा, हामीले Apache MXNet र Horovod प्रयोग गरी वितरित मोडेल प्रशिक्षणको लागि स्केलेबल दृष्टिकोणलाई हेर्यौं। हामीले ResNet50-v1 मोडेललाई प्रशिक्षित गरिएको ImageNet डेटासेटमा प्यारामिटर सर्भर दृष्टिकोणको तुलनामा मापन दक्षता र लागत-प्रभावकारिता प्रदर्शन गर्यौं। हामीले Horovod प्रयोग गरेर बहु-उदाहरण प्रशिक्षण चलाउनको लागि अवस्थित लिपि परिमार्जन गर्न प्रयोग गर्न सक्ने चरणहरू पनि समावेश गरेका छौं।

यदि तपाइँ भर्खरै MXNet र गहिरो शिक्षाको साथ सुरु गर्दै हुनुहुन्छ भने, स्थापना पृष्ठमा जानुहोस् MXNeपहिले MXNet निर्माण गर्न। हामी दृढतापूर्वक लेख पढ्न सिफारिस गर्दछौं MXNet ६० मिनेटमासुरु गर्न।

यदि तपाईंले पहिले नै MXNet मा काम गरिसक्नुभएको छ र Horovod मार्फत वितरित सिकाइ प्रयास गर्न चाहनुहुन्छ भने, त्यसपछि हेर्नुहोस् Horovod स्थापना पृष्ठ, यसलाई MXNet बाट बनाउनुहोस् र उदाहरण पछ्याउनुहोस् MNIST वा IMAGEnet.

* लागतको आधारमा गणना गरिन्छ प्रति घण्टा दरहरू EC2 उदाहरणहरूको लागि AWS

पाठ्यक्रम बारे थप जान्नुहोस् "बिग डाटामा औद्योगिक एमएल"

स्रोत: www.habr.com