Apache MXNet এবং Horovod এর সাথে বিতরণ করা শিক্ষা

নিবন্ধটির অনুবাদ কোর্স শুরুর প্রাক্কালে প্রস্তুত করা হয়েছিল "বিগ ডেটাতে শিল্প এমএল"

একাধিক উচ্চ-পারফরম্যান্স কম্পিউটিং দৃষ্টান্তে বিতরণ করা প্রশিক্ষণ আধুনিক গভীর নিউরাল নেটওয়ার্কের প্রশিক্ষণের সময়কে সপ্তাহ থেকে ঘন্টা বা এমনকি মিনিটে প্রচুর পরিমাণে ডেটার উপর কমিয়ে দিতে পারে, এই প্রশিক্ষণ কৌশলটিকে গভীর শিক্ষার ব্যবহারিক প্রয়োগে প্রচলিত করে তোলে। ব্যবহারকারীদের অবশ্যই বুঝতে হবে কিভাবে একাধিক দৃষ্টান্ত জুড়ে ডেটা ভাগ এবং সিঙ্ক্রোনাইজ করতে হয়, যার ফলস্বরূপ স্কেলিং দক্ষতার উপর একটি বড় প্রভাব রয়েছে। উপরন্তু, ব্যবহারকারীদের জানা উচিত কিভাবে একটি প্রশিক্ষণ স্ক্রিপ্ট স্থাপন করতে হয় যা একক দৃষ্টান্ত থেকে একাধিক দৃষ্টান্তে চলে।

এই নিবন্ধে আমরা ওপেন ডিপ লার্নিং লাইব্রেরি Apache MXNet এবং Horovod ডিস্ট্রিবিউটেড লার্নিং ফ্রেমওয়ার্ক ব্যবহার করে শেখার বিতরণ করার একটি দ্রুত এবং সহজ উপায় সম্পর্কে কথা বলব। আমরা স্পষ্টভাবে Horovod ফ্রেমওয়ার্কের কার্যকারিতা সুবিধাগুলি প্রদর্শন করব এবং প্রদর্শন করব কীভাবে একটি MXNet প্রশিক্ষণ স্ক্রিপ্ট লিখতে হয় যাতে এটি Horovod-এর সাথে বিতরণ করা পদ্ধতিতে কাজ করে।

Apache MXNet কি

অ্যাপাচি এমএক্সনেট একটি ওপেন সোর্স ডিপ লার্নিং ফ্রেমওয়ার্ক যা গভীর নিউরাল নেটওয়ার্ক তৈরি, প্রশিক্ষণ এবং স্থাপন করতে ব্যবহৃত হয়। MXNet নিউরাল নেটওয়ার্ক বাস্তবায়নের সাথে সম্পর্কিত জটিলতাগুলিকে বিমূর্ত করে, এটি অত্যন্ত পারফরম্যান্স এবং স্কেলযোগ্য এবং জনপ্রিয় প্রোগ্রামিং ভাষার জন্য API অফার করে যেমন পাইথন, সি ++, Clojure, জাভা, জুলিয়া, R, scala এবং অন্যদের

প্যারামিটার সার্ভার সহ MXNet-এ প্রশিক্ষণ বিতরণ করা হয়েছে

MXNet-এ স্ট্যান্ডার্ড ডিস্ট্রিবিউটেড লার্নিং মডিউল একটি প্যারামিটার সার্ভার পদ্ধতি ব্যবহার করে। এটি প্রতিটি কর্মীর কাছ থেকে গ্রেডিয়েন্ট সংগ্রহ করতে, একত্রীকরণ সম্পাদন করতে এবং পরবর্তী অপ্টিমাইজেশন পুনরাবৃত্তির জন্য কর্মীদের কাছে আপডেট করা গ্রেডিয়েন্ট পাঠাতে প্যারামিটার সার্ভারের একটি সেট ব্যবহার করে। কর্মীদের সার্ভারের সঠিক অনুপাত নির্ধারণ কার্যকর স্কেলিং এর মূল চাবিকাঠি। শুধুমাত্র একটি প্যারামিটার সার্ভার থাকলে, এটি গণনার ক্ষেত্রে একটি বাধা হতে পারে। বিপরীতভাবে, যদি অনেকগুলি সার্ভার ব্যবহার করা হয়, অনেক-থেকে-অনেক যোগাযোগ সমস্ত নেটওয়ার্ক সংযোগগুলিকে আটকে দিতে পারে।

Horovod কি

হোরোভড উবারে বিকশিত একটি ওপেন ডিস্ট্রিবিউটেড ডিপ লার্নিং ফ্রেমওয়ার্ক। এটি দক্ষ ক্রস-জিপিইউ এবং ক্রস-নোড প্রযুক্তি যেমন NVIDIA কালেক্টিভ কমিউনিকেশনস লাইব্রেরি (NCCL) এবং মেসেজ পাসিং ইন্টারফেস (MPI) ভোরেক্স জুড়ে মডেল প্যারামিটারগুলি বিতরণ এবং একত্রিত করতে ব্যবহার করে। এটি নেটওয়ার্ক ব্যান্ডউইথের ব্যবহারকে অপ্টিমাইজ করে এবং গভীর নিউরাল নেটওয়ার্ক মডেলগুলির সাথে কাজ করার সময় ভালভাবে স্কেল করে। এটি বর্তমানে বেশ কয়েকটি জনপ্রিয় মেশিন লার্নিং ফ্রেমওয়ার্ক সমর্থন করে, যথা এমএক্স নেট, Tensorflow, Keras, এবং PyTorch.

MXNet এবং Horovod ইন্টিগ্রেশন

MXNet Horovod-এ সংজ্ঞায়িত ডিস্ট্রিবিউটেড লার্নিং API-এর মাধ্যমে Horovod-এর সাথে একীভূত হয়। Horovod যোগাযোগ APIs horovod.broadcast(), horovod.allgather() и horovod.allreduce() MXNet ইঞ্জিনের অ্যাসিঙ্ক্রোনাস কলব্যাক ব্যবহার করে বাস্তবায়িত হয়েছে, এর টাস্ক গ্রাফের অংশ হিসেবে। এইভাবে, সিঙ্ক্রোনাইজেশনের কারণে কর্মক্ষমতা ক্ষতি এড়াতে MXNet ইঞ্জিন দ্বারা যোগাযোগ এবং গণনার মধ্যে ডেটা নির্ভরতা সহজেই পরিচালনা করা হয়। Horovod-এ সংজ্ঞায়িত ডিস্ট্রিবিউটেড অপ্টিমাইজার অবজেক্ট horovod.DistributedOptimizer প্রসারিত হয় অপ্টিমাইজার MXNet-এ যাতে এটি বিতরণ করা প্যারামিটার আপডেটের জন্য সংশ্লিষ্ট Horovod API-কে কল করে। এই সমস্ত বাস্তবায়নের বিবরণ শেষ ব্যবহারকারীদের কাছে স্বচ্ছ।

দ্রুত শুরু

আপনি দ্রুত আপনার ম্যাকবুকে MXNet এবং Horovod ব্যবহার করে MNIST ডেটাসেটে একটি ছোট কনভোল্যুশনাল নিউরাল নেটওয়ার্কের প্রশিক্ষণ শুরু করতে পারেন।
প্রথমে, PyPI থেকে mxnet এবং horovod ইনস্টল করুন:

pip install mxnet
pip install horovod

দ্রষ্টব্য: আপনি যদি সময় একটি ত্রুটি সম্মুখীন pip horovod ইনস্টল করুনহয়তো আপনাকে একটি পরিবর্তনশীল যোগ করতে হবে MACOSX_DEPLOYMENT_TARGET=10.vvযেখানে vv - এটি আপনার MacOS সংস্করণের সংস্করণ, উদাহরণস্বরূপ, MacOSX Sierra-এর জন্য আপনাকে লিখতে হবে MACOSX_DEPLOYMENT_TARGET=10.12 পিপ ইনস্টল horovod

তারপর OpenMPI ইন্সটল করুন এখানে থেকে.

শেষে, পরীক্ষার স্ক্রিপ্ট ডাউনলোড করুন mxnet_mnist.py এখানে থেকে এবং ওয়ার্কিং ডিরেক্টরিতে ম্যাকবুক টার্মিনালে নিম্নলিখিত কমান্ডগুলি চালান:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

এটি আপনার প্রসেসরের দুটি কোরে প্রশিক্ষণ চালাবে। আউটপুট নিম্নলিখিত হবে:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

পারফরম্যান্স ডেমো

আটটি উদাহরণ সহ 50টি জিপিইউতে একটি ইমেজনেট ডেটাসেটে ResNet1-v64 মডেলকে প্রশিক্ষণ দেওয়ার সময় p3.16 বড় EC2, প্রতিটিতে AWS ক্লাউডে 8টি NVIDIA Tesla V100 GPU রয়েছে, আমরা 45000 ছবি/সেকেন্ডের একটি প্রশিক্ষণ থ্রুপুট অর্জন করেছি (অর্থাৎ, প্রতি সেকেন্ডে প্রশিক্ষিত নমুনার সংখ্যা)। 44% এর সর্বোত্তম নির্ভুলতার সাথে 90টি যুগের পরে 75.7 মিনিটে প্রশিক্ষণ সম্পন্ন হয়।

আমরা এটিকে MXNet-এর বিতরণকৃত প্রশিক্ষণ পদ্ধতির সাথে 8, 16, 32 এবং 64 GPU-তে একটি একক প্যারামিটার সার্ভার এবং একটি সার্ভার থেকে কর্মীর অনুপাত যথাক্রমে 1 থেকে 1 এবং 2 থেকে 1-এর সাথে প্যারামিটার সার্ভার ব্যবহার করার পদ্ধতির সাথে তুলনা করেছি। আপনি নীচের চিত্র 1 এ ফলাফল দেখতে পারেন। বাম দিকে y-অক্ষে, বারগুলি প্রতি সেকেন্ডে প্রশিক্ষণের জন্য চিত্রের সংখ্যা উপস্থাপন করে, লাইনগুলি ডানদিকে y-অক্ষে স্কেলিং দক্ষতা (অর্থাৎ আদর্শ থ্রুপুট থেকে প্রকৃত অনুপাত) প্রতিফলিত করে। আপনি দেখতে পাচ্ছেন, সার্ভারের সংখ্যার পছন্দ স্কেলিং দক্ষতাকে প্রভাবিত করে। শুধুমাত্র একটি প্যারামিটার সার্ভার থাকলে, স্কেলিং দক্ষতা 38টি GPU-তে 64% এ নেমে যায়। Horovod এর মতো একই স্কেলিং দক্ষতা অর্জন করতে, আপনাকে কর্মীদের সংখ্যার তুলনায় সার্ভারের সংখ্যা দ্বিগুণ করতে হবে।

চিত্র 1. Horovod এবং প্যারামিটার সার্ভারের সাথে MXNet ব্যবহার করে বিতরণ করা শিক্ষার তুলনা

নীচের সারণী 1-এ, 64টি GPU-তে পরীক্ষা চালানোর সময় আমরা উদাহরণ প্রতি চূড়ান্ত খরচের তুলনা করি। Horovod-এর সাথে MXNet ব্যবহার করলে সর্বনিম্ন খরচে সেরা থ্রুপুট পাওয়া যায়।

সারণি 1. Horovod এবং প্যারামিটার সার্ভারের মধ্যে একটি সার্ভার থেকে কর্মী অনুপাত 2 থেকে 1 এর মধ্যে খরচের তুলনা৷

ধাপ পুনর্গঠন কর

পরবর্তী ধাপে, আমরা আপনাকে দেখাব কিভাবে MXNet এবং Horovod ব্যবহার করে বিতরণকৃত প্রশিক্ষণের ফলাফল পুনরুত্পাদন করা যায়। MXNet এর সাথে ডিস্ট্রিবিউটেড লার্নিং সম্পর্কে আরও জানতে পড়ুন এই পোস্ট.

পইঠা 1

ডিস্ট্রিবিউটেড ট্রেনিং ব্যবহার করার জন্য MXNet ভার্সন 1.4.0 বা তার বেশি এবং Horovod ভার্সন 0.16.0 বা তার বেশি ব্যবহার করে সমজাতীয় ইনস্ট্যান্সের একটি ক্লাস্টার তৈরি করুন। GPU ট্রেনিংয়ের জন্য লাইব্রেরিগুলোও ইনস্টল করতে হবে। আমাদের ইনস্ট্যান্সগুলোর জন্য, আমরা বেছে নিয়েছি Ubuntu 16.04 LinuxGPU ড্রাইভার 396.44, CUDA 9.2, cuDNN লাইব্রেরি 7.2.1, NCCL কমিউনিকেটর 2.2.13 এবং OpenMPI 3.1.1 সহ। আপনি আরও ব্যবহার করতে পারেন অ্যামাজন ডিপ লার্নিং এএমআই, যেখানে এই লাইব্রেরিগুলি আগে থেকেই ইনস্টল করা আছে৷

পইঠা 2

আপনার MXNet প্রশিক্ষণ স্ক্রিপ্টে Horovod API-এর সাথে কাজ করার ক্ষমতা যোগ করুন। MXNet Gluon API-এর উপর ভিত্তি করে নীচের স্ক্রিপ্টটি একটি সাধারণ টেমপ্লেট হিসাবে ব্যবহার করা যেতে পারে। আপনার যদি ইতিমধ্যেই একটি সংশ্লিষ্ট প্রশিক্ষণ স্ক্রিপ্ট থাকে তবে বোল্ড লাইনগুলি প্রয়োজন৷ Horovod-এর সাথে শেখার জন্য আপনাকে এখানে কয়েকটি গুরুত্বপূর্ণ পরিবর্তন করতে হবে:

• সঠিক গ্রাফিক্স কোরে প্রশিক্ষণ সঞ্চালিত হয় তা বোঝার জন্য স্থানীয় Horovod র‌্যাঙ্ক (লাইন 8) অনুযায়ী প্রসঙ্গ সেট করুন।
• একজন কর্মী থেকে সকলের কাছে প্রাথমিক পরামিতিগুলি পাস করুন (লাইন 18) নিশ্চিত করতে যে সমস্ত কর্মী একই প্রাথমিক পরামিতি দিয়ে শুরু করে।
• একটি Horovod তৈরি করুন ডিস্ট্রিবিউটেড অপ্টিমাইজার (লাইন 25) একটি বিতরণ পদ্ধতিতে পরামিতি আপডেট করতে।

সম্পূর্ণ স্ক্রিপ্ট পেতে, অনুগ্রহ করে Horovod-MXNet উদাহরণগুলি পড়ুন এমএনআইএসটি и IMAGEnet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

পইঠা 3

এমপিআই নির্দেশিকা ব্যবহার করে বিতরণ করা প্রশিক্ষণ শুরু করতে কর্মীদের একজনের সাথে লগ ইন করুন। এই উদাহরণে, বিতরণ করা প্রশিক্ষণ চারটি দৃষ্টান্তে চলে প্রতিটি 4টি জিপিইউ সহ, এবং ক্লাস্টারে মোট 16টি জিপিইউ। স্টকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট (SGD) অপ্টিমাইজার নিম্নলিখিত হাইপারপ্যারামিটারগুলির সাথে ব্যবহার করা হবে:

• মিনি-ব্যাচের আকার: 256
• শেখার হার: 0.1
• ভরবেগ: 0.9
• ওজন ক্ষয়: 0.0001

যেহেতু আমরা একটি GPU থেকে 64 GPU-তে স্কেল করেছি, আমরা রৈখিকভাবে GPU গুলির সংখ্যা অনুসারে প্রশিক্ষণের হারকে স্কেল করেছি (0,1 GPU-এর জন্য 1 থেকে 6,4 GPU-এর জন্য 64), যখন GPU প্রতি ছবির সংখ্যা 256 এ রেখেছি (একটি ব্যাচ থেকে) 256 GPU-এর জন্য 1 ছবি থেকে 16 GPU-এর জন্য 384)। GPU-র সংখ্যা বৃদ্ধির সাথে সাথে ওজন ক্ষয় এবং গতির পরামিতি পরিবর্তিত হয়েছে। আমরা NVIDIA Tesla GPUs দ্বারা সমর্থিত float64 গণনার গতি বাড়ানোর জন্য ফরোয়ার্ড পাসের জন্য float16 ডেটা টাইপ এবং গ্রেডিয়েন্টের জন্য float32 সহ মিশ্র নির্ভুল প্রশিক্ষণ ব্যবহার করেছি।

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

উপসংহার

এই নিবন্ধে, আমরা Apache MXNet এবং Horovod ব্যবহার করে বিতরণকৃত মডেল প্রশিক্ষণের জন্য একটি মাপযোগ্য পদ্ধতির দিকে নজর দিয়েছি। আমরা ইমেজনেট ডেটাসেটের প্যারামিটার সার্ভার পদ্ধতির তুলনায় স্কেলিং দক্ষতা এবং খরচ-কার্যকারিতা প্রদর্শন করেছি যার উপর ResNet50-v1 মডেল প্রশিক্ষিত হয়েছিল। আমরা এমন পদক্ষেপগুলিও অন্তর্ভুক্ত করেছি যা আপনি Horovod ব্যবহার করে মাল্টি-ইনস্ট্যান্স প্রশিক্ষণ চালানোর জন্য একটি বিদ্যমান স্ক্রিপ্ট পরিবর্তন করতে ব্যবহার করতে পারেন।

আপনি যদি সবেমাত্র MXNet এবং গভীর শিক্ষা নিয়ে শুরু করেন, তাহলে ইনস্টলেশন পৃষ্ঠায় যান MXNeপ্রথমে MXNet তৈরি করতে। আমরা দৃঢ়ভাবে নিবন্ধ পড়ার সুপারিশ 60 মিনিটের মধ্যে MXNetশুরু করতে.

আপনি যদি ইতিমধ্যেই MXNet এর সাথে কাজ করে থাকেন এবং Horovod-এর সাথে ডিস্ট্রিবিউটেড লার্নিং চেষ্টা করতে চান, তাহলে দেখুন Horovod ইনস্টলেশন পৃষ্ঠা, MXNet থেকে এটি তৈরি করুন এবং উদাহরণটি অনুসরণ করুন এমএনআইএসটি বা IMAGEnet.

* খরচের উপর ভিত্তি করে গণনা করা হয় ঘন্টা হার EC2 দৃষ্টান্তের জন্য AWS

কোর্স সম্পর্কে আরও জানুন "বিগ ডেটাতে শিল্প এমএল"

উত্স: www.habr.com