ការរៀនចែកចាយជាមួយ Apache MXNet និង Horovod

ការបកប្រែអត្ថបទត្រូវបានរៀបចំនៅមុនថ្ងៃចាប់ផ្តើមនៃវគ្គសិក្សា "ML ឧស្សាហកម្មលើទិន្នន័យធំ"

ការបណ្តុះបណ្តាលដែលបានចែកចាយលើករណីកុំព្យូទ័រដែលមានប្រសិទ្ធភាពខ្ពស់ជាច្រើនអាចកាត់បន្ថយពេលវេលាបណ្តុះបណ្តាលនៃបណ្តាញសរសៃប្រសាទជ្រៅទំនើបលើទិន្នន័យដ៏ច្រើនពីសប្តាហ៍ទៅច្រើនម៉ោង ឬសូម្បីតែនាទី ដែលធ្វើឱ្យបច្ចេកទេសបណ្តុះបណ្តាលនេះរីករាលដាលនៅក្នុងការអនុវត្តជាក់ស្តែងនៃការរៀនសូត្រជ្រៅ។ អ្នកប្រើប្រាស់ត្រូវតែយល់ពីរបៀបចែករំលែក និងធ្វើសមកាលកម្មទិន្នន័យនៅលើករណីជាច្រើន ដែលវាជះឥទ្ធិពលយ៉ាងសំខាន់ទៅលើប្រសិទ្ធភាពនៃការធ្វើមាត្រដ្ឋាន។ លើសពីនេះ អ្នកប្រើប្រាស់ក៏គួរដឹងពីរបៀបដាក់ពង្រាយស្គ្រីបបណ្តុះបណ្តាលដែលដំណើរការលើ instance តែមួយទៅកាន់ instances ច្រើន។

នៅក្នុងអត្ថបទនេះ យើងនឹងនិយាយអំពីវិធីងាយស្រួល និងរហ័សក្នុងការចែកចាយការរៀនដោយប្រើបណ្ណាល័យបើកទូលាយការរៀនជ្រៅជ្រះ Apache MXNet និងក្របខ័ណ្ឌសិក្សាដែលបានចែកចាយ Horovod ។ យើងនឹងបង្ហាញយ៉ាងច្បាស់អំពីអត្ថប្រយោជន៍នៃការអនុវត្តនៃក្របខ័ណ្ឌ Horovod និងបង្ហាញពីរបៀបសរសេរស្គ្រីបបណ្តុះបណ្តាល MXNet ដើម្បីឱ្យវាដំណើរការក្នុងលក្ខណៈចែកចាយជាមួយ Horovod ។

តើ Apache MXNet ជាអ្វី?

កម្មវិធី Apache MXNet គឺ​ជា​ក្របខណ្ឌ​ការ​សិក្សា​ស៊ីជម្រៅ​ប្រភព​បើកចំហ​ដែល​ត្រូវ​បាន​ប្រើ​ដើម្បី​បង្កើត បណ្តុះបណ្តាល និង​ប្រើប្រាស់​បណ្តាញ​សរសៃប្រសាទ​ជ្រៅ។ MXNet សង្ខេបពីភាពស្មុគស្មាញដែលទាក់ទងនឹងការអនុវត្តបណ្តាញសរសៃប្រសាទ ដំណើរការបានខ្ពស់ និងអាចធ្វើមាត្រដ្ឋានបាន និងផ្តល់ APIs សម្រាប់ភាសាសរសេរកម្មវិធីពេញនិយមដូចជា ពស់ថ្លាន់, C ++, Clojure, កោះជ្វា, លោកស្រី Julia, R, Scala និងផ្សេងទៀត។

ការបណ្តុះបណ្តាលចែកចាយក្នុង MXNet ជាមួយម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រ

ម៉ូឌុលសិក្សាចែកចាយស្តង់ដារនៅក្នុង MXNet ប្រើវិធីសាស្រ្តម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រ។ វាប្រើសំណុំនៃម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រដើម្បីប្រមូលជម្រាលពីកម្មករនិមួយៗ អនុវត្តការប្រមូលផ្តុំ និងបញ្ជូនជម្រាលដែលបានធ្វើបច្ចុប្បន្នភាពត្រឡប់ទៅកម្មករវិញសម្រាប់ការធ្វើឱ្យប្រសើរឡើងវិញបន្ទាប់។ ការកំណត់សមាមាត្រត្រឹមត្រូវនៃម៉ាស៊ីនមេចំពោះកម្មករគឺជាគន្លឹះនៃការកំណត់មាត្រដ្ឋានប្រកបដោយប្រសិទ្ធភាព។ ប្រសិនបើ​មាន​ម៉ាស៊ីនមេ​ប៉ារ៉ាម៉ែត្រ​តែមួយ វា​អាច​នឹង​ក្លាយ​ជា​ឧបសគ្គ​ក្នុង​ការ​គណនា។ ផ្ទុយទៅវិញ ប្រសិនបើម៉ាស៊ីនមេច្រើនពេកត្រូវបានប្រើប្រាស់ ការទំនាក់ទំនងច្រើនទៅច្រើនអាចបិទការភ្ជាប់បណ្តាញទាំងអស់។

តើ Horovod គឺជាអ្វី

ហូវូដ គឺ​ជា​ក្របខ័ណ្ឌ​សិក្សា​ជ្រៅជ្រះ​ដែល​បាន​ចែកចាយ​ដោយ​បើកចំហរ​ដែល​បាន​បង្កើត​ឡើង​នៅ Uber។ វាប្រើប្រាស់បច្ចេកវិទ្យាឆ្លងកាត់ GPU និងថ្នាំងប្រកបដោយប្រសិទ្ធភាពដូចជា NVIDIA Collective Communications Library (NCCL) និង Message Passing Interface (MPI) ដើម្បីចែកចាយ និងប្រមូលផ្តុំប៉ារ៉ាម៉ែត្រគំរូនៅទូទាំង vorecs ។ វាបង្កើនប្រសិទ្ធភាពការប្រើប្រាស់កម្រិតបញ្ជូនបណ្តាញ និងការធ្វើមាត្រដ្ឋានបានយ៉ាងល្អនៅពេលធ្វើការជាមួយគំរូបណ្តាញសរសៃប្រសាទជ្រៅ។ បច្ចុប្បន្ន​នេះ​វា​គាំទ្រ​ក្របខ័ណ្ឌ​ការ​រៀន​ម៉ាស៊ីន​ដ៏​ពេញ​និយម​មួយ​ចំនួន​គឺ​ MX សុទ្ធ, Tensorflow, Keras, និង PyTorch ។

ការរួមបញ្ចូល MXNet និង Horovod

MXNet រួមបញ្ចូលជាមួយ Horovod តាមរយៈ Distributed Learning APIs ដែលបានកំណត់ក្នុង Horovod។ APIs ទំនាក់ទំនង Horovod horovod.broadcast(), horovod.allgather() и horovod.allreduce() បានអនុវត្តដោយប្រើការហៅត្រឡប់មកវិញអសមកាលនៃម៉ាស៊ីន MXNet ដែលជាផ្នែកមួយនៃក្រាហ្វការងាររបស់វា។ នៅក្នុងវិធីនេះ ភាពអាស្រ័យទិន្នន័យរវាងទំនាក់ទំនង និងការគណនាត្រូវបានគ្រប់គ្រងយ៉ាងងាយស្រួលដោយម៉ាស៊ីន MXNet ដើម្បីជៀសវាងការបាត់បង់ដំណើរការដោយសារតែការធ្វើសមកាលកម្ម។ វត្ថុបង្កើនប្រសិទ្ធភាពចែកចាយដែលបានកំណត់នៅក្នុង Horovod horovod.DistributedOptimizer ពង្រីក ល្អប្រសើរបំផុត។ នៅក្នុង MXNet ដូច្នេះវាហៅ Horovod APIs ដែលត្រូវគ្នាសម្រាប់ការធ្វើបច្ចុប្បន្នភាពប៉ារ៉ាម៉ែត្រចែកចាយ។ ព័ត៌មានលម្អិតនៃការអនុវត្តទាំងនេះមានតម្លាភាពចំពោះអ្នកប្រើប្រាស់ចុងក្រោយ។

ការចាប់ផ្តើមលឿន

អ្នកអាចចាប់ផ្តើមបណ្ដុះបណ្ដាលបណ្តាញសរសៃប្រសាទតូចតាចយ៉ាងឆាប់រហ័សនៅលើសំណុំទិន្នន័យ MNIST ដោយប្រើ MXNet និង Horovod នៅលើ MacBook របស់អ្នក។
ដំបូងដំឡើង mxnet និង horovod ពី PyPI៖

pip install mxnet
pip install horovod

ចំណាំ៖ ប្រសិនបើអ្នកជួបប្រទះបញ្ហាកំឡុងពេល pip ដំឡើង horovodប្រហែលជាអ្នកត្រូវបន្ថែមអថេរ MACOSX_DEPLOYMENT_TARGET=10.vvដែលជាកន្លែង vv - នេះគឺជាកំណែនៃកំណែ MacOS របស់អ្នក ឧទាហរណ៍សម្រាប់ MacOSX Sierra អ្នកនឹងត្រូវសរសេរ MACOSX_DEPLOYMENT_TARGET=10.12 pip ដំឡើង horovod

បន្ទាប់មកដំឡើង OpenMPI ពីទីនេះ.

នៅចុងបញ្ចប់ ទាញយកស្គ្រីបសាកល្បង mxnet_mnist.py ពីទីនេះ ហើយដំណើរការពាក្យបញ្ជាខាងក្រោមនៅក្នុងស្ថានីយ MacBook នៅក្នុងថតការងារ៖

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

វានឹងដំណើរការការបណ្តុះបណ្តាលលើស្នូលពីរនៃ processor របស់អ្នក។ លទ្ធផលនឹងមានដូចខាងក្រោម៖

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

ការបង្ហាញការសម្តែង

នៅពេលបណ្តុះបណ្តាលម៉ូដែល ResNet50-v1 នៅលើសំណុំទិន្នន័យ ImageNet លើ 64 GPUs ដែលមានប្រាំបីករណី p3.16x ធំ EC2 ដែលនីមួយៗមាន 8 NVIDIA Tesla V100 GPUs នៅលើ AWS cloud យើងសម្រេចបាននូវការបណ្តុះបណ្តាល 45000 រូបភាព/វិនាទី (ឧ. ចំនួនគំរូដែលបានបណ្តុះបណ្តាលក្នុងមួយវិនាទី)។ ការបណ្តុះបណ្តាលបានបញ្ចប់ក្នុងរយៈពេល 44 នាទីបន្ទាប់ពី 90 សម័យជាមួយនឹងភាពត្រឹមត្រូវល្អបំផុត 75.7% ។

យើងបានប្រៀបធៀបវាទៅនឹងវិធីសាស្រ្តបណ្តុះបណ្តាលចែកចាយរបស់ MXNet នៃការប្រើប្រាស់ម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រនៅលើ 8, 16, 32 និង 64 GPUs ជាមួយនឹងម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រតែមួយ និងសមាមាត្រម៉ាស៊ីនមេទៅកម្មករពី 1 ទៅ 1 និង 2 ទៅ 1 រៀងគ្នា។ អ្នកអាចឃើញលទ្ធផលនៅក្នុងរូបភាពទី 1 ខាងក្រោម។ នៅលើអ័ក្ស y នៅខាងឆ្វេង របារតំណាងឱ្យចំនួនរូបភាពដែលត្រូវហ្វឹកហាត់ក្នុងមួយវិនាទី បន្ទាត់ឆ្លុះបញ្ចាំងពីប្រសិទ្ធភាពនៃការធ្វើមាត្រដ្ឋាន (នោះគឺសមាមាត្រនៃលំហូរជាក់ស្តែងទៅដ៏ល្អ) នៅលើអ័ក្ស y នៅខាងស្តាំ។ ដូចដែលអ្នកអាចឃើញជម្រើសនៃចំនួនម៉ាស៊ីនមេប៉ះពាល់ដល់ប្រសិទ្ធភាពនៃការធ្វើមាត្រដ្ឋាន។ ប្រសិនបើមានម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រតែមួយ ប្រសិទ្ធភាពនៃការធ្វើមាត្រដ្ឋានធ្លាក់ចុះដល់ 38% លើ 64 GPU ។ ដើម្បីសម្រេចបាននូវប្រសិទ្ធភាពនៃការធ្វើមាត្រដ្ឋានដូចគ្នានឹង Horovod ដែរ អ្នកត្រូវបង្កើនចំនួនម៉ាស៊ីនមេពីរដងធៀបនឹងចំនួនកម្មករ។

រូបភាពទី 1. ការប្រៀបធៀបការរៀនចែកចាយដោយប្រើ MXNet ជាមួយ Horovod និងជាមួយម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រ

នៅក្នុងតារាងទី 1 ខាងក្រោម យើងប្រៀបធៀបការចំណាយចុងក្រោយក្នុងមួយករណី នៅពេលដំណើរការការពិសោធន៍លើ 64 GPUs ។ ការប្រើប្រាស់ MXNet ជាមួយ Horovod ផ្តល់នូវលំហូរដ៏ល្អបំផុតក្នុងការចំណាយទាបបំផុត។

តារាងទី 1. ការប្រៀបធៀបតម្លៃរវាង Horovod និង Parameter Server ជាមួយនឹងសមាមាត្រម៉ាស៊ីនមេទៅកម្មករពី 2 ទៅ 1 ។

ជំហានក្នុងការបន្តពូជ

នៅជំហានបន្ទាប់ យើងនឹងបង្ហាញអ្នកពីរបៀបបង្កើតឡើងវិញនូវលទ្ធផលនៃការបណ្តុះបណ្តាលដែលបានចែកចាយដោយប្រើ MXNet និង Horovod ។ ដើម្បីស្វែងយល់បន្ថែមអំពីការរៀនចែកចាយជាមួយ MXNet សូមអាន ប្រកាសនេះ។.

បោះជំហាន 1

បង្កើតចង្កោមនៃវត្ថុដូចគ្នាជាមួយ MXNet កំណែ 1.4.0 ឬខ្ពស់ជាងនេះ និង Horovod កំណែ 0.16.0 ឬខ្ពស់ជាងនេះ ដើម្បីប្រើការរៀនចែកចាយ។ អ្នកក៏នឹងត្រូវដំឡើងបណ្ណាល័យសម្រាប់ការបណ្តុះបណ្តាល GPU ផងដែរ។ សម្រាប់ឧទាហរណ៍របស់យើង យើងបានជ្រើសរើស Ubuntu 16.04 Linux ជាមួយនឹង GPU Driver 396.44, CUDA 9.2, cuDNN 7.2.1 library, NCCL 2.2.13 communicator និង OpenMPI 3.1.1។ អ្នកក៏អាចប្រើផងដែរ។ Amazon Deep Learning AMIដែលជាកន្លែងដែលបណ្ណាល័យទាំងនេះត្រូវបានដំឡើងជាមុនរួចហើយ។

បោះជំហាន 2

បន្ថែមសមត្ថភាពក្នុងការធ្វើការជាមួយ Horovod API ទៅស្គ្រីបបណ្តុះបណ្តាល MXNet របស់អ្នក។ ស្គ្រីបខាងក្រោមផ្អែកលើ MXNet Gluon API អាចត្រូវបានប្រើជាគំរូសាមញ្ញ។ បន្ទាត់ជាអក្សរដិតគឺចាំបាច់ប្រសិនបើអ្នកមានស្គ្រីបបណ្តុះបណ្តាលដែលត្រូវគ្នារួចហើយ។ នេះគឺជាការផ្លាស់ប្តូរសំខាន់ៗមួយចំនួនដែលអ្នកត្រូវធ្វើដើម្បីរៀនជាមួយ Horovod៖

• កំណត់បរិបទដោយយោងទៅតាមចំណាត់ថ្នាក់ Horovod ក្នុងតំបន់ (បន្ទាត់ទី 8) ដើម្បីយល់ថាការបណ្តុះបណ្តាលត្រូវបានអនុវត្តនៅលើស្នូលក្រាហ្វិកត្រឹមត្រូវ។
• ឆ្លងកាត់ប៉ារ៉ាម៉ែត្រដំបូងពីកម្មករម្នាក់ទៅទាំងអស់ (បន្ទាត់ 18) ដើម្បីធានាថាកម្មករទាំងអស់ចាប់ផ្តើមជាមួយនឹងប៉ារ៉ាម៉ែត្រដំបូងដូចគ្នា។
• បង្កើត Horovod កម្មវិធីចែកចាយបង្កើនប្រសិទ្ធភាព (បន្ទាត់ 25) ដើម្បីធ្វើបច្ចុប្បន្នភាពប៉ារ៉ាម៉ែត្រក្នុងលក្ខណៈចែកចាយ។

ដើម្បីទទួលបានស្គ្រីបពេញលេញ សូមយោងទៅលើឧទាហរណ៍ Horovod-MXNet MNIST и អ៊ីនធឺណេត.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

បោះជំហាន 3

ចូលទៅកម្មករម្នាក់ដើម្បីចាប់ផ្តើមការបណ្តុះបណ្តាលចែកចាយដោយប្រើការណែនាំ MPI ក្នុងឧទាហរណ៍នេះ ការបណ្តុះបណ្តាលដែលបានចែកចាយដំណើរការលើឧទាហរណ៍ចំនួន 4 ដែលមាន GPU ចំនួន 16 នីមួយៗ និង GPU សរុបចំនួន XNUMX នៅក្នុងចង្កោម។ ឧបករណ៍បង្កើនប្រសិទ្ធភាព Stochastic Gradient Descent (SGD) នឹងត្រូវបានប្រើជាមួយប៉ារ៉ាម៉ែត្រខ្ពស់ខាងក្រោម៖

• ទំហំដុំតូច៖ ២៥៦
• អត្រាសិក្សា៖ ០.១
• សន្ទុះ៖ ០.៩
• ការបំបែកទំងន់: 0.0001

នៅពេលដែលយើងធ្វើមាត្រដ្ឋានពី GPU មួយទៅ 64 GPUs យើងធ្វើមាត្រដ្ឋានអត្រាការបណ្តុះបណ្តាលតាមលំដាប់លំដោយយោងទៅតាមចំនួន GPUs (ពី 0,1 សម្រាប់ 1 GPU ទៅ 6,4 សម្រាប់ 64 GPUs) ខណៈពេលដែលរក្សាចំនួនរូបភាពក្នុងមួយ GPU នៅ 256 (ពីបណ្តុំនៃ 256 រូបភាពសម្រាប់ 1 GPU ទៅ 16 សម្រាប់ 384 GPUs) ។ ប៉ារ៉ាម៉ែត្រនៃការថយចុះទម្ងន់ និងសន្ទុះបានផ្លាស់ប្តូរនៅពេលដែលចំនួន GPUs កើនឡើង។ យើងបានប្រើការបណ្តុះបណ្តាលភាពជាក់លាក់ចម្រុះជាមួយនឹងប្រភេទទិន្នន័យ float64 សម្រាប់ forward pass និង float16 សម្រាប់ជម្រាលដើម្បីបង្កើនល្បឿននៃការគណនា float32 ដែលគាំទ្រដោយ NVIDIA Tesla GPUs ។

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

សេចក្តីសន្និដ្ឋាន

នៅក្នុងអត្ថបទនេះ យើងបានពិនិត្យមើលវិធីសាស្រ្តដែលអាចធ្វើមាត្រដ្ឋានបានសម្រាប់ការបណ្តុះបណ្តាលគំរូចែកចាយដោយប្រើ Apache MXNet និង Horovod ។ យើងបានបង្ហាញពីប្រសិទ្ធភាពនៃការធ្វើមាត្រដ្ឋាន និងប្រសិទ្ធភាពនៃការចំណាយធៀបនឹងវិធីសាស្រ្តម៉ាស៊ីនមេប៉ារ៉ាម៉ែត្រនៅលើសំណុំទិន្នន័យ ImageNet ដែលម៉ូដែល ResNet50-v1 ត្រូវបានបណ្តុះបណ្តាល។ យើងក៏បានរួមបញ្ចូលជំហានដែលអ្នកអាចប្រើដើម្បីកែប្រែស្គ្រីបដែលមានស្រាប់ ដើម្បីដំណើរការការបណ្តុះបណ្តាលពហុវត្ថុដោយប្រើ Horovod ។

ប្រសិនបើអ្នកទើបតែចាប់ផ្តើមជាមួយ MXNet និងការរៀនស៊ីជម្រៅ សូមចូលទៅកាន់ទំព័រដំឡើង MXNeដើម្បីបង្កើត MXNet ដំបូង។ យើងក៏សូមផ្តល់អនុសាសន៍យ៉ាងខ្លាំងឱ្យអានអត្ថបទ MXNet ក្នុងរយៈពេល 60 នាទី។ដើម្បីចាប់ផ្តើម។

ប្រសិនបើអ្នកបានធ្វើការជាមួយ MXNet រួចហើយ ហើយចង់សាកល្បងការរៀនចែកចាយជាមួយ Horovod បន្ទាប់មកមើល ទំព័រដំឡើង Horovodបង្កើតវាពី MXNet ហើយធ្វើតាមឧទាហរណ៍ MNIST ឬ អ៊ីនធឺណេត.

* ការចំណាយត្រូវបានគណនាដោយផ្អែកលើ អត្រាម៉ោង AWS សម្រាប់ EC2 Instances

ស្វែងយល់បន្ថែមអំពីវគ្គសិក្សា "ML ឧស្សាហកម្មលើទិន្នន័យធំ"

ប្រភព: www.habr.com