Apache MXNet અને Horovod સાથે વિતરિત શિક્ષણ

લેખનો અનુવાદ કોર્સની શરૂઆતની પૂર્વસંધ્યાએ તૈયાર કરવામાં આવ્યો હતો "બિગ ડેટા પર ઔદ્યોગિક ML"

બહુવિધ ઉચ્ચ-પ્રદર્શન કમ્પ્યુટીંગ દાખલાઓ પર વિતરિત તાલીમ આધુનિક ડીપ ન્યુરલ નેટવર્ક્સના પ્રશિક્ષણ સમયને અઠવાડિયાથી કલાકો અથવા મિનિટ સુધી ઘટાડી શકે છે, જે આ તાલીમ તકનીકને ડીપ લર્નિંગના વ્યવહારુ કાર્યક્રમોમાં પ્રચલિત બનાવે છે. વપરાશકર્તાઓએ સમજવું જોઈએ કે કેવી રીતે બહુવિધ ઉદાહરણોમાં ડેટાને શેર અને સિંક્રનાઇઝ કરવો, જે બદલામાં સ્કેલિંગ કાર્યક્ષમતા પર મોટી અસર કરે છે. આ ઉપરાંત, વપરાશકર્તાઓએ એ પણ જાણવું જોઈએ કે તાલીમ સ્ક્રિપ્ટને કેવી રીતે જમાવવી કે જે એક જ ઉદાહરણ પર બહુવિધ ઉદાહરણો પર ચાલે છે.

આ લેખમાં આપણે ઓપન ડીપ લર્નિંગ લાઇબ્રેરી Apache MXNet અને Horovod ડિસ્ટ્રિબ્યુટેડ લર્નિંગ ફ્રેમવર્કનો ઉપયોગ કરીને શીખવાનું વિતરણ કરવાની ઝડપી અને સરળ રીત વિશે વાત કરીશું. અમે Horovod ફ્રેમવર્કના પ્રદર્શન લાભો સ્પષ્ટપણે દર્શાવીશું અને MXNet તાલીમ સ્ક્રિપ્ટ કેવી રીતે લખવી તે દર્શાવીશું જેથી કરીને તે Horovod સાથે વિતરિત રીતે કાર્ય કરે.

Apache MXNet શું છે

અપાચે એમએક્સનેટ એક ઓપન-સોર્સ ડીપ લર્નિંગ ફ્રેમવર્ક છે જેનો ઉપયોગ ડીપ ન્યુરલ નેટવર્ક બનાવવા, તાલીમ આપવા અને જમાવવા માટે થાય છે. MXNet ન્યુરલ નેટવર્કના અમલીકરણ સાથે સંકળાયેલ જટિલતાઓને અમૂર્ત કરે છે, તે ખૂબ જ કાર્યક્ષમ અને સ્કેલેબલ છે અને લોકપ્રિય પ્રોગ્રામિંગ ભાષાઓ માટે API ઓફર કરે છે જેમ કે પાયથોન, સી ++, ક્લોઝર, જાવા, જુલિયા, R, સ્કાલા અને અન્ય.

પેરામીટર સર્વર સાથે MXNet માં વિતરિત તાલીમ

MXNet માં પ્રમાણભૂત વિતરિત લર્નિંગ મોડ્યુલ પરિમાણ સર્વર અભિગમનો ઉપયોગ કરે છે. તે દરેક કાર્યકર પાસેથી ગ્રેડિએન્ટ્સ એકત્રિત કરવા, એકત્રીકરણ કરવા અને અપડેટેડ ગ્રેડિયન્ટ્સને આગામી ઑપ્ટિમાઇઝેશન પુનરાવૃત્તિ માટે કામદારોને પાછા મોકલવા માટે પેરામીટર સર્વરના સમૂહનો ઉપયોગ કરે છે. કામદારો માટે સર્વરનો સાચો ગુણોત્તર નક્કી કરવો એ અસરકારક સ્કેલિંગની ચાવી છે. જો ત્યાં માત્ર એક જ પેરામીટર સર્વર હોય, તો તે ગણતરીમાં અડચણરૂપ બની શકે છે. તેનાથી વિપરિત, જો ઘણા બધા સર્વર્સનો ઉપયોગ કરવામાં આવે, તો ઘણા-થી-ઘણા સંચાર બધા નેટવર્ક કનેક્શનને બંધ કરી શકે છે.

હોરોવોડ શું છે

હોરોવોડ ઉબેર ખાતે વિકસાવવામાં આવેલ ઓપન ડિસ્ટ્રિબ્યુટેડ ડીપ લર્નિંગ ફ્રેમવર્ક છે. તે સમગ્ર વોરેક્સમાં મોડલ પરિમાણોને વિતરિત કરવા અને એકંદર કરવા માટે NVIDIA કલેક્ટિવ કોમ્યુનિકેશન્સ લાઇબ્રેરી (NCCL) અને મેસેજ પાસિંગ ઇન્ટરફેસ (MPI) જેવી કાર્યક્ષમ ક્રોસ-GPU અને ક્રોસ-નોડ તકનીકોનો લાભ લે છે. તે નેટવર્ક બેન્ડવિડ્થના ઉપયોગને શ્રેષ્ઠ બનાવે છે અને ડીપ ન્યુરલ નેટવર્ક મોડલ્સ સાથે કામ કરતી વખતે સારી રીતે સ્કેલ કરે છે. તે હાલમાં ઘણા લોકપ્રિય મશીન લર્નિંગ ફ્રેમવર્કને સપોર્ટ કરે છે, એટલે કે એમએક્સ નેટ, Tensorflow, Keras, અને PyTorch.

MXNet અને Horovod એકીકરણ

MXNet Horovod માં વ્યાખ્યાયિત ડિસ્ટ્રિબ્યુટેડ લર્નિંગ API દ્વારા Horovod સાથે એકીકૃત થાય છે. Horovod સંચાર APIs horovod.broadcast(), horovod.allgather() и horovod.allreduce() તેના ટાસ્ક ગ્રાફના ભાગ રૂપે, MXNet એન્જિનના અસુમેળ કૉલબેક્સનો ઉપયોગ કરીને અમલમાં મૂકવામાં આવ્યું છે. આ રીતે, સંચાર અને ગણતરી વચ્ચેના ડેટાની અવલંબનને MXNet એન્જિન દ્વારા સહેલાઈથી નિયંત્રિત કરવામાં આવે છે જેથી સુમેળને કારણે કાર્યક્ષમતામાં થતા નુકસાનને ટાળી શકાય. હોરોવોડમાં વ્યાખ્યાયિત વિતરિત ઑપ્ટિમાઇઝર ઑબ્જેક્ટ horovod.DistributedOptimizer વિસ્તરે છે .પ્ટિમાઇઝર MXNet માં જેથી તે વિતરિત પેરામીટર અપડેટ્સ માટે સંબંધિત Horovod API ને કૉલ કરે. આ તમામ અમલીકરણ વિગતો અંતિમ વપરાશકર્તાઓ માટે પારદર્શક છે.

ઝડપી શરૂઆત

તમે તમારા MacBook પર MXNet અને Horovod નો ઉપયોગ કરીને MNIST ડેટાસેટ પર નાના કન્વોલ્યુશનલ ન્યુરલ નેટવર્કને ઝડપથી તાલીમ આપવાનું શરૂ કરી શકો છો.
પ્રથમ, PyPI માંથી mxnet અને horovod ઇન્સ્ટોલ કરો:

pip install mxnet
pip install horovod

નોંધ: જો તમને તે દરમિયાન કોઈ ભૂલ આવે pip horovod સ્થાપિત કરોકદાચ તમારે ચલ ઉમેરવાની જરૂર છે MACOSX_DEPLOYMENT_TARGET=10.vvજ્યાં vv - આ તમારા MacOS સંસ્કરણનું સંસ્કરણ છે, ઉદાહરણ તરીકે, MacOSX Sierra માટે તમારે લખવાની જરૂર પડશે MACOSX_DEPLOYMENT_TARGET=10.12 pip install horovod

પછી OpenMPI ઇન્સ્ટોલ કરો અહીંથી.

અંતે, ટેસ્ટ સ્ક્રિપ્ટ ડાઉનલોડ કરો mxnet_mnist.py અહીંથી અને વર્કિંગ ડિરેક્ટરીમાં MacBook ટર્મિનલમાં નીચેના આદેશો ચલાવો:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

આ તમારા પ્રોસેસરના બે કોરો પર તાલીમ ચલાવશે. આઉટપુટ નીચે મુજબ હશે:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

પ્રદર્શન ડેમો

જ્યારે આઠ ઉદાહરણો સાથે 50 GPUs પર ઇમેજનેટ ડેટાસેટ પર ResNet1-v64 મોડેલને તાલીમ આપતી વખતે p3.16xમોટો EC2, દરેક AWS ક્લાઉડ પર 8 NVIDIA Tesla V100 GPU ધરાવે છે, અમે 45000 ઇમેજ/સેકન્ડ (એટલે ​​​​કે, પ્રતિ સેકન્ડ પ્રશિક્ષિત નમૂનાઓની સંખ્યા) નું તાલીમ થ્રુપુટ પ્રાપ્ત કર્યું છે. 44% ની શ્રેષ્ઠ ચોકસાઈ સાથે 90 યુગ પછી 75.7 મિનિટમાં તાલીમ પૂર્ણ થઈ.

અમે આની સરખામણી MXNet ના 8, 16, 32 અને 64 GPUs પર પેરામીટર સર્વરનો ઉપયોગ કરવાના વિતરિત પ્રશિક્ષણ અભિગમ સાથે અનુક્રમે એક પેરામીટર સર્વર અને સર્વર થી વર્કર રેશિયો 1 થી 1 અને 2 થી 1 સાથે કરી છે. તમે નીચેની આકૃતિ 1 માં પરિણામ જોઈ શકો છો. ડાબી બાજુના y-અક્ષ પર, બાર પ્રતિ સેકન્ડે તાલીમ આપવા માટેની છબીઓની સંખ્યા દર્શાવે છે, રેખાઓ જમણી બાજુના y-અક્ષ પર સ્કેલિંગ કાર્યક્ષમતા (એટલે ​​​​કે, વાસ્તવિક અને આદર્શ થ્રુપુટનો ગુણોત્તર) પ્રતિબિંબિત કરે છે. જેમ તમે જોઈ શકો છો, સર્વરની સંખ્યાની પસંદગી સ્કેલિંગ કાર્યક્ષમતાને અસર કરે છે. જો ત્યાં માત્ર એક પેરામીટર સર્વર હોય, તો 38 GPU પર સ્કેલિંગ કાર્યક્ષમતા ઘટીને 64% થઈ જાય છે. હોરોવોડ જેવી જ સ્કેલિંગ કાર્યક્ષમતા હાંસલ કરવા માટે, તમારે કામદારોની સંખ્યાની તુલનામાં સર્વરની સંખ્યા બમણી કરવાની જરૂર છે.

આકૃતિ 1. હોરોવોડ સાથે અને પેરામીટર સર્વર સાથે MXNet નો ઉપયોગ કરીને વિતરિત શિક્ષણની સરખામણી

નીચેના કોષ્ટક 1 માં, અમે 64 GPUs પર પ્રયોગો ચલાવતી વખતે દાખલા દીઠ અંતિમ ખર્ચની તુલના કરીએ છીએ. Horovod સાથે MXNet નો ઉપયોગ સૌથી ઓછી કિંમતે શ્રેષ્ઠ થ્રુપુટ પ્રદાન કરે છે.

કોષ્ટક 1. હોરોવોડ અને પેરામીટર સર્વર વચ્ચે 2 થી 1 ના સર્વર થી વર્કર રેશિયો સાથે કિંમતની સરખામણી.

પ્રજનન માટે પગલાં

આગળના પગલાઓમાં, અમે તમને બતાવીશું કે MXNet અને Horovod નો ઉપયોગ કરીને વિતરિત તાલીમના પરિણામનું પુનઃઉત્પાદન કેવી રીતે કરવું. MXNet સાથે વિતરિત શિક્ષણ વિશે વધુ જાણવા માટે વાંચો આ પોસ્ટ.

પગલું 1

વિતરિત શિક્ષણનો ઉપયોગ કરવા માટે MXNet સંસ્કરણ 1.4.0 અથવા ઉચ્ચ અને Horovod સંસ્કરણ 0.16.0 અથવા તેથી વધુ સાથે સજાતીય ઉદાહરણોનું ક્લસ્ટર બનાવો. તમારે GPU તાલીમ માટે લાઇબ્રેરીઓ પણ ઇન્સ્ટોલ કરવાની જરૂર પડશે. અમારા ઉદાહરણો માટે, અમે GPU ડ્રાઇવર 16.04, CUDA 396.44, cuDNN 9.2 લાઇબ્રેરી, NCCL 7.2.1 કોમ્યુનિકેટર અને OpenMPI 2.2.13 સાથે ઉબુન્ટુ 3.1.1 Linux પસંદ કર્યું છે. પણ તમે ઉપયોગ કરી શકો છો એમેઝોન ડીપ લર્નિંગ AMI, જ્યાં આ લાઇબ્રેરીઓ પહેલેથી જ પ્રી-ઇન્સ્ટોલ કરેલી છે.

પગલું 2

તમારી MXNet તાલીમ સ્ક્રિપ્ટમાં Horovod API સાથે કામ કરવાની ક્ષમતા ઉમેરો. MXNet Gluon API પર આધારિત નીચેની સ્ક્રિપ્ટનો ઉપયોગ સરળ નમૂના તરીકે કરી શકાય છે. જો તમારી પાસે પહેલેથી જ અનુરૂપ તાલીમ સ્ક્રિપ્ટ હોય તો બોલ્ડમાં લીટીઓ જરૂરી છે. હોરોવોડ સાથે શીખવા માટે તમારે અહીં કેટલાક મહત્વપૂર્ણ ફેરફારો કરવાની જરૂર છે:

• તાલીમ યોગ્ય ગ્રાફિક્સ કોર પર કરવામાં આવે છે તે સમજવા માટે સ્થાનિક હોરોવોડ રેન્ક (લાઇન 8) અનુસાર સંદર્ભ સેટ કરો.
• બધા કામદારો સમાન પ્રારંભિક પરિમાણો સાથે શરૂ થાય તેની ખાતરી કરવા માટે એક કાર્યકરથી બધાને (લાઇન 18) પ્રારંભિક પરિમાણો પસાર કરો.
• હોરોવોડ બનાવો DistributedOptimizer (લાઇન 25) વિતરિત રીતે પરિમાણોને અપડેટ કરવા માટે.

સંપૂર્ણ સ્ક્રિપ્ટ મેળવવા માટે, કૃપા કરીને Horovod-MXNet ઉદાહરણોનો સંદર્ભ લો MNIST и ઈમેજનેટ.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

પગલું 3

MPI નિર્દેશનો ઉપયોગ કરીને વિતરિત તાલીમ શરૂ કરવા માટે કામદારોમાંના એકમાં લોગ ઇન કરો. આ ઉદાહરણમાં, વિતરિત તાલીમ દરેક 4 GPU અને ક્લસ્ટરમાં કુલ 16 GPU સાથે ચાર ઉદાહરણો પર ચાલે છે. સ્ટોકેસ્ટિક ગ્રેડિયન્ટ ડીસેન્ટ (SGD) ઑપ્ટિમાઇઝરનો ઉપયોગ નીચેના હાયપરપેરામીટર્સ સાથે કરવામાં આવશે:

• મીની-બેચનું કદ: 256
• શીખવાનો દર: 0.1
• ગતિ: 0.9
• વજનમાં સડો: 0.0001

જેમ જેમ અમે એક GPU થી 64 GPUs સુધી સ્કેલ કર્યું તેમ, અમે GPU ની સંખ્યા (0,1 GPU માટે 1 થી 6,4 GPUs માટે 64) અનુસાર તાલીમ દરને રેખીય રીતે સ્કેલ કર્યો, જ્યારે GPU દીઠ છબીઓની સંખ્યા 256 પર રાખી ( ની બેચમાંથી 256 GPU માટે 1 છબીઓ 16 GPU માટે 384). GPU ની સંખ્યામાં વધારો થતાં વજનમાં ઘટાડો અને ગતિના પરિમાણો બદલાયા. અમે NVIDIA ટેસ્લા GPUs દ્વારા સમર્થિત ફ્લોટ64 ગણતરીઓને ઝડપી બનાવવા માટે ફોરવર્ડ પાસ માટે float16 ડેટા પ્રકાર અને ગ્રેડિયન્ટ્સ માટે float32 સાથે મિશ્ર ચોકસાઇ તાલીમનો ઉપયોગ કર્યો.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

નિષ્કર્ષ

આ લેખમાં, અમે Apache MXNet અને Horovod નો ઉપયોગ કરીને વિતરિત મોડલ તાલીમ માટે સ્કેલેબલ અભિગમ પર જોયું. અમે ઇમેજનેટ ડેટાસેટ કે જેના પર ResNet50-v1 મોડેલને તાલીમ આપવામાં આવી હતી તેના પર પેરામીટર સર્વર અભિગમની તુલનામાં સ્કેલિંગ કાર્યક્ષમતા અને ખર્ચ-અસરકારકતા દર્શાવી. અમે એવા પગલાં પણ સામેલ કર્યા છે કે જેનો ઉપયોગ તમે Horovod નો ઉપયોગ કરીને મલ્ટી-ઇન્સ્ટન્સ ટ્રેનિંગ ચલાવવા માટે હાલની સ્ક્રિપ્ટમાં ફેરફાર કરવા માટે કરી શકો છો.

જો તમે હમણાં જ MXNet અને ડીપ લર્નિંગ સાથે પ્રારંભ કરી રહ્યાં છો, તો ઇન્સ્ટોલેશન પૃષ્ઠ પર જાઓ MXNeપ્રથમ MXNet બનાવવા માટે. અમે લેખ વાંચવાની પણ ભારપૂર્વક ભલામણ કરીએ છીએ 60 મિનિટમાં MXNetશરૂ કરવા માટે.

જો તમે પહેલેથી જ MXNet સાથે કામ કર્યું છે અને Horovod સાથે ડિસ્ટ્રિબ્યુટેડ લર્નિંગ અજમાવવા માગો છો, તો પછી જુઓ Horovod સ્થાપન પાનું, તેને MXNet થી બનાવો અને ઉદાહરણને અનુસરો MNIST અથવા ઈમેજનેટ.

*ખર્ચની ગણતરી તેના આધારે કરવામાં આવે છે કલાકદીઠ દરો EC2 ઉદાહરણો માટે AWS

કોર્સ વિશે વધુ જાણો "બિગ ડેટા પર ઔદ્યોગિક ML"

સોર્સ: www.habr.com