Apache MXNet ਅਤੇ Horovod ਨਾਲ ਵਿਤਰਿਤ ਸਿਖਲਾਈ

ਲੇਖ ਦਾ ਅਨੁਵਾਦ ਕੋਰਸ ਦੀ ਸ਼ੁਰੂਆਤ ਦੀ ਪੂਰਵ ਸੰਧਿਆ 'ਤੇ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ "ਬਿਗ ਡੇਟਾ 'ਤੇ ਉਦਯੋਗਿਕ ਐਮ.ਐਲ.

ਕਈ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਕੰਪਿਊਟਿੰਗ ਉਦਾਹਰਨਾਂ 'ਤੇ ਵਿਤਰਿਤ ਸਿਖਲਾਈ ਆਧੁਨਿਕ ਡੂੰਘੇ ਤੰਤੂ ਨੈੱਟਵਰਕਾਂ ਦੇ ਸਿਖਲਾਈ ਦੇ ਸਮੇਂ ਨੂੰ ਹਫ਼ਤਿਆਂ ਤੋਂ ਘੰਟਿਆਂ ਜਾਂ ਮਿੰਟਾਂ ਤੱਕ ਵੱਡੀ ਮਾਤਰਾ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਘਟਾ ਸਕਦੀ ਹੈ, ਇਸ ਸਿਖਲਾਈ ਤਕਨੀਕ ਨੂੰ ਡੂੰਘੀ ਸਿਖਲਾਈ ਦੇ ਵਿਹਾਰਕ ਉਪਯੋਗਾਂ ਵਿੱਚ ਪ੍ਰਚਲਿਤ ਬਣਾਉਂਦੀ ਹੈ। ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਹ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਕਈ ਮੌਕਿਆਂ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਕਿਵੇਂ ਸਾਂਝਾ ਅਤੇ ਸਮਕਾਲੀ ਕਰਨਾ ਹੈ, ਜਿਸਦਾ ਬਦਲੇ ਵਿੱਚ ਸਕੇਲਿੰਗ ਕੁਸ਼ਲਤਾ 'ਤੇ ਵੱਡਾ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਇਹ ਵੀ ਪਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਇੱਕ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਨੂੰ ਕਿਵੇਂ ਤੈਨਾਤ ਕਰਨਾ ਹੈ ਜੋ ਇੱਕ ਤੋਂ ਵੱਧ ਮੌਕਿਆਂ 'ਤੇ ਚੱਲਦਾ ਹੈ।

ਇਸ ਲੇਖ ਵਿੱਚ ਅਸੀਂ ਓਪਨ ਡੀਪ ਲਰਨਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਅਪਾਚੇ ਐਮਐਕਸਨੈੱਟ ਅਤੇ ਹੋਰੋਵੋਡ ਡਿਸਟ੍ਰੀਬਿਊਟਡ ਲਰਨਿੰਗ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਿੱਖਣ ਨੂੰ ਵੰਡਣ ਦੇ ਇੱਕ ਤੇਜ਼ ਅਤੇ ਆਸਾਨ ਤਰੀਕੇ ਬਾਰੇ ਗੱਲ ਕਰਾਂਗੇ। ਅਸੀਂ ਹੋਰੋਵੋਡ ਫਰੇਮਵਰਕ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਲਾਭਾਂ ਨੂੰ ਸਪਸ਼ਟ ਰੂਪ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਾਂਗੇ ਅਤੇ ਦਿਖਾਵਾਂਗੇ ਕਿ ਇੱਕ MXNet ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਕਿਵੇਂ ਲਿਖੀ ਜਾਵੇ ਤਾਂ ਜੋ ਇਹ ਹੋਰੋਵੋਡ ਦੇ ਨਾਲ ਵੰਡੇ ਢੰਗ ਨਾਲ ਕੰਮ ਕਰੇ।

Apache MXNet ਕੀ ਹੈ

ਅਪਾਚੇ ਐਮਐਕਸਨੇਟ ਇੱਕ ਓਪਨ-ਸੋਰਸ ਡੂੰਘੀ ਸਿਖਲਾਈ ਫਰੇਮਵਰਕ ਹੈ ਜਿਸਦੀ ਵਰਤੋਂ ਡੂੰਘੇ ਨਿਊਰਲ ਨੈਟਵਰਕ ਬਣਾਉਣ, ਸਿਖਲਾਈ ਅਤੇ ਤੈਨਾਤ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। MXNet ਨਿਊਰਲ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਨਾਲ ਜੁੜੀਆਂ ਜਟਿਲਤਾਵਾਂ ਦਾ ਸਾਰ ਦਿੰਦਾ ਹੈ, ਬਹੁਤ ਜ਼ਿਆਦਾ ਪ੍ਰਦਰਸ਼ਨਸ਼ੀਲ ਅਤੇ ਸਕੇਲੇਬਲ ਹੈ, ਅਤੇ ਪ੍ਰਸਿੱਧ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾਵਾਂ ਲਈ API ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ ਜਿਵੇਂ ਕਿ ਪਾਈਥਨ, C ++, ਕਲੋਜਰੇ, ਜਾਵਾ, ਜੂਲੀਆ, R, ਸਕੇਲਾ ਅਤੇ ਹੋਰ

ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਦੇ ਨਾਲ MXNet ਵਿੱਚ ਸਿਖਲਾਈ ਵੰਡੀ ਗਈ

MXNet ਵਿੱਚ ਮਿਆਰੀ ਵਿਤਰਿਤ ਸਿਖਲਾਈ ਮੋਡੀਊਲ ਇੱਕ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਪਹੁੰਚ ਵਰਤਦਾ ਹੈ. ਇਹ ਹਰੇਕ ਵਰਕਰ ਤੋਂ ਗਰੇਡੀਐਂਟ ਇਕੱਠਾ ਕਰਨ, ਏਕੀਕਰਣ ਕਰਨ, ਅਤੇ ਅਗਲੀ ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਦੁਹਰਾਅ ਲਈ ਕਰਮਚਾਰੀਆਂ ਨੂੰ ਅੱਪਡੇਟ ਕੀਤੇ ਗਰੇਡੀਐਂਟ ਭੇਜਣ ਲਈ ਪੈਰਾਮੀਟਰ ਸਰਵਰਾਂ ਦੇ ਇੱਕ ਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਸਰਵਰਾਂ ਦੇ ਵਰਕਰਾਂ ਦੇ ਸਹੀ ਅਨੁਪਾਤ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨਾ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਸਕੇਲਿੰਗ ਦੀ ਕੁੰਜੀ ਹੈ। ਜੇਕਰ ਸਿਰਫ਼ ਇੱਕ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਹੈ, ਤਾਂ ਇਹ ਗਣਨਾ ਵਿੱਚ ਇੱਕ ਰੁਕਾਵਟ ਬਣ ਸਕਦਾ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਜੇਕਰ ਬਹੁਤ ਸਾਰੇ ਸਰਵਰ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਕਈ-ਤੋਂ-ਬਹੁਤ ਸੰਚਾਰ ਸਾਰੇ ਨੈਟਵਰਕ ਕਨੈਕਸ਼ਨਾਂ ਨੂੰ ਰੋਕ ਸਕਦੇ ਹਨ।

Horovod ਕੀ ਹੈ

ਹੋਰੋਵੋਡ ਉਬੇਰ 'ਤੇ ਵਿਕਸਿਤ ਕੀਤਾ ਗਿਆ ਇੱਕ ਖੁੱਲ੍ਹਾ ਵੰਡਿਆ ਗਿਆ ਡੂੰਘੀ ਸਿਖਲਾਈ ਫਰੇਮਵਰਕ ਹੈ। ਇਹ ਵੋਰੇਕਸ ਵਿੱਚ ਮਾਡਲ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਵੰਡਣ ਅਤੇ ਇਕੱਠੇ ਕਰਨ ਲਈ ਕੁਸ਼ਲ ਕਰਾਸ-ਜੀਪੀਯੂ ਅਤੇ ਕਰਾਸ-ਨੋਡ ਤਕਨਾਲੋਜੀਆਂ ਜਿਵੇਂ ਕਿ NVIDIA ਕਲੈਕਟਿਵ ਕਮਿਊਨੀਕੇਸ਼ਨਜ਼ ਲਾਇਬ੍ਰੇਰੀ (NCCL) ਅਤੇ ਮੈਸੇਜ ਪਾਸਿੰਗ ਇੰਟਰਫੇਸ (MPI) ਦਾ ਲਾਭ ਉਠਾਉਂਦਾ ਹੈ। ਇਹ ਨੈੱਟਵਰਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਂਦਾ ਹੈ ਅਤੇ ਡੂੰਘੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਮਾਡਲਾਂ ਨਾਲ ਕੰਮ ਕਰਦੇ ਸਮੇਂ ਚੰਗੀ ਤਰ੍ਹਾਂ ਸਕੇਲ ਕਰਦਾ ਹੈ। ਇਹ ਵਰਤਮਾਨ ਵਿੱਚ ਕਈ ਪ੍ਰਸਿੱਧ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਫਰੇਮਵਰਕ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਅਰਥਾਤ MX ਨੈੱਟ, Tensorflow, Keras, ਅਤੇ PyTorch.

MXNet ਅਤੇ Horovod ਏਕੀਕਰਣ

MXNet Horovod ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ ਡਿਸਟਰੀਬਿਊਟਿਡ ਲਰਨਿੰਗ APIs ਦੁਆਰਾ Horovod ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਹੁੰਦਾ ਹੈ। ਹੋਰੋਵੋਡ ਸੰਚਾਰ API horovod.broadcast(), horovod.allgather() и horovod.allreduce() MXNet ਇੰਜਣ ਦੇ ਅਸਿੰਕ੍ਰੋਨਸ ਕਾਲਬੈਕਸ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਇਸਦੇ ਟਾਸਕ ਗ੍ਰਾਫ ਦੇ ਹਿੱਸੇ ਵਜੋਂ ਲਾਗੂ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ, ਸੰਚਾਰ ਅਤੇ ਗਣਨਾ ਦੇ ਵਿਚਕਾਰ ਡਾਟਾ ਨਿਰਭਰਤਾ ਨੂੰ ਸਮਕਾਲੀਕਰਨ ਕਾਰਨ ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਨੁਕਸਾਨ ਤੋਂ ਬਚਣ ਲਈ MXNet ਇੰਜਣ ਦੁਆਰਾ ਆਸਾਨੀ ਨਾਲ ਸੰਭਾਲਿਆ ਜਾਂਦਾ ਹੈ। Horovod ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ ਵਿਤਰਿਤ ਆਪਟੀਮਾਈਜ਼ਰ ਆਬਜੈਕਟ horovod.DistributedOptimizer ਫੈਲਦਾ ਹੈ ਅਨੁਕੂਲ MXNet ਵਿੱਚ ਤਾਂ ਕਿ ਇਹ ਵੰਡੇ ਪੈਰਾਮੀਟਰ ਅੱਪਡੇਟਾਂ ਲਈ ਸੰਬੰਧਿਤ ਹੋਰੋਵੋਡ API ਨੂੰ ਕਾਲ ਕਰੇ। ਇਹ ਸਾਰੇ ਲਾਗੂਕਰਨ ਵੇਰਵੇ ਅੰਤਮ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਪਾਰਦਰਸ਼ੀ ਹਨ।

ਤੇਜ਼ ਸ਼ੁਰੂਆਤ

ਤੁਸੀਂ ਆਪਣੇ ਮੈਕਬੁੱਕ 'ਤੇ MXNet ਅਤੇ ਹੋਰੋਵੋਡ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ MNIST ਡੇਟਾਸੇਟ 'ਤੇ ਇੱਕ ਛੋਟੇ ਕਨਵੋਲਿਊਸ਼ਨਲ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਨੂੰ ਤੁਰੰਤ ਸਿਖਲਾਈ ਦੇਣਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।
ਪਹਿਲਾਂ, PyPI ਤੋਂ mxnet ਅਤੇ horovod ਇੰਸਟਾਲ ਕਰੋ:

pip install mxnet
pip install horovod

ਨੋਟ: ਜੇਕਰ ਤੁਹਾਨੂੰ ਇਸ ਦੌਰਾਨ ਕੋਈ ਗਲਤੀ ਆਉਂਦੀ ਹੈ pip horovod ਇੰਸਟਾਲ ਕਰੋਸ਼ਾਇਦ ਤੁਹਾਨੂੰ ਇੱਕ ਵੇਰੀਏਬਲ ਜੋੜਨ ਦੀ ਲੋੜ ਹੈ MACOSX_DEPLOYMENT_TARGET=10.vvਕਿੱਥੇ vv - ਇਹ ਤੁਹਾਡੇ MacOS ਸੰਸਕਰਣ ਦਾ ਸੰਸਕਰਣ ਹੈ, ਉਦਾਹਰਨ ਲਈ, MacOSX Sierra ਲਈ ਤੁਹਾਨੂੰ ਲਿਖਣ ਦੀ ਲੋੜ ਹੋਵੇਗੀ MACOSX_DEPLOYMENT_TARGET=10.12 pip install horovod

ਫਿਰ OpenMPI ਇੰਸਟਾਲ ਕਰੋ ਇੱਥੋਂ.

ਅੰਤ ਵਿੱਚ, ਟੈਸਟ ਸਕ੍ਰਿਪਟ ਨੂੰ ਡਾਊਨਲੋਡ ਕਰੋ mxnet_mnist.py ਇੱਥੋਂ ਅਤੇ ਵਰਕਿੰਗ ਡਾਇਰੈਕਟਰੀ ਵਿੱਚ ਮੈਕਬੁੱਕ ਟਰਮੀਨਲ ਵਿੱਚ ਹੇਠ ਲਿਖੀਆਂ ਕਮਾਂਡਾਂ ਚਲਾਓ:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

ਇਹ ਤੁਹਾਡੇ ਪ੍ਰੋਸੈਸਰ ਦੇ ਦੋ ਕੋਰਾਂ 'ਤੇ ਸਿਖਲਾਈ ਚਲਾਏਗਾ। ਆਉਟਪੁੱਟ ਹੇਠ ਲਿਖੇ ਅਨੁਸਾਰ ਹੋਵੇਗੀ:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

ਪ੍ਰਦਰਸ਼ਨ ਡੈਮੋ

ਅੱਠ ਉਦਾਹਰਨਾਂ ਵਾਲੇ 50 GPUs 'ਤੇ ਇੱਕ ImageNet ਡੇਟਾਸੇਟ 'ਤੇ ResNet1-v64 ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਵੇਲੇ p3.16x ਵੱਡਾ EC2, ਹਰੇਕ AWS ਕਲਾਉਡ 'ਤੇ 8 NVIDIA ਟੇਸਲਾ V100 GPU ਰੱਖਦਾ ਹੈ, ਅਸੀਂ 45000 ਚਿੱਤਰ/ਸਕਿੰਟ (ਅਰਥਾਤ, ਪ੍ਰਤੀ ਸਕਿੰਟ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਨਮੂਨਿਆਂ ਦੀ ਗਿਣਤੀ) ਦੀ ਸਿਖਲਾਈ ਥਰੂਪੁੱਟ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ। 44% ਦੀ ਸਭ ਤੋਂ ਵਧੀਆ ਸ਼ੁੱਧਤਾ ਦੇ ਨਾਲ 90 ਯੁੱਗਾਂ ਦੇ ਬਾਅਦ 75.7 ਮਿੰਟਾਂ ਵਿੱਚ ਸਿਖਲਾਈ ਪੂਰੀ ਹੋਈ।

ਅਸੀਂ ਇਸਦੀ ਤੁਲਨਾ ਕ੍ਰਮਵਾਰ 8 ਤੋਂ 16 ਅਤੇ 32 ਤੋਂ 64 ਦੇ ਇੱਕ ਸਿੰਗਲ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਅਤੇ ਇੱਕ ਸਰਵਰ ਤੋਂ ਵਰਕਰ ਅਨੁਪਾਤ ਦੇ ਨਾਲ 1, 1, 2 ਅਤੇ 1 GPUs 'ਤੇ ਪੈਰਾਮੀਟਰ ਸਰਵਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ MXNet ਦੀ ਵੰਡੀ ਸਿਖਲਾਈ ਪਹੁੰਚ ਨਾਲ ਕੀਤੀ ਹੈ। ਤੁਸੀਂ ਹੇਠਾਂ ਚਿੱਤਰ 1 ਵਿੱਚ ਨਤੀਜਾ ਦੇਖ ਸਕਦੇ ਹੋ। ਖੱਬੇ ਪਾਸੇ y-ਧੁਰੇ 'ਤੇ, ਪੱਟੀਆਂ ਪ੍ਰਤੀ ਸਕਿੰਟ ਸਿਖਲਾਈ ਲਈ ਚਿੱਤਰਾਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਹਨ, ਲਾਈਨਾਂ ਸੱਜੇ ਪਾਸੇ y-ਧੁਰੇ 'ਤੇ ਸਕੇਲਿੰਗ ਕੁਸ਼ਲਤਾ (ਅਰਥਾਤ, ਆਦਰਸ਼ ਥ੍ਰੋਪੁੱਟ ਦਾ ਅਸਲ ਅਨੁਪਾਤ) ਨੂੰ ਦਰਸਾਉਂਦੀਆਂ ਹਨ। ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਵੇਖ ਸਕਦੇ ਹੋ, ਸਰਵਰਾਂ ਦੀ ਗਿਣਤੀ ਦੀ ਚੋਣ ਸਕੇਲਿੰਗ ਕੁਸ਼ਲਤਾ ਨੂੰ ਪ੍ਰਭਾਵਤ ਕਰਦੀ ਹੈ. ਜੇਕਰ ਸਿਰਫ਼ ਇੱਕ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਹੈ, ਤਾਂ ਸਕੇਲਿੰਗ ਕੁਸ਼ਲਤਾ 38 GPUs 'ਤੇ 64% ਤੱਕ ਘੱਟ ਜਾਂਦੀ ਹੈ। ਹੋਰੋਵੋਡ ਦੇ ਸਮਾਨ ਸਕੇਲਿੰਗ ਕੁਸ਼ਲਤਾ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਕਰਮਚਾਰੀਆਂ ਦੀ ਗਿਣਤੀ ਦੇ ਮੁਕਾਬਲੇ ਸਰਵਰਾਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਦੁੱਗਣਾ ਕਰਨ ਦੀ ਲੋੜ ਹੈ।

ਚਿੱਤਰ 1. ਹੋਰੋਵੋਡ ਅਤੇ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਨਾਲ MXNet ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵਿਤਰਿਤ ਸਿਖਲਾਈ ਦੀ ਤੁਲਨਾ

ਹੇਠਾਂ ਦਿੱਤੀ ਸਾਰਣੀ 1 ਵਿੱਚ, ਅਸੀਂ 64 GPUs 'ਤੇ ਪ੍ਰਯੋਗਾਂ ਨੂੰ ਚਲਾਉਣ ਵੇਲੇ ਪ੍ਰਤੀ ਉਦਾਹਰਣ ਅੰਤਿਮ ਲਾਗਤ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹਾਂ। ਹੋਰੋਵੋਡ ਦੇ ਨਾਲ MXNet ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸਭ ਤੋਂ ਘੱਟ ਕੀਮਤ 'ਤੇ ਵਧੀਆ ਥ੍ਰਰੂਪੁਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਸਾਰਣੀ 1. 2 ਤੋਂ 1 ਦੇ ਸਰਵਰ ਤੋਂ ਵਰਕਰ ਅਨੁਪਾਤ ਦੇ ਨਾਲ ਹੋਰੋਵੋਡ ਅਤੇ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਵਿਚਕਾਰ ਲਾਗਤ ਦੀ ਤੁਲਨਾ।

ਦੁਬਾਰਾ ਪੈਦਾ ਕਰਨ ਲਈ ਕਦਮ

ਅਗਲੇ ਕਦਮਾਂ ਵਿੱਚ, ਅਸੀਂ ਤੁਹਾਨੂੰ ਦਿਖਾਵਾਂਗੇ ਕਿ MXNet ਅਤੇ Horovod ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵੰਡੀ ਸਿਖਲਾਈ ਦੇ ਨਤੀਜੇ ਨੂੰ ਕਿਵੇਂ ਦੁਬਾਰਾ ਤਿਆਰ ਕਰਨਾ ਹੈ। MXNet ਨਾਲ ਵਿਤਰਿਤ ਸਿਖਲਾਈ ਬਾਰੇ ਹੋਰ ਜਾਣਨ ਲਈ ਪੜ੍ਹੋ ਇਹ ਪੋਸਟ.

ਕਦਮ 1

ਵਿਤਰਿਤ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ MXNet ਸੰਸਕਰਣ 1.4.0 ਜਾਂ ਇਸ ਤੋਂ ਉੱਚੇ ਅਤੇ ਹੋਰੋਵੋਡ ਸੰਸਕਰਣ 0.16.0 ਜਾਂ ਇਸ ਤੋਂ ਉੱਚੇ ਸੰਸਕਰਣਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਬਣਾਓ। ਤੁਹਾਨੂੰ GPU ਸਿਖਲਾਈ ਲਈ ਲਾਇਬ੍ਰੇਰੀਆਂ ਵੀ ਸਥਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੋਵੇਗੀ। ਸਾਡੀਆਂ ਉਦਾਹਰਣਾਂ ਲਈ, ਅਸੀਂ GPU ਡ੍ਰਾਈਵਰ 16.04, CUDA 396.44, cuDNN 9.2 ਲਾਇਬ੍ਰੇਰੀ, NCCL 7.2.1 ਕਮਿਊਨੀਕੇਟਰ ਅਤੇ OpenMPI 2.2.13 ਦੇ ਨਾਲ, Ubuntu 3.1.1 Linux ਨੂੰ ਚੁਣਿਆ ਹੈ। ਵੀ ਵਰਤ ਸਕਦੇ ਹੋ ਐਮਾਜ਼ਾਨ ਡੀਪ ਲਰਨਿੰਗ ਏ.ਐੱਮ.ਆਈ, ਜਿੱਥੇ ਇਹ ਲਾਇਬ੍ਰੇਰੀਆਂ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਸਥਾਪਿਤ ਹਨ।

ਕਦਮ 2

ਆਪਣੀ MXNet ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਵਿੱਚ Horovod API ਨਾਲ ਕੰਮ ਕਰਨ ਦੀ ਯੋਗਤਾ ਸ਼ਾਮਲ ਕਰੋ। MXNet Gluon API 'ਤੇ ਆਧਾਰਿਤ ਹੇਠਾਂ ਦਿੱਤੀ ਸਕ੍ਰਿਪਟ ਨੂੰ ਸਧਾਰਨ ਟੈਂਪਲੇਟ ਵਜੋਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਸੰਬੰਧਿਤ ਸਿਖਲਾਈ ਸਕ੍ਰਿਪਟ ਹੈ ਤਾਂ ਬੋਲਡ ਵਿੱਚ ਲਾਈਨਾਂ ਦੀ ਲੋੜ ਹੈ। ਇੱਥੇ ਕੁਝ ਮਹੱਤਵਪੂਰਨ ਤਬਦੀਲੀਆਂ ਹਨ ਜੋ ਤੁਹਾਨੂੰ ਹੋਰੋਵੋਡ ਨਾਲ ਸਿੱਖਣ ਲਈ ਕਰਨ ਦੀ ਲੋੜ ਹੈ:

• ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਸਿਖਲਾਈ ਸਹੀ ਗ੍ਰਾਫਿਕਸ ਕੋਰ 'ਤੇ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਸਥਾਨਕ ਹੋਰੋਵੋਡ ਰੈਂਕ (ਲਾਈਨ 8) ਦੇ ਅਨੁਸਾਰ ਸੰਦਰਭ ਸੈਟ ਕਰੋ।
• ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਕਿ ਸਾਰੇ ਕਰਮਚਾਰੀ ਇੱਕੋ ਸ਼ੁਰੂਆਤੀ ਮਾਪਦੰਡਾਂ ਨਾਲ ਸ਼ੁਰੂ ਕਰਦੇ ਹਨ, ਇੱਕ ਕਰਮਚਾਰੀ ਤੋਂ ਸਾਰੇ (ਲਾਈਨ 18) ਨੂੰ ਸ਼ੁਰੂਆਤੀ ਮਾਪਦੰਡ ਪਾਸ ਕਰੋ।
• ਇੱਕ ਹੋਰੋਵੋਡ ਬਣਾਓ DistributedOptimizer (ਲਾਈਨ 25) ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਵੰਡੇ ਢੰਗ ਨਾਲ ਅੱਪਡੇਟ ਕਰਨ ਲਈ।

ਪੂਰੀ ਸਕ੍ਰਿਪਟ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਕਿਰਪਾ ਕਰਕੇ Horovod-MXNet ਉਦਾਹਰਨਾਂ ਵੇਖੋ MNIST и ਚਿੱਤਰਨੈੱਟ.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

ਕਦਮ 3

MPI ਨਿਰਦੇਸ਼ਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵੰਡੀ ਸਿਖਲਾਈ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਵਰਕਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਵਿੱਚ ਲੌਗ ਇਨ ਕਰੋ। ਇਸ ਉਦਾਹਰਨ ਵਿੱਚ, ਡਿਸਟਰੀਬਿਊਟਿਡ ਟਰੇਨਿੰਗ ਚਾਰ ਮੌਕਿਆਂ 'ਤੇ 4 GPU ਦੇ ਨਾਲ ਚੱਲਦੀ ਹੈ, ਅਤੇ ਕਲੱਸਟਰ ਵਿੱਚ ਕੁੱਲ 16 GPUs। ਸਟੋਚੈਸਟਿਕ ਗਰੇਡੀਐਂਟ ਡੀਸੈਂਟ (SGD) ਆਪਟੀਮਾਈਜ਼ਰ ਨੂੰ ਹੇਠਾਂ ਦਿੱਤੇ ਹਾਈਪਰਪੈਰਾਮੀਟਰਾਂ ਨਾਲ ਵਰਤਿਆ ਜਾਵੇਗਾ:

• ਮਿੰਨੀ-ਬੈਚ ਦਾ ਆਕਾਰ: 256
• ਸਿੱਖਣ ਦੀ ਦਰ: 0.1
• ਗਤੀ: 0.9
• ਭਾਰ ਘਟਣਾ: 0.0001

ਜਿਵੇਂ ਕਿ ਅਸੀਂ ਇੱਕ GPU ਤੋਂ 64 GPUs ਤੱਕ ਸਕੇਲ ਕੀਤਾ, ਅਸੀਂ GPUs ਦੀ ਗਿਣਤੀ (0,1 GPU ਲਈ 1 ਤੋਂ 6,4 GPUs ਲਈ 64 ਤੱਕ) ਦੇ ਅਨੁਸਾਰ ਸਿਖਲਾਈ ਦੀ ਦਰ ਨੂੰ ਰੇਖਿਕ ਤੌਰ 'ਤੇ ਸਕੇਲ ਕੀਤਾ, ਜਦੋਂ ਕਿ ਪ੍ਰਤੀ GPU ਚਿੱਤਰਾਂ ਦੀ ਗਿਣਤੀ 256 'ਤੇ ਰੱਖਦੇ ਹੋਏ ( ਦੇ ਇੱਕ ਬੈਚ ਤੋਂ 256 GPU ਲਈ 1 ਚਿੱਤਰ 16 GPU ਲਈ 384)। GPU ਦੀ ਗਿਣਤੀ ਵਧਣ ਦੇ ਨਾਲ ਭਾਰ ਘਟਣ ਅਤੇ ਮੋਮੈਂਟਮ ਪੈਰਾਮੀਟਰ ਬਦਲ ਗਏ। ਅਸੀਂ NVIDIA Tesla GPUs ਦੁਆਰਾ ਸਮਰਥਿਤ float64 ਗਣਨਾਵਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ ਫਾਰਵਰਡ ਪਾਸ ਲਈ float16 ਡੇਟਾ ਕਿਸਮ ਅਤੇ ਗਰੇਡੀਐਂਟ ਲਈ float32 ਦੇ ਨਾਲ ਮਿਸ਼ਰਤ ਸ਼ੁੱਧਤਾ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕੀਤੀ।

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

ਸਿੱਟਾ

ਇਸ ਲੇਖ ਵਿੱਚ, ਅਸੀਂ ਅਪਾਚੇ ਐਮਐਕਸਨੈੱਟ ਅਤੇ ਹੋਰੋਵੋਡ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵਿਤਰਿਤ ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਇੱਕ ਸਕੇਲੇਬਲ ਪਹੁੰਚ ਨੂੰ ਦੇਖਿਆ। ਅਸੀਂ ImageNet ਡੇਟਾਸੇਟ 'ਤੇ ਪੈਰਾਮੀਟਰ ਸਰਵਰ ਪਹੁੰਚ ਦੇ ਮੁਕਾਬਲੇ ਸਕੇਲਿੰਗ ਕੁਸ਼ਲਤਾ ਅਤੇ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀਤਾ ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕੀਤਾ ਜਿਸ 'ਤੇ ResNet50-v1 ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਸੀ। ਅਸੀਂ ਉਹ ਕਦਮ ਵੀ ਸ਼ਾਮਲ ਕੀਤੇ ਹਨ ਜਿਨ੍ਹਾਂ ਦੀ ਵਰਤੋਂ ਤੁਸੀਂ ਹੋਰੋਵੋਡ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਲਟੀ-ਇਨਸਟੈਂਸ ਟਰੇਨਿੰਗ ਚਲਾਉਣ ਲਈ ਮੌਜੂਦਾ ਸਕ੍ਰਿਪਟ ਨੂੰ ਸੋਧਣ ਲਈ ਕਰ ਸਕਦੇ ਹੋ।

ਜੇਕਰ ਤੁਸੀਂ MXNet ਅਤੇ ਡੂੰਘੀ ਸਿਖਲਾਈ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਇੰਸਟਾਲੇਸ਼ਨ ਪੰਨੇ 'ਤੇ ਜਾਓ MXNeਪਹਿਲਾਂ MXNet ਬਣਾਉਣ ਲਈ। ਅਸੀਂ ਲੇਖ ਨੂੰ ਪੜ੍ਹਨ ਦੀ ਜ਼ੋਰਦਾਰ ਸਿਫਾਰਸ਼ ਕਰਦੇ ਹਾਂ 60 ਮਿੰਟਾਂ ਵਿੱਚ MXNetਸ਼ੁਰੂ ਕਰਨ ਲਈ.

ਜੇਕਰ ਤੁਸੀਂ ਪਹਿਲਾਂ ਹੀ MXNet ਨਾਲ ਕੰਮ ਕਰ ਚੁੱਕੇ ਹੋ ਅਤੇ ਹੋਰੋਵੋਡ ਨਾਲ ਵਿਤਰਿਤ ਸਿਖਲਾਈ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਇਸ 'ਤੇ ਇੱਕ ਨਜ਼ਰ ਮਾਰੋ Horovod ਇੰਸਟਾਲੇਸ਼ਨ ਸਫ਼ਾ, ਇਸਨੂੰ MXNet ਤੋਂ ਬਣਾਓ ਅਤੇ ਉਦਾਹਰਨ ਦੀ ਪਾਲਣਾ ਕਰੋ MNIST ਜ ਚਿੱਤਰਨੈੱਟ.

* ਲਾਗਤ ਦੇ ਆਧਾਰ 'ਤੇ ਗਣਨਾ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਘੰਟੇ ਦੀ ਦਰ EC2 ਮੌਕਿਆਂ ਲਈ AWS

ਕੋਰਸ ਬਾਰੇ ਹੋਰ ਜਾਣੋ "ਬਿਗ ਡੇਟਾ 'ਤੇ ਉਦਯੋਗਿਕ ਐਮ.ਐਲ.

ਸਰੋਤ: www.habr.com