Apache MXNet, Horovod എന്നിവയ്‌ക്കൊപ്പം വിതരണം ചെയ്‌ത പഠനം

കോഴ്‌സ് തുടങ്ങുന്നതിന്റെ തലേന്ന് തയ്യാറാക്കിയതാണ് ലേഖനത്തിന്റെ പരിഭാഷ "ബിഗ് ഡാറ്റയിൽ വ്യാവസായിക എം.എൽ"

ഒന്നിലധികം ഉയർന്ന പ്രകടനമുള്ള കമ്പ്യൂട്ടിംഗ് സംഭവങ്ങളിൽ വിതരണം ചെയ്ത പരിശീലനം ആധുനിക ആഴത്തിലുള്ള ന്യൂറൽ നെറ്റ്‌വർക്കുകളുടെ വലിയ അളവിലുള്ള ഡാറ്റയിൽ ആഴ്‌ചകൾ മുതൽ മണിക്കൂറുകളോ മിനിറ്റുകളോ വരെ പരിശീലന സമയം കുറയ്ക്കും, ഇത് ആഴത്തിലുള്ള പഠനത്തിന്റെ പ്രായോഗിക പ്രയോഗങ്ങളിൽ ഈ പരിശീലന രീതി പ്രബലമാക്കുന്നു. ഒന്നിലധികം സന്ദർഭങ്ങളിൽ ഡാറ്റ എങ്ങനെ പങ്കിടാമെന്നും സമന്വയിപ്പിക്കാമെന്നും ഉപയോക്താക്കൾ മനസ്സിലാക്കണം, ഇത് സ്കെയിലിംഗ് കാര്യക്ഷമതയിൽ വലിയ സ്വാധീനം ചെലുത്തുന്നു. കൂടാതെ, ഒരു ഇൻസ്‌റ്റൻസിലും ഒന്നിലധികം സംഭവങ്ങളിലും പ്രവർത്തിക്കുന്ന പരിശീലന സ്‌ക്രിപ്റ്റ് എങ്ങനെ വിന്യസിക്കണമെന്നും ഉപയോക്താക്കൾ അറിഞ്ഞിരിക്കണം.

ഈ ലേഖനത്തിൽ, ഓപ്പൺ ഡീപ് ലേണിംഗ് ലൈബ്രറി Apache MXNet, ഹൊറോവോഡ് ഡിസ്ട്രിബ്യൂഡ് ലേണിംഗ് ഫ്രെയിംവർക്ക് എന്നിവ ഉപയോഗിച്ച് പഠനം വിതരണം ചെയ്യുന്നതിനുള്ള വേഗമേറിയതും എളുപ്പവുമായ മാർഗത്തെ കുറിച്ച് നമ്മൾ സംസാരിക്കും. Horovod ചട്ടക്കൂടിന്റെ പ്രകടന നേട്ടങ്ങൾ ഞങ്ങൾ വ്യക്തമായി കാണിക്കുകയും ഒരു MXNet പരിശീലന സ്ക്രിപ്റ്റ് എങ്ങനെ എഴുതാമെന്ന് കാണിക്കുകയും ചെയ്യും, അങ്ങനെ അത് ഹൊറോവോഡിനൊപ്പം വിതരണം ചെയ്യുന്ന രീതിയിൽ പ്രവർത്തിക്കും.

എന്താണ് അപ്പാച്ചെ MXNet

അപ്പാച്ചെ MXNet ആഴത്തിലുള്ള ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ സൃഷ്‌ടിക്കാനും പരിശീലിപ്പിക്കാനും വിന്യസിക്കാനും ഉപയോഗിക്കുന്ന ഒരു ഓപ്പൺ സോഴ്‌സ് ആഴത്തിലുള്ള പഠന ചട്ടക്കൂടാണ്. ന്യൂറൽ നെറ്റ്‌വർക്കുകൾ നടപ്പിലാക്കുന്നതുമായി ബന്ധപ്പെട്ട സങ്കീർണ്ണതകളെ MXNet സംഗ്രഹിക്കുന്നു, ഉയർന്ന പ്രകടനവും അളക്കാവുന്നതുമാണ്, കൂടാതെ ജനപ്രിയ പ്രോഗ്രാമിംഗ് ഭാഷകൾക്കായി API-കൾ വാഗ്ദാനം ചെയ്യുന്നു പൈത്തൺ, സി ++, ക്ലോജൂർ, ജാവ, ജൂലിയ, R, സ്കാല മറ്റുള്ളവ.

പാരാമീറ്റർ സെർവർ ഉപയോഗിച്ച് MXNet-ൽ വിതരണം ചെയ്ത പരിശീലനം

MXNet-ലെ സ്റ്റാൻഡേർഡ് ഡിസ്ട്രിബ്യൂഡ് ലേണിംഗ് മൊഡ്യൂൾ ഒരു പാരാമീറ്റർ സെർവർ സമീപനം ഉപയോഗിക്കുന്നു. ഓരോ തൊഴിലാളിയിൽ നിന്നും ഗ്രേഡിയന്റുകൾ ശേഖരിക്കുന്നതിനും അഗ്രഗേഷൻ നടത്തുന്നതിനും അടുത്ത ഒപ്റ്റിമൈസേഷൻ ആവർത്തനത്തിനായി തൊഴിലാളികൾക്ക് പുതുക്കിയ ഗ്രേഡിയന്റുകൾ തിരികെ അയയ്ക്കുന്നതിനും ഇത് ഒരു കൂട്ടം പാരാമീറ്റർ സെർവറുകൾ ഉപയോഗിക്കുന്നു. സെർവറുകളുടെയും തൊഴിലാളികളുടെയും ശരിയായ അനുപാതം നിർണ്ണയിക്കുന്നത് ഫലപ്രദമായ സ്കെയിലിംഗിന്റെ താക്കോലാണ്. ഒരു പാരാമീറ്റർ സെർവർ മാത്രമേ ഉള്ളൂവെങ്കിൽ, അത് കണക്കുകൂട്ടലുകളിൽ ഒരു തടസ്സമായി മാറിയേക്കാം. നേരെമറിച്ച്, വളരെയധികം സെർവറുകൾ ഉപയോഗിക്കുകയാണെങ്കിൽ, നിരവധി ആശയവിനിമയങ്ങൾക്ക് എല്ലാ നെറ്റ്‌വർക്ക് കണക്ഷനുകളും തടസ്സപ്പെടുത്താം.

എന്താണ് ഹൊറോവോഡ്

ഹൊറോവോഡ് Uber-ൽ വികസിപ്പിച്ചെടുത്ത ഒരു തുറന്ന വിതരണ ഡീപ് ലേണിംഗ് ചട്ടക്കൂടാണ്. വോറെക്കുകളിലുടനീളം മോഡൽ പാരാമീറ്ററുകൾ വിതരണം ചെയ്യുന്നതിനും സംയോജിപ്പിക്കുന്നതിനും ഇത് കാര്യക്ഷമമായ ക്രോസ്-ജിപിയു, ക്രോസ്-നോഡ് സാങ്കേതികവിദ്യകളായ എൻവിഡിയ കളക്ടീവ് കമ്മ്യൂണിക്കേഷൻസ് ലൈബ്രറി (എൻസിസിഎൽ), മെസേജ് പാസിംഗ് ഇന്റർഫേസ് (എംപിഐ) എന്നിവ പ്രയോജനപ്പെടുത്തുന്നു. ആഴത്തിലുള്ള ന്യൂറൽ നെറ്റ്‌വർക്ക് മോഡലുകൾക്കൊപ്പം പ്രവർത്തിക്കുമ്പോൾ നെറ്റ്‌വർക്ക് ബാൻഡ്‌വിഡ്ത്ത്, സ്കെയിലുകളുടെ ഉപയോഗം ഇത് ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. ഇത് നിലവിൽ നിരവധി ജനപ്രിയ മെഷീൻ ലേണിംഗ് ചട്ടക്കൂടുകളെ പിന്തുണയ്ക്കുന്നു, അതായത് MX നെറ്റ്, Tensorflow, Keras, PyTorch.

MXNet, Horovod സംയോജനം

ഹൊറോവോഡിൽ നിർവചിച്ചിരിക്കുന്ന ഡിസ്ട്രിബ്യൂട്ടഡ് ലേണിംഗ് API-കൾ വഴി MXNet Horovod-മായി സംയോജിപ്പിക്കുന്നു. Horovod ആശയവിനിമയ API-കൾ horovod.broadcast(), horovod.allgather() и horovod.allreduce() ടാസ്‌ക് ഗ്രാഫിന്റെ ഭാഗമായി MXNet എഞ്ചിന്റെ അസിൻക്രണസ് കോൾബാക്കുകൾ ഉപയോഗിച്ച് നടപ്പിലാക്കി. ഈ രീതിയിൽ, സിൻക്രൊണൈസേഷൻ മൂലമുള്ള പ്രകടന നഷ്ടം ഒഴിവാക്കാൻ, ആശയവിനിമയത്തിനും കംപ്യൂട്ടേഷനും ഇടയിലുള്ള ഡാറ്റ ഡിപൻഡൻസികൾ MXNet എഞ്ചിൻ എളുപ്പത്തിൽ കൈകാര്യം ചെയ്യുന്നു. ഹൊറോവോഡിൽ നിർവചിച്ചിരിക്കുന്ന ഡിസ്ട്രിബ്യൂട്ടഡ് ഒപ്റ്റിമൈസർ ഒബ്‌ജക്റ്റ് horovod.DistributedOptimizer വികസിക്കുന്നു ഒപ്റ്റിമൈസർ MXNet-ൽ അത് വിതരണം ചെയ്ത പാരാമീറ്റർ അപ്‌ഡേറ്റുകൾക്കായി അനുബന്ധ Horovod API-കളെ വിളിക്കുന്നു. ഈ നടപ്പാക്കൽ വിശദാംശങ്ങളെല്ലാം അന്തിമ ഉപയോക്താക്കൾക്ക് സുതാര്യമാണ്.

വേഗത്തിലുള്ള തുടക്കം

നിങ്ങളുടെ MacBook-ൽ MXNet, Horovod എന്നിവ ഉപയോഗിച്ച് MNIST ഡാറ്റാസെറ്റിൽ ഒരു ചെറിയ കൺവല്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്ക് വേഗത്തിൽ പരിശീലിപ്പിക്കാൻ നിങ്ങൾക്ക് കഴിയും.
ആദ്യം, PyPI-യിൽ നിന്ന് mxnet, horovod എന്നിവ ഇൻസ്റ്റാൾ ചെയ്യുക:

pip install mxnet
pip install horovod

ശ്രദ്ധിക്കുക: സമയത്ത് ഒരു പിശക് നേരിട്ടാൽ pip ഇൻസ്റ്റാൾ horovodനിങ്ങൾ ഒരു വേരിയബിൾ ചേർക്കേണ്ടി വന്നേക്കാം MACOSX_DEPLOYMENT_TARGET=10.vvഎവിടെ vv - ഇത് നിങ്ങളുടെ MacOS പതിപ്പിന്റെ പതിപ്പാണ്, ഉദാഹരണത്തിന്, MacOSX സിയറയ്‌ക്കായി നിങ്ങൾ എഴുതേണ്ടതുണ്ട് MACOSX_DEPLOYMENT_TARGET=10.12 പിപ്പ് ഇൻസ്റ്റാൾ ഹോറോവോഡ്

തുടർന്ന് OpenMPI ഇൻസ്റ്റാൾ ചെയ്യുക ഇവിടെ നിന്ന്.

അവസാനം, ടെസ്റ്റ് സ്ക്രിപ്റ്റ് ഡൗൺലോഡ് ചെയ്യുക mxnet_mnist.py ഇവിടെ നിന്ന് വർക്കിംഗ് ഡയറക്ടറിയിലെ മാക്ബുക്ക് ടെർമിനലിൽ ഇനിപ്പറയുന്ന കമാൻഡുകൾ പ്രവർത്തിപ്പിക്കുക:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

ഇത് നിങ്ങളുടെ പ്രോസസറിന്റെ രണ്ട് കോറുകളിൽ പരിശീലനം നൽകും. ഔട്ട്പുട്ട് ഇനിപ്പറയുന്നതായിരിക്കും:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

പെർഫോമൻസ് ഡെമോ

ഒരു ResNet50-v1 മോഡൽ ഒരു ഇമേജ്നെറ്റ് ഡാറ്റാസെറ്റിൽ 64 GPU-കളിൽ എട്ട് സന്ദർഭങ്ങളിൽ പരിശീലിപ്പിക്കുമ്പോൾ p3.16x വലുത് EC2, ഓരോന്നിലും 8 NVIDIA Tesla V100 GPU-കൾ AWS ക്ലൗഡിൽ അടങ്ങിയിരിക്കുന്നു, ഞങ്ങൾ 45000 ഇമേജുകൾ/സെക്കൻഡ് (അതായത്, സെക്കൻഡിൽ പരിശീലനം ലഭിച്ച സാമ്പിളുകളുടെ എണ്ണം) പരിശീലന ത്രൂപുട്ട് നേടി. 44 യുഗങ്ങൾക്ക് ശേഷം 90 മിനിറ്റിനുള്ളിൽ 75.7% മികച്ച കൃത്യതയോടെ പരിശീലനം പൂർത്തിയാക്കി.

8, 16, 32, 64 GPU-കളിൽ പാരാമീറ്റർ സെർവറുകൾ ഉപയോഗിക്കുന്നതിനുള്ള MXNet-ന്റെ വിതരണം ചെയ്ത പരിശീലന സമീപനവുമായി ഞങ്ങൾ ഇതിനെ താരതമ്യം ചെയ്തു, യഥാക്രമം 1 മുതൽ 1 വരെയും 2 മുതൽ 1 വരെയും ഒരു പാരാമീറ്റർ സെർവറും സെർവറും വർക്കർ അനുപാതവും. ചുവടെയുള്ള ചിത്രം 1-ൽ നിങ്ങൾക്ക് ഫലം കാണാൻ കഴിയും. ഇടതുവശത്തുള്ള y-അക്ഷത്തിൽ, ബാറുകൾ സെക്കൻഡിൽ പരിശീലിപ്പിക്കേണ്ട ചിത്രങ്ങളുടെ എണ്ണത്തെ പ്രതിനിധീകരിക്കുന്നു, ലൈനുകൾ വലതുവശത്തുള്ള y-അക്ഷത്തിൽ സ്കെയിലിംഗ് കാര്യക്ഷമതയെ (അതായത്, യഥാർത്ഥവും അനുയോജ്യമായ ത്രൂപുട്ടിന്റെയും അനുപാതം) പ്രതിഫലിപ്പിക്കുന്നു. നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, സെർവറുകളുടെ എണ്ണം തിരഞ്ഞെടുക്കുന്നത് സ്കെയിലിംഗ് കാര്യക്ഷമതയെ ബാധിക്കുന്നു. ഒരു പാരാമീറ്റർ സെർവർ മാത്രമേ ഉള്ളൂവെങ്കിൽ, 38 GPU-കളിൽ സ്കെയിലിംഗ് കാര്യക്ഷമത 64% ആയി കുറയുന്നു. ഹോറോവോഡിന്റെ അതേ സ്കെയിലിംഗ് കാര്യക്ഷമത കൈവരിക്കുന്നതിന്, തൊഴിലാളികളുടെ എണ്ണവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ നിങ്ങൾ സെർവറുകളുടെ എണ്ണം ഇരട്ടിയാക്കേണ്ടതുണ്ട്.

ചിത്രം 1. ഹൊറോവോഡുമായും പാരാമീറ്റർ സെർവറുമായും MXNet ഉപയോഗിച്ച് വിതരണം ചെയ്ത പഠനത്തിന്റെ താരതമ്യം

ചുവടെയുള്ള പട്ടിക 1-ൽ, 64 GPU-കളിൽ പരീക്ഷണങ്ങൾ നടത്തുമ്പോൾ ഓരോ സംഭവത്തിനും അന്തിമ വില ഞങ്ങൾ താരതമ്യം ചെയ്യുന്നു. ഹൊറോവോഡിനൊപ്പം MXNet ഉപയോഗിക്കുന്നത് ഏറ്റവും കുറഞ്ഞ ചെലവിൽ മികച്ച ത്രൂപുട്ട് നൽകുന്നു.

പട്ടിക 1. ഹോറോവോഡും പാരാമീറ്റർ സെർവറും തമ്മിലുള്ള ചെലവ് താരതമ്യം 2 മുതൽ 1 വരെയുള്ള സെർവർ-വർക്കർ അനുപാതം.

പുനരുൽപ്പാദിപ്പിക്കുന്നതിനുള്ള നടപടികൾ

അടുത്ത ഘട്ടങ്ങളിൽ, MXNet, Horovod എന്നിവ ഉപയോഗിച്ച് വിതരണം ചെയ്ത പരിശീലനത്തിന്റെ ഫലം എങ്ങനെ പുനർനിർമ്മിക്കാമെന്ന് ഞങ്ങൾ നിങ്ങളെ കാണിക്കും. MXNet റീഡ് ഉപയോഗിച്ച് വിതരണം ചെയ്ത പഠനത്തെക്കുറിച്ച് കൂടുതലറിയാൻ ഈ പോസ്റ്റ്.

ഘട്ടം ക്സനുമ്ക്സ

വിതരണം ചെയ്ത പഠനം ഉപയോഗിക്കുന്നതിന് MXNet പതിപ്പ് 1.4.0 അല്ലെങ്കിൽ അതിലും ഉയർന്നതും Horovod പതിപ്പ് 0.16.0 അല്ലെങ്കിൽ ഉയർന്നതും ഉപയോഗിച്ച് ഏകതാനമായ സംഭവങ്ങളുടെ ഒരു ക്ലസ്റ്റർ സൃഷ്ടിക്കുക. ജിപിയു പരിശീലനത്തിനായി നിങ്ങൾ ലൈബ്രറികളും ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്. ഞങ്ങളുടെ ഉദാഹരണങ്ങൾക്കായി, GPU ഡ്രൈവർ 16.04, CUDA 396.44, cuDNN 9.2 ലൈബ്രറി, NCCL 7.2.1 കമ്മ്യൂണിക്കേറ്റർ, OpenMPI 2.2.13 എന്നിവയ്‌ക്കൊപ്പം ഞങ്ങൾ ഉബുണ്ടു 3.1.1 ലിനക്‌സ് തിരഞ്ഞെടുത്തു. കൂടാതെ നിങ്ങൾക്ക് ഉപയോഗിക്കാം ആമസോൺ ഡീപ് ലേണിംഗ് എഎംഐ, ഈ ലൈബ്രറികൾ ഇതിനകം തന്നെ മുൻകൂട്ടി ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ട്.

ഘട്ടം ക്സനുമ്ക്സ

നിങ്ങളുടെ MXNet പരിശീലന സ്ക്രിപ്റ്റിലേക്ക് Horovod API ഉപയോഗിച്ച് പ്രവർത്തിക്കാനുള്ള കഴിവ് ചേർക്കുക. MXNet Gluon API അടിസ്ഥാനമാക്കിയുള്ള ചുവടെയുള്ള സ്ക്രിപ്റ്റ് ഒരു ലളിതമായ ടെംപ്ലേറ്റായി ഉപയോഗിക്കാം. നിങ്ങൾക്ക് ഇതിനകം അനുബന്ധ പരിശീലന സ്ക്രിപ്റ്റ് ഉണ്ടെങ്കിൽ ബോൾഡിലുള്ള വരികൾ ആവശ്യമാണ്. Horovod ഉപയോഗിച്ച് പഠിക്കാൻ നിങ്ങൾ വരുത്തേണ്ട ചില നിർണായക മാറ്റങ്ങൾ ഇതാ:

• ശരിയായ ഗ്രാഫിക്സ് കോറിലാണ് പരിശീലനം നടത്തുന്നതെന്ന് മനസ്സിലാക്കാൻ പ്രാദേശിക ഹൊറോവോഡ് റാങ്ക് (ലൈൻ 8) അനുസരിച്ച് സന്ദർഭം സജ്ജമാക്കുക.
• എല്ലാ തൊഴിലാളികളും ഒരേ പ്രാരംഭ പാരാമീറ്ററുകൾ ഉപയോഗിച്ച് ആരംഭിക്കുന്നുവെന്ന് ഉറപ്പാക്കാൻ ഒരു തൊഴിലാളിയിൽ നിന്ന് എല്ലാവർക്കും പ്രാരംഭ പാരാമീറ്ററുകൾ കൈമാറുക (ലൈൻ 18).
• ഒരു ഹൊറോവോഡ് സൃഷ്ടിക്കുക വിതരണം ചെയ്ത ഒപ്റ്റിമൈസർ (ലൈൻ 25) പാരാമീറ്ററുകൾ ഒരു വിതരണം ചെയ്ത രീതിയിൽ അപ്ഡേറ്റ് ചെയ്യാൻ.

പൂർണ്ണ സ്ക്രിപ്റ്റ് ലഭിക്കുന്നതിന്, ദയവായി Horovod-MXNet ഉദാഹരണങ്ങൾ പരിശോധിക്കുക MNIST и ഇമഗെനെത്.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

ഘട്ടം ക്സനുമ്ക്സ

MPI നിർദ്ദേശം ഉപയോഗിച്ച് വിതരണം ചെയ്ത പരിശീലനം ആരംഭിക്കാൻ തൊഴിലാളികളിൽ ഒരാളിലേക്ക് ലോഗിൻ ചെയ്യുക. ഈ ഉദാഹരണത്തിൽ, വിതരണം ചെയ്ത പരിശീലനം നാല് സന്ദർഭങ്ങളിൽ 4 GPU-കൾ വീതവും ക്ലസ്റ്ററിൽ ആകെ 16 GPU-കളും ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്നു. ഇനിപ്പറയുന്ന ഹൈപ്പർപാരാമീറ്ററുകൾക്കൊപ്പം സ്റ്റോക്കാസ്റ്റിക് ഗ്രേഡിയന്റ് ഡിസന്റ് (എസ്ജിഡി) ഒപ്റ്റിമൈസർ ഉപയോഗിക്കും:

• മിനി-ബാച്ച് വലുപ്പം: 256
• പഠന നിരക്ക്: 0.1
• ആക്കം: 0.9
• ഭാരം ക്ഷയം: 0.0001

ഞങ്ങൾ ഒരു ജിപിയുവിൽ നിന്ന് 64 ജിപിയുവിലേക്ക് സ്കെയിൽ ചെയ്യുമ്പോൾ, ജിപിയുവുകളുടെ എണ്ണം അനുസരിച്ച് പരിശീലന നിരക്ക് ഞങ്ങൾ രേഖീയമായി സ്കെയിൽ ചെയ്തു (0,1 ജിപിയുവിന് 1 മുതൽ 6,4 ജിപിയുവിന് 64 വരെ), അതേസമയം ഒരു ജിപിയുവിലെ ചിത്രങ്ങളുടെ എണ്ണം 256 ആയി നിലനിർത്തി (ഒരു ബാച്ചിൽ നിന്ന് 256 GPU-യ്‌ക്ക് 1 ചിത്രങ്ങൾ മുതൽ 16 GPU-കൾക്കായി 384 വരെ). GPU-കളുടെ എണ്ണം കൂടുന്നതിനനുസരിച്ച് ഭാരം ക്ഷയിക്കുന്നതും ആക്കം പാരാമീറ്ററുകളും മാറി. NVIDIA ടെസ്‌ല GPU-കൾ പിന്തുണയ്‌ക്കുന്ന float64 കണക്കുകൂട്ടലുകൾ വേഗത്തിലാക്കാൻ ഫോർവേഡ് പാസിനായി float16 ഡാറ്റാ ടൈപ്പും ഗ്രേഡിയന്റുകൾക്ക് float32-ഉം ഞങ്ങൾ മിക്സഡ് പ്രിസിഷൻ ട്രെയിനിംഗ് ഉപയോഗിച്ചു.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

തീരുമാനം

ഈ ലേഖനത്തിൽ, Apache MXNet ഉം Horovod ഉം ഉപയോഗിച്ച് വിതരണം ചെയ്യപ്പെടുന്ന മോഡൽ പരിശീലനത്തിനുള്ള സ്കേലബിൾ സമീപനം ഞങ്ങൾ പരിശോധിച്ചു. ResNet50-v1 മോഡൽ പരിശീലിപ്പിച്ച ഇമേജ് നെറ്റ് ഡാറ്റാസെറ്റിലെ പാരാമീറ്റർ സെർവർ സമീപനവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ സ്കെയിലിംഗ് കാര്യക്ഷമതയും ചെലവ്-ഫലപ്രാപ്തിയും ഞങ്ങൾ പ്രകടമാക്കി. Horovod ഉപയോഗിച്ച് മൾട്ടി-ഇൻസ്‌റ്റൻസ് പരിശീലനം പ്രവർത്തിപ്പിക്കുന്നതിന് നിലവിലുള്ള സ്‌ക്രിപ്റ്റ് പരിഷ്‌ക്കരിക്കാൻ നിങ്ങൾക്ക് ഉപയോഗിക്കാനാകുന്ന ഘട്ടങ്ങളും ഞങ്ങൾ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.

നിങ്ങൾ MXNet-ലും ആഴത്തിലുള്ള പഠനത്തിലും ആരംഭിക്കുകയാണെങ്കിൽ, ഇൻസ്റ്റാളേഷൻ പേജിലേക്ക് പോകുക MXNeആദ്യം MXNet നിർമ്മിക്കാൻ. ലേഖനം വായിക്കാനും ഞങ്ങൾ ശക്തമായി ശുപാർശ ചെയ്യുന്നു 60 മിനിറ്റിനുള്ളിൽ MXNetആരംഭിക്കാൻ.

നിങ്ങൾ ഇതിനകം MXNet-ൽ പ്രവർത്തിക്കുകയും Horovod ഉപയോഗിച്ച് വിതരണം ചെയ്‌ത പഠനം പരീക്ഷിക്കാൻ ആഗ്രഹിക്കുകയും ചെയ്യുന്നുവെങ്കിൽ, നോക്കൂ Horovod ഇൻസ്റ്റലേഷൻ പേജ്, ഇത് MXNet-ൽ നിന്ന് നിർമ്മിച്ച് ഉദാഹരണം പിന്തുടരുക MNIST അഥവാ ഇമഗെനെത്.

* ചെലവ് കണക്കാക്കുന്നത് അടിസ്ഥാനമാക്കിയാണ് മണിക്കൂർ നിരക്കുകൾ EC2 സംഭവങ്ങൾക്കുള്ള AWS

കോഴ്സിനെക്കുറിച്ച് കൂടുതലറിയുക "ബിഗ് ഡാറ്റയിൽ വ്യാവസായിക എം.എൽ"

അവലംബം: www.habr.com