ການແຈກຢາຍການຮຽນຮູ້ກັບ Apache MXNet ແລະ Horovod

ການ​ແປ​ພາ​ສາ​ຂອງ​ບົດ​ຄວາມ​ໄດ້​ຖືກ​ກະ​ກຽມ​ໃນ​ສະ​ມາດ​ສະ​ມາດ​ຂອງ​ການ​ເລີ່ມ​ຕົ້ນ​ຂອງ​ວິ​ຊາ​ການ "ML ອຸດສາຫະກໍາກ່ຽວກັບຂໍ້ມູນໃຫຍ່"

ການຝຶກອົບຮົມແບບແຈກຢາຍຢູ່ໃນຫຼາຍໆຕົວຢ່າງຄອມພິວເຕີ້ທີ່ມີປະສິດທິພາບສູງສາມາດຫຼຸດຜ່ອນເວລາການຝຶກອົບຮົມຂອງເຄືອຂ່າຍ neural ເລິກທີ່ທັນສະໄຫມກ່ຽວກັບຂໍ້ມູນຈໍານວນຫລາຍຈາກອາທິດຫາຊົ່ວໂມງຫຼືແມ້ກະທັ້ງນາທີ, ເຮັດໃຫ້ເຕັກນິກການຝຶກອົບຮົມນີ້ແມ່ນແຜ່ຂະຫຍາຍໃນການປະຕິບັດຕົວຈິງຂອງການຮຽນຮູ້ເລິກ. ຜູ້ໃຊ້ຕ້ອງເຂົ້າໃຈວິທີການແບ່ງປັນແລະ synchronize ຂໍ້ມູນໃນທົ່ວຫຼາຍໆຕົວຢ່າງ, ເຊິ່ງມີຜົນກະທົບອັນໃຫຍ່ຫຼວງຕໍ່ປະສິດທິພາບການຂະຫຍາຍ. ນອກຈາກນັ້ນ, ຜູ້ໃຊ້ຄວນຮູ້ວິທີການນໍາໃຊ້ສະຄິບການຝຶກອົບຮົມທີ່ເຮັດວຽກຢູ່ໃນຕົວຢ່າງດຽວໄປຫາຫຼາຍຕົວຢ່າງ.

ໃນບົດຄວາມນີ້ພວກເຮົາຈະເວົ້າກ່ຽວກັບວິທີທີ່ໄວແລະງ່າຍດາຍທີ່ຈະແຈກຢາຍການຮຽນຮູ້ໂດຍໃຊ້ຫ້ອງສະຫມຸດການຮຽນຮູ້ເລິກເປີດ Apache MXNet ແລະກອບການຮຽນຮູ້ທີ່ແຈກຢາຍ Horovod. ພວກເຮົາຈະສະແດງໃຫ້ເຫັນຢ່າງຈະແຈ້ງກ່ຽວກັບຜົນປະໂຫຍດການປະຕິບັດຂອງກອບ Horovod ແລະສະແດງໃຫ້ເຫັນວິທີການຂຽນບົດຝຶກຫັດ MXNet ເພື່ອໃຫ້ມັນເຮັດວຽກແບບແຈກຢາຍກັບ Horovod.

Apache MXNet ແມ່ນຫຍັງ

Apache MX Net ເປັນກອບການຮຽນຮູ້ເລິກແຫຼ່ງເປີດທີ່ຖືກນໍາໃຊ້ເພື່ອສ້າງ, ຝຶກອົບຮົມ, ແລະນໍາໃຊ້ເຄືອຂ່າຍ neural ເລິກ. MXNet abstracts ຫ່າງຄວາມສັບສົນທີ່ກ່ຽວຂ້ອງກັບການປະຕິບັດເຄືອຂ່າຍ neural, ມີປະສິດທິພາບສູງແລະສາມາດຂະຫຍາຍໄດ້, ແລະສະເຫນີ APIs ສໍາລັບພາສາການຂຽນໂປລແກລມທີ່ນິຍົມເຊັ່ນ: Python, C ++, Clojure, Java, Julia, R, Scala ແລະອື່ນໆ.

ການຝຶກອົບຮົມແຈກຢາຍໃນ MXNet ກັບເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີ

ໂມດູນການຮຽນຮູ້ແບບແຈກຢາຍມາດຕະຖານໃນ MXNet ໃຊ້ວິທີການເຊີບເວີພາລາມິເຕີ. ມັນໃຊ້ຊຸດຂອງເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີເພື່ອເກັບກໍາ gradients ຈາກແຕ່ລະພະນັກງານ, ປະຕິບັດການລວບລວມ, ແລະສົ່ງ gradients ສະບັບປັບປຸງກັບຄືນໄປບ່ອນພະນັກງານສໍາລັບການ iteration ການເພີ່ມປະສິດທິພາບຕໍ່ໄປ. ການກໍານົດອັດຕາສ່ວນທີ່ຖືກຕ້ອງຂອງເຄື່ອງແມ່ຂ່າຍກັບຜູ້ອອກແຮງງານແມ່ນກຸນແຈສໍາຄັນໃນການປັບຂະຫນາດທີ່ມີປະສິດທິພາບ. ຖ້າມີເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີດຽວ, ມັນອາດຈະກາຍເປັນຂໍ້ບົກຜ່ອງໃນການຄິດໄລ່. ໃນທາງກົງກັນຂ້າມ, ຖ້າມີການໃຊ້ເຄື່ອງແມ່ຂ່າຍຫຼາຍເກີນໄປ, ການສື່ສານຫຼາຍຕໍ່ຫຼາຍສາມາດຂັດຂວາງການເຊື່ອມຕໍ່ເຄືອຂ່າຍທັງຫມົດ.

Horovod ແມ່ນຫຍັງ

ໂຮໂຣໂວດ ແມ່ນໂຄງຮ່າງການຮຽນຮູ້ແບບເປີດເຜີຍທີ່ເປີດເຜີຍທີ່ພັດທະນາຢູ່ Uber. ມັນໃຊ້ເທກໂນໂລຍີ cross-GPU ແລະ cross-node ທີ່ມີປະສິດທິພາບເຊັ່ນ NVIDIA Collective Communications Library (NCCL) ແລະ Message Passing Interface (MPI) ເພື່ອແຈກຢາຍແລະລວບລວມຕົວກໍານົດການແບບຈໍາລອງໃນທົ່ວ vorecs. ມັນເພີ່ມປະສິດທິພາບການນໍາໃຊ້ແບນວິດຂອງເຄືອຂ່າຍແລະຂະຫນາດໄດ້ດີເມື່ອເຮັດວຽກກັບຕົວແບບເຄືອຂ່າຍ neural ເລິກ. ໃນປັດຈຸບັນມັນສະຫນັບສະຫນູນກອບການຮຽນຮູ້ເຄື່ອງຈັກທີ່ນິຍົມຫຼາຍ, ຄື MX ສຸດທິ, Tensorflow, Keras, ແລະ PyTorch.

ການເຊື່ອມໂຍງ MXNet ແລະ Horovod

MXNet ປະສົມປະສານກັບ Horovod ຜ່ານ APIs ການຮຽນຮູ້ທີ່ແຈກຢາຍທີ່ກໍານົດໄວ້ໃນ Horovod. Horovod APIs ການສື່ສານ horovod.broadcast(), horovod.allgather() и horovod.allreduce() ປະຕິບັດໂດຍໃຊ້ການເອີ້ນຄືນແບບ asynchronous ຂອງເຄື່ອງຈັກ MXNet, ເປັນສ່ວນຫນຶ່ງຂອງຕາຕະລາງວຽກງານຂອງມັນ. ດ້ວຍວິທີນີ້, ການຂື້ນກັບຂໍ້ມູນລະຫວ່າງການສື່ສານແລະການຄິດໄລ່ແມ່ນຖືກຈັດການໄດ້ງ່າຍໂດຍເຄື່ອງຈັກ MXNet ເພື່ອຫຼີກເວັ້ນການສູນເສຍການປະຕິບັດຍ້ອນການ synchronization. ແຈກຢາຍວັດຖຸ optimizer ທີ່ກໍານົດໄວ້ໃນ Horovod horovod.DistributedOptimizer ຂະຫຍາຍ ທີ່ດີທີ່ສຸດ ໃນ MXNet ເພື່ອໃຫ້ມັນເອີ້ນ Horovod APIs ທີ່ສອດຄ້ອງກັນສໍາລັບການປັບປຸງພາລາມິເຕີທີ່ແຈກຢາຍ. ລາຍລະອຽດການຈັດຕັ້ງປະຕິບັດທັງໝົດເຫຼົ່ານີ້ມີຄວາມໂປ່ງໃສຕໍ່ກັບຜູ້ໃຊ້ສຸດທ້າຍ.

ເລີ່ມໄວ

ທ່ານສາມາດເລີ່ມຕົ້ນການຝຶກອົບຮົມເຄືອຂ່າຍ neural convolutional ຂະຫນາດນ້ອຍໃນຊຸດຂໍ້ມູນ MNIST ຢ່າງໄວວາໂດຍໃຊ້ MXNet ແລະ Horovod ໃນ MacBook ຂອງທ່ານ.
ທໍາອິດ, ຕິດຕັ້ງ mxnet ແລະ horovod ຈາກ PyPI:

pip install mxnet
pip install horovod

ຫມາຍ​ເຫດ​: ຖ້າ​ຫາກ​ວ່າ​ທ່ານ​ພົບ​ກັບ​ຄວາມ​ຜິດ​ພາດ​ໃນ​ລະ​ຫວ່າງ​ການ​ pip ຕິດຕັ້ງ horovodບາງທີເຈົ້າຕ້ອງເພີ່ມຕົວແປ MACOSX_DEPLOYMENT_TARGET=10.vvບ່ອນທີ່ vv – ນີ້​ແມ່ນ​ສະ​ບັບ​ຂອງ MacOS ຂອງ​ທ່ານ​, ສໍາ​ລັບ​ການ​ຍົກ​ຕົວ​ຢ່າງ​, ສໍາ​ລັບ MacOSX Sierra ທ່ານ​ຈະ​ຈໍາ​ເປັນ​ຕ້ອງ​ໄດ້​ຂຽນ​ MACOSX_DEPLOYMENT_TARGET=10.12 pip ຕິດຕັ້ງ horovod

ຈາກນັ້ນຕິດຕັ້ງ OpenMPI ຈາກນີ້.

ໃນ​ທີ່​ສຸດ​, ດາວ​ນ​໌​ໂຫລດ​ສະ​ບັບ​ທົດ​ສອບ​ໄດ້​ mxnet_mnist.py ຈາກນີ້ ແລະດໍາເນີນການຄໍາສັ່ງຕໍ່ໄປນີ້ໃນ MacBook terminal ໃນໄດເລກະທໍລີທີ່ເຮັດວຽກ:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

ນີ້ຈະດໍາເນີນການຝຶກອົບຮົມກ່ຽວກັບສອງແກນຂອງໂປເຊດເຊີຂອງທ່ານ. ຜົນ​ຜະ​ລິດ​ຈະ​ເປັນ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

ການສາທິດການປະຕິບັດ

ເມື່ອການຝຶກອົບຮົມຮູບແບບ ResNet50-v1 ໃນຊຸດຂໍ້ມູນ ImageNet ກ່ຽວກັບ 64 GPUs ທີ່ມີແປດຕົວຢ່າງ p3.16xlarge EC2, ແຕ່ລະອັນປະກອບດ້ວຍ 8 NVIDIA Tesla V100 GPUs ໃນ AWS cloud, ພວກເຮົາໄດ້ບັນລຸການຝຶກອົບຮົມຜ່ານ 45000 ຮູບພາບ/ວິນາທີ (ເຊັ່ນ: ຈໍານວນຕົວຢ່າງທີ່ໄດ້ຮັບການຝຶກອົບຮົມຕໍ່ວິນາທີ). ການຝຶກອົບຮົມສໍາເລັດໃນ 44 ນາທີຫຼັງຈາກ 90 epochs ທີ່ມີຄວາມຖືກຕ້ອງທີ່ດີທີ່ສຸດຂອງ 75.7%.

ພວກເຮົາໄດ້ປຽບທຽບນີ້ກັບວິທີການຝຶກອົບຮົມທີ່ແຈກຢາຍຂອງ MXNet ຂອງການນໍາໃຊ້ເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີໃນ 8, 16, 32 ແລະ 64 GPUs ກັບເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີດຽວແລະອັດຕາສ່ວນຂອງເຄື່ອງແມ່ຂ່າຍຕໍ່ພະນັກງານຂອງ 1 ຫາ 1 ແລະ 2 ຫາ 1, ຕາມລໍາດັບ. ທ່ານສາມາດເບິ່ງຜົນໄດ້ຮັບໃນຮູບ 1 ຂ້າງລຸ່ມນີ້. ໃນແກນ y ຢູ່ເບື້ອງຊ້າຍ, ແຖບສະແດງເຖິງຈໍານວນຮູບພາບທີ່ຈະຝຶກອົບຮົມຕໍ່ວິນາທີ, ສາຍສະທ້ອນເຖິງປະສິດທິພາບການປັບຂະຫນາດ (ນັ້ນແມ່ນ, ອັດຕາສ່ວນຂອງການຖ່າຍທອດຕົວຈິງກັບທີ່ເຫມາະສົມ) ໃນແກນ y ທາງດ້ານຂວາ. ດັ່ງທີ່ເຈົ້າສາມາດເຫັນໄດ້, ທາງເລືອກຂອງຈໍານວນເຄື່ອງແມ່ຂ່າຍມີຜົນກະທົບຕໍ່ປະສິດທິພາບການປັບຂະຫນາດ. ຖ້າມີເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີດຽວ, ປະສິດທິພາບການປັບຂະຫນາດຫຼຸດລົງເຖິງ 38% ໃນ 64 GPUs. ເພື່ອບັນລຸປະສິດທິພາບການປັບຂະຫນາດດຽວກັນກັບ Horovod, ທ່ານຈໍາເປັນຕ້ອງເພີ່ມຈໍານວນເຄື່ອງແມ່ຂ່າຍສອງເທົ່າທຽບກັບຈໍານວນຄົນງານ.

ຮູບ 1. ການປຽບທຽບການຮຽນຮູ້ແບບແຈກຢາຍໂດຍໃຊ້ MXNet ກັບ Horovod ແລະກັບເຄື່ອງແມ່ຂ່າຍພາລາມິເຕີ

ໃນຕາຕະລາງ 1 ຂ້າງລຸ່ມນີ້, ພວກເຮົາປຽບທຽບຄ່າໃຊ້ຈ່າຍສຸດທ້າຍຕໍ່ຕົວຢ່າງເມື່ອດໍາເນີນການທົດລອງໃນ 64 GPUs. ການນໍາໃຊ້ MXNet ກັບ Horovod ສະຫນອງການສົ່ງຜ່ານທີ່ດີທີ່ສຸດດ້ວຍຄ່າໃຊ້ຈ່າຍຕ່ໍາສຸດ.

ຕາຕະລາງ 1. ການສົມທຽບຄ່າໃຊ້ຈ່າຍລະຫວ່າງ Horovod ແລະ Parameter Server ທີ່ມີອັດຕາສ່ວນຂອງເຄື່ອງແມ່ຂ່າຍຕໍ່ພະນັກງານຂອງ 2 ຕໍ່ 1.

ຂັ້ນຕອນການແຜ່ພັນ

ໃນຂັ້ນຕອນຕໍ່ໄປ, ພວກເຮົາຈະສະແດງວິທີການຜະລິດຄືນຜົນຂອງການຝຶກອົບຮົມທີ່ແຈກຢາຍໂດຍໃຊ້ MXNet ແລະ Horovod. ເພື່ອຮຽນຮູ້ເພີ່ມເຕີມກ່ຽວກັບການຮຽນຮູ້ແບບແຈກຢາຍກັບ MXNet ອ່ານ ຕອບນີ້.

ຂັ້ນຕອນ 1

Создайте кластер однородных экземпляров с MXNet версии 1.4.0 или выше и Horovod версии 0.16.0 или выше, чтобы использовать распределенное обучение. Вам также нужно будет установить библиотеки для обучения на GPU. Для наших экземпляров мы выбрали Ubuntu 16.04 Linux, с GPU Driver 396.44, CUDA 9.2, библиотеку cuDNN 7.2.1, коммуникатор NCCL 2.2.13 и OpenMPI 3.1.1. Также вы можете использовать Amazon Deep Learning AMI, ບ່ອນທີ່ຫ້ອງສະຫມຸດເຫຼົ່ານີ້ໄດ້ຖືກຕິດຕັ້ງໄວ້ກ່ອນແລ້ວ.

ຂັ້ນຕອນ 2

ເພີ່ມຄວາມສາມາດໃນການເຮັດວຽກກັບ Horovod API ກັບສະຄິບການຝຶກອົບຮົມ MXNet ຂອງທ່ານ. script ຂ້າງລຸ່ມນີ້ໂດຍອີງໃສ່ MXNet Gluon API ສາມາດຖືກນໍາໃຊ້ເປັນແມ່ແບບງ່າຍດາຍ. ເສັ້ນໃນຕົວຫນາແມ່ນຈໍາເປັນຖ້າຫາກວ່າທ່ານມີສະຄິບການຝຶກອົບຮົມທີ່ສອດຄ້ອງກັນແລ້ວ. ນີ້ແມ່ນການປ່ຽນແປງທີ່ສໍາຄັນຈໍານວນຫນຶ່ງທີ່ທ່ານຈໍາເປັນຕ້ອງເຮັດເພື່ອຮຽນຮູ້ກັບ Horovod:

• ກໍານົດສະພາບການຕາມລໍາດັບ Horovod ທ້ອງຖິ່ນ (ເສັ້ນ 8) ເພື່ອເຂົ້າໃຈວ່າການຝຶກອົບຮົມແມ່ນດໍາເນີນຢູ່ໃນຫຼັກກາຟິກທີ່ຖືກຕ້ອງ.
• ຜ່ານຕົວກໍານົດການເບື້ອງຕົ້ນຈາກຄົນງານຫນຶ່ງໄປຫາທຸກຄົນ (ເສັ້ນ 18) ເພື່ອຮັບປະກັນວ່າຄົນງານທັງຫມົດເລີ່ມຕົ້ນດ້ວຍຕົວກໍານົດເບື້ອງຕົ້ນດຽວກັນ.
• ສ້າງ Horovod ໄດ້ DistributedOptimizer (ເສັ້ນ 25) ເພື່ອປັບປຸງພາລາມິເຕີໃນລັກສະນະແຈກຢາຍ.

ເພື່ອໃຫ້ໄດ້ສະຄຣິບເຕັມ, ກະລຸນາເບິ່ງຕົວຢ່າງ Horovod-MXNet MNIST и IMAGEnet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

ຂັ້ນຕອນ 3

ເຂົ້າສູ່ລະບົບໄປຫາໜຶ່ງໃນຜູ້ອອກແຮງງານເພື່ອເລີ່ມການຝຶກອົບຮົມແບບແຈກຢາຍໂດຍໃຊ້ຄຳສັ່ງ MPI. ໃນຕົວຢ່າງນີ້, ການຝຶກອົບຮົມທີ່ແຈກຢາຍແມ່ນດໍາເນີນຢູ່ໃນສີ່ຕົວຢ່າງທີ່ມີ 4 GPUs ແຕ່ລະຄົນ, ແລະຈໍານວນທັງຫມົດ 16 GPUs ໃນກຸ່ມ. ຕົວເພີ່ມປະສິດທິພາບ Stochastic Gradient Descent (SGD) ຈະຖືກໃຊ້ກັບ hyperparameters ຕໍ່ໄປນີ້:

• ຂະໜາດ mini-batch: 256
• ອັດຕາການຮຽນຮູ້: 0.1
• ແຮງດັນ: 0.9
• ການ​ຫຼຸດ​ຜ່ອນ​ນ​້​ໍ​າ​: 0.0001​

ດັ່ງທີ່ພວກເຮົາໄດ້ປັບຂະຫນາດຈາກ GPU ຫນຶ່ງເປັນ 64 GPUs, ພວກເຮົາປັບຂະຫນາດອັດຕາການຝຶກອົບຮົມຕາມຈໍານວນ GPUs (ຈາກ 0,1 ສໍາລັບ 1 GPU ເປັນ 6,4 ສໍາລັບ 64 GPUs), ໃນຂະນະທີ່ຮັກສາຈໍານວນຮູບພາບຕໍ່ GPU ຢູ່ທີ່ 256 (ຈາກຊຸດຂອງ. 256 ຮູບພາບສໍາລັບ 1 GPU ເປັນ 16 ສໍາລັບ 384 GPUs). ຕົວກໍານົດການການເສື່ອມສະພາບຂອງນ້ໍາຫນັກແລະ momentum ມີການປ່ຽນແປງຍ້ອນວ່າຈໍານວນຂອງ GPUs ເພີ່ມຂຶ້ນ. ພວກເຮົາໄດ້ນໍາໃຊ້ການຝຶກອົບຮົມຄວາມແມ່ນຍໍາປະສົມກັບປະເພດຂໍ້ມູນ float64 ສໍາລັບ forward pass ແລະ float16 ສໍາລັບການ gradients ເພື່ອເລັ່ງການຄິດໄລ່ float32 ສະຫນັບສະຫນູນໂດຍ NVIDIA Tesla GPUs.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

ສະຫລຸບ

ໃນບົດຄວາມນີ້, ພວກເຮົາໄດ້ເບິ່ງວິທີການທີ່ສາມາດຂະຫຍາຍໄດ້ໃນການຝຶກອົບຮົມແບບຈໍາລອງທີ່ແຈກຢາຍໂດຍໃຊ້ Apache MXNet ແລະ Horovod. ພວກເຮົາໄດ້ສະແດງໃຫ້ເຫັນປະສິດທິພາບການປັບຂະຫນາດແລະຄ່າໃຊ້ຈ່າຍປະສິດທິພາບເມື່ອທຽບກັບວິທີການເຊີຟເວີພາລາມິເຕີໃນຊຸດຂໍ້ມູນ ImageNet ທີ່ຮູບແບບ ResNet50-v1 ໄດ້ຮັບການຝຶກອົບຮົມ. ພວກເຮົາຍັງໄດ້ລວມເອົາຂັ້ນຕອນທີ່ທ່ານສາມາດນໍາໃຊ້ເພື່ອດັດແປງສະຄິບທີ່ມີຢູ່ແລ້ວເພື່ອດໍາເນີນການຝຶກອົບຮົມຫຼາຍຕົວຢ່າງໂດຍໃຊ້ Horovod.

ຖ້າທ່ານພຽງແຕ່ເລີ່ມຕົ້ນກັບ MXNet ແລະການຮຽນຮູ້ເລິກເຊິ່ງ, ໄປທີ່ຫນ້າການຕິດຕັ້ງ MXNeທໍາອິດສ້າງ MXNet. ພວກເຮົາຍັງແນະນໍາໃຫ້ອ່ານບົດຄວາມຢ່າງແຂງແຮງ MXNet ໃນ 60 ນາທີເພື່ອເລີ່ມຕົ້ນ.

ຖ້າທ່ານໄດ້ເຮັດວຽກກັບ MXNet ແລ້ວແລະຕ້ອງການພະຍາຍາມຮຽນຮູ້ແບບແຈກຢາຍກັບ Horovod, ຫຼັງຈາກນັ້ນລອງເບິ່ງ ຫນ້າຕິດຕັ້ງ Horovod, ສ້າງມັນຈາກ MXNet ແລະປະຕິບັດຕາມຕົວຢ່າງ MNIST ຫຼື IMAGEnet.

* ຄ່າ​ໃຊ້​ຈ່າຍ​ແມ່ນ​ຄິດ​ໄລ່​ໂດຍ​ອີງ​ໃສ່​ ອັດຕາຊົ່ວໂມງ AWS ສໍາລັບ EC2 Instances

ຮຽນຮູ້ເພີ່ມເຕີມກ່ຽວກັບຫຼັກສູດ "ML ອຸດສາຫະກໍາກ່ຽວກັບຂໍ້ມູນໃຫຍ່"

ແຫຼ່ງຂໍ້ມູນ: www.habr.com