Apache MXNet 및 Horovod를 사용한 분산 학습

기사의 번역은 과정 시작 전날에 준비되었습니다. "빅데이터를 활용한 산업용 ML"

여러 고성능 컴퓨팅 인스턴스에 대한 분산 훈련은 대량의 데이터에 대한 현대 심층 신경망의 훈련 시간을 몇 주에서 몇 시간, 심지어 몇 분으로 단축할 수 있으므로 이 훈련 기술은 딥 러닝의 실제 응용 분야에서 널리 보급됩니다. 사용자는 여러 인스턴스에서 데이터를 공유하고 동기화하는 방법을 이해해야 하며, 이는 결과적으로 확장 효율성에 큰 영향을 미칩니다. 또한 사용자는 단일 인스턴스에서 실행되는 교육 스크립트를 여러 인스턴스에 배포하는 방법도 알아야 합니다.

이 기사에서는 개방형 딥 러닝 라이브러리인 Apache MXNet과 Horovod 분산 학습 프레임워크를 사용하여 학습을 배포하는 빠르고 쉬운 방법에 대해 설명합니다. Horovod 프레임워크의 성능 이점을 명확하게 보여주고 Horovod와 분산 방식으로 작동하도록 MXNet 교육 스크립트를 작성하는 방법을 보여줍니다.

Apache MXNet이란 무엇입니까?

아파치 MXNet 심층 신경망을 생성, 훈련 및 배포하는 데 사용되는 오픈 소스 딥 러닝 프레임워크입니다. MXNet은 신경망 구현과 관련된 복잡성을 추상화하고 성능과 확장성이 뛰어나며 다음과 같은 널리 사용되는 프로그래밍 언어에 대한 API를 제공합니다. Python, C + +, Clojure, 자바, 줄리아, R, 스칼라 등이 있습니다.

매개변수 서버를 사용하는 MXNet의 분산 교육

MXNet의 표준 분산 학습 모듈 매개변수 서버 접근 방식을 사용합니다. 이는 매개변수 서버 세트를 사용하여 각 작업자로부터 경사도를 수집하고, 집계를 수행하고, 다음 최적화 반복을 위해 업데이트된 경사도를 작업자에게 다시 보냅니다. 서버와 작업자의 정확한 비율을 결정하는 것이 효과적인 확장의 핵심입니다. 매개변수 서버가 하나만 있는 경우 계산에 병목 현상이 발생할 수 있습니다. 반대로 너무 많은 서버를 사용하면 다대다 통신으로 인해 모든 네트워크 연결이 정체될 수 있습니다.

호로보드는 무엇인가요?

호로 보드 Uber에서 개발한 개방형 분산 딥러닝 프레임워크입니다. NCCL(NVIDIA Collective Communications Library) 및 MPI(Message Passing Interface)와 같은 효율적인 GPU 간 및 노드 간 기술을 활용하여 vorec 전체에 모델 매개변수를 배포하고 집계합니다. 심층 신경망 모델 작업 시 네트워크 대역폭 사용을 최적화하고 확장성이 뛰어납니다. 현재 여러 가지 인기 있는 기계 학습 프레임워크를 지원합니다. MX 넷, Tensorflow, Keras 및 PyTorch.

MXNet 및 Horovod 통합

MXNet은 Horovod에 정의된 분산 학습 API를 통해 Horovod와 통합됩니다. Horovod 통신 API horovod.broadcast(), horovod.allgather() и horovod.allreduce() 작업 그래프의 일부로 MXNet 엔진의 비동기 콜백을 사용하여 구현됩니다. 이러한 방식으로 MXNet 엔진은 통신과 계산 간의 데이터 종속성을 쉽게 처리하여 동기화로 인한 성능 손실을 방지합니다. Horovod에 정의된 분산 최적화 개체 horovod.DistributedOptimizer 팽창하다 최적화 분산 매개변수 업데이트를 위해 해당 Horovod API를 호출하도록 MXNet에서. 이러한 모든 구현 세부 사항은 최종 사용자에게 투명하게 공개됩니다.

빠른 시작

MacBook에서 MXNet 및 Horovod를 사용하여 MNIST 데이터세트에서 소규모 컨벌루션 신경망 훈련을 빠르게 시작할 수 있습니다.
먼저 PyPI에서 mxnet 및 horovod를 설치합니다.

pip install mxnet
pip install horovod

참고: 도중에 오류가 발생하는 경우 pip 설치 horovod어쩌면 변수를 추가해야 할 수도 있습니다 MACOSX_DEPLOYMENT_TARGET=10.vv어디에서 vv – 이는 MacOS 버전의 버전입니다. 예를 들어 MacOSX Sierra의 경우 다음과 같이 작성해야 합니다. MACOSX_DEPLOYMENT_TARGET=10.12 pip 설치 Horovod

그런 다음 OpenMPI를 설치하십시오. 따라서.

마지막으로 테스트 스크립트를 다운로드하십시오. mxnet_mnist.py 따라서 작업 디렉토리의 MacBook 터미널에서 다음 명령을 실행하십시오.

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

그러면 프로세서의 두 코어에 대한 교육이 실행됩니다. 출력은 다음과 같습니다.

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

성능 데모

50개의 인스턴스가 있는 1개 GPU의 ImageNet 데이터세트에서 ResNet64-vXNUMX 모델을 훈련하는 경우 p3.16xlarge 각각 AWS 클라우드에 2개의 NVIDIA Tesla V8 GPU가 포함된 EC100에서 초당 45000개 이미지(즉, 초당 훈련된 샘플 수)의 훈련 처리량을 달성했습니다. 44번의 에포크 이후 90분 만에 훈련이 완료되었으며 최고 정확도는 75.7%입니다.

우리는 이를 단일 매개변수 서버와 서버 대 작업자 비율이 각각 8:16 및 32:64인 1, 1, 2 및 1 GPU에서 매개변수 서버를 사용하는 MXNet의 분산 교육 접근 방식과 비교했습니다. 아래 그림 1에서 결과를 볼 수 있습니다. 왼쪽의 y축에서 막대는 초당 훈련할 이미지 수를 나타내고, 선은 오른쪽의 y축에서 스케일링 효율성(즉, 실제 처리량과 이상적인 처리량의 비율)을 반영합니다. 보시다시피 서버 수 선택은 확장 효율성에 영향을 미칩니다. 매개변수 서버가 하나만 있는 경우 GPU 38개에서는 확장 효율성이 64%로 떨어집니다. Horovod와 동일한 확장 효율성을 달성하려면 작업자 수에 비해 서버 수를 두 배로 늘려야 합니다.

그림 1. Horovod 및 매개변수 서버와 함께 MXNet을 사용한 분산 학습 비교

아래 표 1에서는 64개의 GPU에서 실험을 실행할 때 인스턴스당 최종 비용을 비교합니다. Horovod와 함께 MXNet을 사용하면 최저 비용으로 최고의 처리량을 제공합니다.

표 1. 서버 대 작업자 비율이 2:1인 Horovod와 Parameter Server 간의 비용 비교.

재현 단계

다음 단계에서는 MXNet 및 Horovod를 사용하여 분산 교육 결과를 재현하는 방법을 보여 드리겠습니다. MXNet을 통한 분산 학습에 대해 자세히 알아보려면 읽어보세요. 이 게시물.

1 단계

분산 학습을 사용하려면 MXNet 버전 1.4.0 이상 및 Horovod 버전 0.16.0 이상으로 동종 인스턴스 클러스터를 생성하세요. GPU 훈련을 위한 라이브러리도 설치해야 합니다. 우리의 경우 GPU 드라이버 16.04, CUDA 396.44, cuDNN 9.2 라이브러리, NCCL 7.2.1 커뮤니케이터 및 OpenMPI 2.2.13이 포함된 Ubuntu 3.1.1 Linux를 선택했습니다. 또한 당신은 사용할 수 있습니다 아마존 딥 러닝 AMI, 이러한 라이브러리는 이미 사전 설치되어 있습니다.

2 단계

MXNet 교육 스크립트에 Horovod API를 사용하는 기능을 추가하세요. MXNet Gluon API를 기반으로 하는 아래 스크립트를 간단한 템플릿으로 사용할 수 있습니다. 해당 훈련 스크립트가 이미 있는 경우 굵은 글씨의 줄이 필요합니다. Horovod를 배우기 위해 수행해야 할 몇 가지 중요한 변경 사항은 다음과 같습니다.

• 훈련이 올바른 그래픽 코어에서 수행된다는 것을 이해하려면 로컬 Horovod 순위(8행)에 따라 컨텍스트를 설정하십시오.
• 모든 작업자가 동일한 초기 매개변수로 시작하도록 하려면 한 작업자의 초기 매개변수를 모든 작업자에게 전달합니다(18행).
• 호로보드 만들기 분산 최적화 프로그램 (라인 25) 분산 방식으로 매개변수를 업데이트합니다.

전체 스크립트를 얻으려면 Horovod-MXNet 예제를 참조하세요. MNIST и IMAGEnet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

3 단계

MPI 지침을 사용하여 분산 교육을 시작하려면 작업자 중 한 명에 로그인하세요. 이 예에서 분산 교육은 각각 4개의 GPU가 있는 16개의 인스턴스에서 실행되며 클러스터에는 총 XNUMX개의 GPU가 있습니다. SGD(Stochastic Gradient Descent) 최적화 프로그램은 다음 하이퍼파라미터와 함께 사용됩니다.

• 미니 배치 크기: 256
• 학습률: 0.1
• 운동량: 0.9
• 중량 감소: 0.0001

64개의 GPU에서 0,1개의 GPU로 확장하면서 GPU 수에 따라 훈련 속도를 선형적으로 확장했으며(1 GPU의 경우 6,4에서 64 GPU의 경우 256), GPU당 이미지 수는 256개(배치에서)로 유지했습니다. 1개 GPU의 경우 16개 이미지부터 384개 GPU의 경우 64개 이미지까지). GPU 수가 증가함에 따라 무게 감소 및 운동량 매개변수가 변경되었습니다. NVIDIA Tesla GPU에서 지원하는 float16 계산 속도를 높이기 위해 순방향 전달에는 float32 데이터 유형을, 경사에는 float16 데이터 유형을 사용하는 혼합 정밀도 교육을 사용했습니다.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

결론

이 기사에서는 Apache MXNet 및 Horovod를 사용하여 분산 모델 교육에 대한 확장 가능한 접근 방식을 살펴보았습니다. ResNet50-v1 모델이 훈련된 ImageNet 데이터세트에 대한 매개변수 서버 접근 방식과 비교하여 확장 효율성과 비용 효율성을 입증했습니다. 또한 Horovod를 사용하여 다중 인스턴스 교육을 실행하기 위해 기존 스크립트를 수정하는 데 사용할 수 있는 단계도 포함되어 있습니다.

MXNet과 딥러닝을 이제 막 시작하셨다면 설치 페이지로 이동하세요 MXNe먼저 MXNet을 구축하세요. 우리는 또한 기사를 읽는 것이 좋습니다 60분 만에 MXNet시작합니다.

이미 MXNet을 사용해본 적이 있고 Horovod로 분산 학습을 시도하고 싶다면 다음을 살펴보세요. Horovod 설치 페이지, MXNet에서 빌드하고 예제를 따르세요. MNIST 또는 IMAGEnet.

*비용은 다음을 기준으로 계산됩니다. 시간당 요금 EC2 인스턴스용 AWS

과정에 대해 자세히 알아보기 "빅데이터를 활용한 산업용 ML"

출처 : habr.com