Разпределено обучение с Apache MXNet и Horovod

Преводът на статията беше подготвен в навечерието на началото на курса „Индустриално машинно обучение върху големи данни“

Разпределеното обучение на множество високопроизводителни изчислителни инстанции може да намали времето за обучение на съвременните дълбоки невронни мрежи върху големи количества данни от седмици до часове или дори минути, което прави тази техника на обучение преобладаваща в практическите приложения на дълбокото обучение. Потребителите трябва да разберат как да споделят и синхронизират данни в множество екземпляри, което от своя страна има голямо влияние върху ефективността на мащабиране. Освен това потребителите трябва също да знаят как да разположат обучителен скрипт, който се изпълнява на един екземпляр в множество екземпляри.

В тази статия ще говорим за бърз и лесен начин за разпространение на обучение с помощта на отворената библиотека за дълбоко обучение Apache MXNet и рамката за разпределено обучение Horovod. Ще демонстрираме ясно ползите от производителността на рамката Horovod и ще демонстрираме как да напишем скрипт за обучение на MXNet, така че да работи по разпределен начин с Horovod.

Какво е Apache MXNet

Apache MX Net е рамка за дълбоко обучение с отворен код, която се използва за създаване, обучение и внедряване на дълбоки невронни мрежи. MXNet абстрахира сложността, свързана с внедряването на невронни мрежи, е с висока производителност и мащабируемост и предлага API за популярни езици за програмиране като напр. Питон, C + +, Clojure, Ява, Джулия, R, Scala и други.

Разпределено обучение в MXNet със сървър на параметри

Стандартен модул за разпределено обучение в MXNet използва подход на сървър на параметри. Той използва набор от сървъри на параметри за събиране на градиенти от всеки работник, извършване на агрегиране и изпращане на актуализирани градиенти обратно на работниците за следващата итерация на оптимизация. Определянето на правилното съотношение между сървъри и работници е ключът към ефективното мащабиране. Ако има само един сървър на параметри, той може да се окаже тясно място в изчисленията. Обратно, ако се използват твърде много сървъри, комуникацията много към много може да задръсти всички мрежови връзки.

Какво е Horovod

Хоровод е отворена разпределена рамка за дълбоко обучение, разработена в Uber. Той използва ефективни технологии между GPU и кръстосани възли, като NVIDIA Collective Communications Library (NCCL) и Message Passing Interface (MPI), за да разпространява и агрегира параметрите на модела между vore. Той оптимизира използването на честотната лента на мрежата и се мащабира добре при работа с дълбоки модели на невронни мрежи. В момента поддържа няколко популярни рамки за машинно обучение, а именно MX Net, Tensorflow, Keras и PyTorch.

Интеграция на MXNet и Horovod

MXNet се интегрира с Horovod чрез API за разпределено обучение, дефинирани в Horovod. API за комуникация на Horovod horovod.broadcast(), хоровод.allgather() и хоровод.allreduce() реализиран с помощта на асинхронни обратни извиквания на двигателя MXNet, като част от неговата графика на задачите. По този начин зависимостите на данните между комуникация и изчисление се обработват лесно от MXNet двигателя, за да се избегнат загуби на производителност поради синхронизация. Обект на разпределен оптимизатор, дефиниран в Horovod хоровод.DistributedOptimizer разширява се Optimizer в MXNet, така че да извиква съответните API на Horovod за разпределени актуализации на параметри. Всички тези подробности за изпълнението са прозрачни за крайните потребители.

Бърз старт

Можете бързо да започнете да обучавате малка конволюционна невронна мрежа върху набора от данни MNIST, като използвате MXNet и Horovod на вашия MacBook.
Първо инсталирайте mxnet и horovod от PyPI:

pip install mxnet
pip install horovod

Забележка: Ако срещнете грешка по време на pip инсталирате хороводможе би трябва да добавите променлива MACOSX_DEPLOYMENT_TARGET=10.vvКъдето vv – това е версията на вашата MacOS версия, например за MacOSX Sierra ще трябва да напишете MACOSX_DEPLOYMENT_TARGET=10.12 пипса инсталационен хоровод

След това инсталирайте OpenMPI следователно.

Накрая изтеглете тестовия скрипт mxnet_mnist.py следователно и изпълнете следните команди в терминала на MacBook в работната директория:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

Това ще проведе обучение на две ядра на вашия процесор. Резултатът ще бъде следният:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

Демонстрация на ефективността

При обучение на модел ResNet50-v1 върху набор от данни на ImageNet на 64 GPU с осем екземпляра p3.16xголям EC2, всяка от които съдържа 8 графични процесора NVIDIA Tesla V100 в AWS облак, постигнахме пропускателна способност за обучение от 45000 44 изображения/сек (т.е. броя на обучените проби в секунда). Обучението е завършено за 90 минути след 75.7 епохи с най-добра точност от XNUMX%.

Сравнихме това с подхода на разпределено обучение на MXNet за използване на сървъри с параметри на 8, 16, 32 и 64 GPU с единичен сървър на параметри и съотношение сървър към работник съответно 1 към 1 и 2 към 1. Можете да видите резултата на фигура 1 по-долу. На оста y вляво лентите представляват броя на изображенията за обучение в секунда, линиите отразяват ефективността на мащабиране (т.е. съотношението на действителната към идеалната производителност) на оста y вдясно. Както можете да видите, изборът на брой сървъри влияе върху ефективността на мащабиране. Ако има само един сървър на параметри, ефективността на мащабиране пада до 38% на 64 GPU. За да постигнете същата ефективност на мащабиране, както при Horovod, трябва да удвоите броя на сървърите спрямо броя на работниците.

Фигура 1. Сравнение на разпределено обучение с помощта на MXNet с Horovod и със сървър на параметри

В таблица 1 по-долу сравняваме крайната цена на инстанция при провеждане на експерименти на 64 GPU. Използването на MXNet с Horovod осигурява най-добра производителност на най-ниска цена.

Таблица 1. Сравнение на разходите между Horovod и Parameter Server със съотношение сървър към работник 2 към 1.

Стъпки за възпроизвеждане

В следващите стъпки ще ви покажем как да възпроизведете резултата от разпределено обучение с помощта на MXNet и Horovod. За да научите повече за разпределеното обучение с MXNet прочетете този пост.

Стъпка 1

Създайте клъстер от хомогенни екземпляри с MXNet версия 1.4.0 или по-нова и Horovod версия 0.16.0 или по-нова, за да използвате разпределено обучение. Ще трябва също да инсталирате библиотеки за GPU обучение. За нашите примери избрахме Ubuntu 16.04 Linux с GPU драйвер 396.44, CUDA 9.2, библиотека cuDNN 7.2.1, комуникатор NCCL 2.2.13 и OpenMPI 3.1.1. Също така можете да използвате Amazon Deep Learning AMI, където тези библиотеки вече са предварително инсталирани.

Стъпка 2

Добавете възможност за работа с Horovod API към вашия скрипт за обучение MXNet. Скриптът по-долу, базиран на MXNet Gluon API, може да се използва като прост шаблон. Редовете с удебелен шрифт са необходими, ако вече имате съответен скрипт за обучение. Ето няколко критични промени, които трябва да направите, за да научите с Horovod:

• Задайте контекста според местния ранг на Horovod (ред 8), за да разберете, че обучението се извършва на правилното графично ядро.
• Предайте началните параметри от един работник към всички (ред 18), за да сте сигурни, че всички работници започват с едни и същи начални параметри.
• Създайте Horovod DistributedOptimizer (ред 25), за да актуализирате параметрите по разпределен начин.

За да получите пълния скрипт, вижте примерите на Horovod-MXNet MNIST и ImageNet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

Стъпка 3

Влезте в един от работниците, за да започнете разпределено обучение с помощта на MPI директивата. В този пример разпределеното обучение се изпълнява на четири екземпляра с 4 графични процесора всеки и общо 16 графични процесора в клъстера. Оптимизаторът за стохастичен градиент (SGD) ще се използва със следните хиперпараметри:

• размер на минипартида: 256
• скорост на обучение: 0.1
• импулс: 0.9
• загуба на тегло: 0.0001

Тъй като мащабирахме от един графичен процесор до 64 графични процесора, ние линейно мащабирахме скоростта на обучение според броя на графичните процесори (от 0,1 за 1 графичен процесор до 6,4 за 64 графични процесора), като запазихме броя на изображенията на графичен процесор на 256 (от партида от 256 изображения за 1 GPU до 16 384 за 64 GPU). Параметрите на затихването на теглото и импулса се промениха с увеличаването на броя на графичните процесори. Използвахме смесено прецизно обучение с типа данни float16 за преминаване напред и float32 за градиенти, за да ускорим изчисленията float16, поддържани от GPU на NVIDIA Tesla.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

Заключение

В тази статия разгледахме мащабируем подход за обучение на разпределени модели, използвайки Apache MXNet и Horovod. Демонстрирахме ефективността на мащабиране и рентабилността в сравнение с подхода на сървъра на параметри върху набора от данни ImageNet, на който беше обучен моделът ResNet50-v1. Също така сме включили стъпки, които можете да използвате, за да модифицирате съществуващ скрипт, за да изпълнявате многоинстанционно обучение с помощта на Horovod.

Ако тепърва започвате с MXNet и дълбокото обучение, отидете на страницата за инсталиране MXNeза първо изграждане на MXNet. Също така силно препоръчваме да прочетете статията MXNet за 60 минутиза да започнете.

Ако вече сте работили с MXNet и искате да опитате разпределено обучение с Horovod, тогава разгледайте Страница за инсталиране на Horovod, изградете го от MXNet и следвайте примера MNIST или ImageNet.

*цената се изчислява на база почасови ставки AWS за екземпляри на EC2

Научете повече за курса „Индустриално машинно обучение върху големи данни“

Източник: www.habr.com