Дистрибуирано учење со Apache MXNet и Horovod

Преводот на статијата е подготвен во пресрет на почетокот на курсот „Индустриски ML на големи податоци“

Дистрибуираната обука за повеќе компјутерски примероци со високи перформанси може да го намали времето на обука на модерните длабоки невронски мрежи на големи количини на податоци од недели на часови или дури минути, што ја прави оваа техника за обука распространета во практичните примени на длабокото учење. Корисниците мора да разберат како да споделуваат и синхронизираат податоци низ повеќе примероци, што пак има големо влијание врз ефикасноста на скалирање. Покрај тоа, корисниците исто така треба да знаат како да распоредат скрипта за обука што работи на еден пример на повеќе примероци.

Во оваа статија ќе зборуваме за брз и лесен начин за дистрибуирање на учењето користејќи ја отворената библиотека за длабоко учење Apache MXNet и рамката за дистрибуирана учење Хоровод. Јасно ќе ги покажеме придобивките од перформансите на рамката на Хоровод и ќе покажеме како да напишете скрипта за обука на MXNet за да работи на дистрибуиран начин со Хоровод.

Што е Apache MXNet

Apache MX Net е рамка за длабоко учење со отворен код што се користи за создавање, обука и распоредување на длабоки невронски мрежи. MXNet ја апстрахира комплексноста поврзана со имплементацијата на невронски мрежи, е високо перформансна и скалабилна и нуди API за популарни програмски јазици како што се Пајтон, C + +, Clojure, Јава, Јулија, R, Скала и други.

Дистрибуирана обука во MXNet со параметарски сервер

Стандарден дистрибуиран модул за учење во MXNet користи пристап на сервер со параметри. Користи збир на сервери за параметри за собирање градиенти од секој работник, за агрегација и за испраќање ажурирани градиенти назад до работниците за следната оптимизација. Утврдувањето на правилниот сооднос на серверите и работниците е клучот за ефективно скалирање. Ако има само еден параметарски сервер, може да испадне дека е тесно грло во пресметките. Спротивно на тоа, ако се користат премногу сервери, комуникацијата од многу до многу може да ги заглави сите мрежни врски.

Што е Хоровод

Хоровод е отворена дистрибуирана рамка за длабоко учење развиена во Uber. Искористува ефикасни технологии меѓу графичкиот процесор и вкрстени јазли, како што се колективната библиотека за комуникации на NVIDIA (NCCL) и интерфејсот за пренесување пораки (MPI) за дистрибуција и собирање на параметрите на моделот низ вореците. Ја оптимизира употребата на пропусниот опсег на мрежата и добро се размерува при работа со модели на длабоки невронски мрежи. Во моментов поддржува неколку популарни рамки за машинско учење, имено MX Net, Tensorflow, Keras и PyTorch.

MXNet и Хоровод интеграција

MXNet се интегрира со Хоровод преку API-то за дистрибуирано учење дефинирани во Хоровод. Хоровод комуникациски API horovod.broadcast(), horovod.allgather() и horovod.allreduce() имплементиран со користење на асинхрони повратни повици на моторот MXNet, како дел од неговиот графикон за задачи. На овој начин, зависностите од податоците помеѓу комуникацијата и пресметките лесно се справуваат со моторот MXNet за да се избегнат загубите на перформансите поради синхронизацијата. Дистрибуиран оптимизатор на објект дефиниран во Хоровод horovod.DistributedOptimizer се проширува Оптимизатор во MXNet, така што ги повикува соодветните Horovod API за дистрибуирани ажурирања на параметри. Сите овие детали за имплементацијата се транспарентни за крајните корисници.

Брз почеток

Можете брзо да започнете да тренирате мала конволутивна невронска мрежа на базата на податоци на MNIST користејќи MXNet и Horovod на вашиот MacBook.
Прво, инсталирајте mxnet и horovod од PyPI:

pip install mxnet
pip install horovod

Забелешка: Доколку наидете на грешка за време на pip install horovodможеби треба да додадете променлива MACOSX_DEPLOYMENT_TARGET=10.vvкаде vv – ова е верзијата на вашата верзија на MacOS, на пример, за MacOSX Sierra ќе треба да напишете MACOSX_DEPLOYMENT_TARGET=10.12 пип инсталација horovod

Потоа инсталирајте OpenMPI оттука.

На крајот, преземете ја тест скриптата mxnet_mnist.py оттука и извршете ги следните команди во терминалот MacBook во работниот директориум:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

Ова ќе изврши обука на две јадра на вашиот процесор. Излезот ќе биде следниот:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

Демо за изведба

Кога тренирате модел ResNet50-v1 на база на податоци ImageNet на 64 графички процесори со осум примероци стр3.16xголем EC2, секој од нив содржи 8 графички процесори NVIDIA Tesla V100 на облакот AWS, постигнавме проток на обука од 45000 слики/сек (т.е. број на обучени примероци во секунда). Тренингот заврши за 44 минути по 90 епохи со најдобра прецизност од 75.7%.

Ние го споредивме ова со дистрибуираниот пристап за обука на MXNet за користење на сервери со параметри на 8, 16, 32 и 64 графички процесори со еден параметарски сервер и однос сервер до работник од 1 до 1 и 2 спрема 1, соодветно. Резултатот можете да го видите на Слика 1 подолу. На y-оската лево, лентите го претставуваат бројот на слики што треба да се обучуваат во секунда, линиите ја рефлектираат ефикасноста на скалирање (т.е. односот на вистинската и идеалната пропусност) на y-оската на десната страна. Како што можете да видите, изборот на бројот на сервери влијае на ефикасноста на скалирање. Ако има само еден параметарски сервер, ефикасноста на скалирање паѓа на 38% на 64 графички процесори. За да ја постигнете истата ефикасност на скалирање како кај Хоровод, треба да го удвоите бројот на сервери во однос на бројот на работници.

Слика 1. Споредба на дистрибуираното учење со помош на MXNet со Хоровод и со параметарски сервер

Во Табела 1 подолу, ја споредуваме конечната цена по пример при извршување на експерименти на 64 графички процесори. Користењето на MXNet со Хоровод обезбедува најдобра пропусност по најниска цена.

Табела 1. Споредба на трошоците помеѓу Хоровод и сервер со параметри со однос сервер/работник од 2 спрема 1.

Чекори за репродукција

Во следните чекори, ќе ви покажеме како да го репродуцирате резултатот од дистрибуираната обука користејќи MXNet и Horovod. За да дознаете повеќе за дистрибуираното учење со MXNet, прочитајте овој пост.

Чекор 1

Создайте кластер однородных экземпляров с MXNet версии 1.4.0 или выше и Horovod версии 0.16.0 или выше, чтобы использовать распределенное обучение. Вам также нужно будет установить библиотеки для обучения на GPU. Для наших экземпляров мы выбрали Ubuntu 16.04 Linux, с GPU Driver 396.44, CUDA 9.2, библиотеку cuDNN 7.2.1, коммуникатор NCCL 2.2.13 и OpenMPI 3.1.1. Также вы можете использовать Amazon Deep Learning AMI, каде што овие библиотеки се веќе претходно инсталирани.

Чекор 2

Додадете ја способноста за работа со Horovod API на вашата скрипта за обука MXNet. Скриптата подолу заснована на MXNet Gluon API може да се користи како едноставен образец. Линиите со задебелени букви се потребни ако веќе имате соодветна скрипта за обука. Еве неколку критични промени што треба да ги направите за да научите со Хоровод:

• Поставете го контекстот според локалниот ранг на Хоровод (линија 8) за да разберете дека обуката се изведува на правилното графичко јадро.
• Пренесете ги почетните параметри од еден работник на сите (линија 18) за да се осигурате дека сите работници почнуваат со истите почетни параметри.
• Направете Хоровод DistributedOptimizer (линија 25) за ажурирање на параметрите на дистрибуиран начин.

За да ја добиете целосната скрипта, погледнете ги примерите на Horovod-MXNet МНИСТ и IMAGEnet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

Чекор 3

Најавете се на еден од работниците за да започнете со дистрибуирана обука користејќи ја директивата MPI. Во овој пример, дистрибуираната обука работи на четири примероци со по 4 графички процесори и вкупно 16 графички процесори во кластерот. Оптимизатор на Стохастичко спуштање на градиент (SGD) ќе се користи со следните хиперпараметри:

• големина на мини серија: 256
• стапка на учење: 0.1
• моментум: 0.9
• распаѓање на тежината: 0.0001

Како што скалиравме од еден графички процесор на 64 графички процесори, линеарно ја скалиравме стапката на обука според бројот на графички процесори (од 0,1 за 1 графички процесор до 6,4 за 64 графички процесори), додека бројот на слики по графички процесор го задржавме на 256 (од серија на 256 слики за 1 графички процесор до 16 за 384 графички процесори). Параметрите за распаѓање на тежината и моментумот се променија како што се зголемуваше бројот на графички процесори. Користивме мешана прецизна обука со типот на податоци float64 за напред премин и float16 за градиенти за да ги забрзаме пресметките float32 поддржани од графичките процесори на NVIDIA Tesla.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

Заклучок

Во оваа статија, разгледавме скалабилен пристап за обука за дистрибуирани модели користејќи Apache MXNet и Horovod. Ја демонстриравме ефикасноста на скалирање и економичноста во споредба со пристапот на серверот со параметри на базата на податоци ImageNet на која беше обучен моделот ResNet50-v1. Вклучивме и чекори што можете да ги користите за да измените постоечка скрипта за да извршите обука со повеќе инстанци користејќи Хоровод.

Ако штотуку започнувате со MXNet и длабоко учење, одете на страницата за инсталација MXNeпрво да се изгради MXNet. Исто така, силно препорачуваме да ја прочитате статијата MXNet за 60 минутиза да започнете.

Ако веќе сте работеле со MXNet и сакате да пробате дистрибуирано учење со Хоровод, тогаш погледнете го Страница за инсталација на Хоровод, изградете го од MXNet и следете го примерот МНИСТ или IMAGEnet.

*трошокот се пресметува врз основа на саатни стапки AWS за EC2 примери

Дознајте повеќе за курсот „Индустриски ML на големи податоци“

Извор: www.habr.com