Jaotatud õppimine Apache MXNet ja Horovodiga

Artikli tõlge on koostatud kursuse alguse eelõhtul „Tööstuslik ML suurte andmete jaoks“

Jaotatud õppimine mitmetel kõrgetasemelistel arvutusinstantsidel võib vähendada kaasaegsete süvaõppe neuronaalvõrkude koolitusaega suure hulga andmete puhul nädalatest tundide või isegi minutiteni, mis muudab selle õppe tehnika ülekaalukaks süvaõppe praktilistes rakendustes. Kasutajad peavad mõistma, kuidas jagada ja sünkroonida andmeid mitmetel instantsidel, mis omakorda mõjutab oluliselt skaleeritavuse efektiivsust. Peale selle peavad kasutajad ka teadma, kuidas mitmel instantsil käivitada koolitusskripti, mis töötab ühel instantsil.

Selles artiklis räägime kiirest ja lihtsast jaotatud õppimise viisist avatud süvaõppe raamatukogu Apache MXNet ja jaotatud õppimise raamistik Horovod kasutades. Näitame selgelt, kuidas Horovodi raamistik parandab sooritust ja demonstreerime, kuidas kirjutada MXNet-i koolitusskript nii, et see töötaks jaotatult koos Horovodiga.

Mis on Apache MXNet

Apache MXNet on avatud süvaõppe raamistik, mida kasutatakse sügavate neuronaalvõrkude loomise, koolitamise ja juurutamise jaoks. MXNet abstraheerib süvaõppe neuronvõrkude rakendamisega seotud keerukused, omab kõrget sooritust ja skaleeritavust ning pakub API-d populaarsetele programmeerimiskeeltele, nagu Python, C++, Clojure, Java, Julia, R, Scala ja teised.

Jaotatud õppimine MXNetis parametrite serveriga

MXNeti standardne jaotatud õppimise moodul kasutab parameetri serveri lähenemist (parameter server). See kasutab parameetri serverite komplekti gradientide kogumiseks igalt töötajalt, aggregaatimiseks ja uute gradientide saatmiseks tagasi töötajatele järgmise optimeerimise iteratsiooni jaoks. Õige suhe serverite ja töötajate vahel on tõhusate skaleerimisvõimaluste võti. Kui parameetri server on vaid üks, võib see kujuneda arvutuste pudelikaelaks. Vastupidi, kui on liiga palju servereid, võib "palju-paljudele" side kõik võrguühendused ummistada.

Mis on Horovod

Horovod on avatud lähtekoodiga jaotatud sügavõppe raamistik, mille on välja töötanud Uber. See kasutab tõhusaid tehnoloogiaid, et suhelda mitme GPU ja sõlme vahel, nagu NVIDIA Collective Communications Library (NCCL) ja Message Passing Interface (MPI) mudeli parameetride jaotamiseks ja aggregaatimiseks töötajate vahel. See optimeerib võrgu ribalaiuse kasutust ja skaleerub hästi sügavate närvivõrkude mudelite töötamisel. Praegu toetab see mitmeid populaarsed masinõppe raamistikke, nimelt MXNet, Tensorflow, Keras ja PyTorch.

MXNet ja Horovodi integreerimine

MXNet integreerub Horovodiga jaotatud õppimise API-de kaudu, mis on määratletud Horovodis. Horovodis on suhtluse API-d horovod.broadcast(), horovod.allgather() ja horovod.allreduce() rakendatud MXNet-i mootori asünkroonsete tagasisidega, kui osa oma ülesande graafikust. Seega töötleb MXNet kiiresti andmete sõltuvusi suhtlemise ja arvutuste vahel, et vältida jõudluse kaotust sünkroniseerimise tõttu. Horovodis määratletud jagatud optimeerija objekt horovod.DistributedOptimizer laiendab Optimizer MXNetis nii, et see kutsub üles vastavad Horovodi API-d parameetrite jaotatud uuendamiseks. Need kõik rakenduse detailid on lõpukasutajate jaoks läbipaistvad.

Kiire alustamine

Sa saad kiiresti alustada väikese konvolutsioonilise närvivõrgu koolitamist MNIST andmestikul MXNeti ja Horovodiga oma MacBookis.
Käivitamiseks installige mxnet ja horovod PyPI kaudu:

pip install mxnet
pip install horovod

Märkus: Kui teil tekib viga ajal pip install horovod, peate võib-olla lisama muutuja MACOSX_DEPLOYMENT_TARGET=10.vv, kus vv on teie MacOS-i versioon, näiteks MacOSX Sierra jaoks tuleb kirjutada MACOSX_DEPLOYMENT_TARGET=10.12 pip install horovod

Seejärel installige OpenMPI siit.

Lõpuks laadige allalaadimisse skript mxnet_mnist.py siit ja käivitage järgmised käsud MacBooki terminalis oma töötavas kataloogis:

mpirun -np 2 -H localhost:2 -bind-to none -map-by slot python mxnet_mnist.py

Nii käitate koolitust teie protsessori kahel tuumal. Väljund on järgmine:

INFO:root:Epoch[0] Batch [0-50] Speed: 2248.71 samples/sec      accuracy=0.583640
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.89 samples/sec      accuracy=0.882812
INFO:root:Epoch[0] Batch [50-100] Speed: 2273.39 samples/sec      accuracy=0.870000

Tõhususe demonstreerimine

Koolitades mudelit ResNet50-v1 ImageNet andmekogul 64 GPU-l kaheksa eksemplariga p3.16xlarge EC2, millest igaühel on 8 GPU NVIDIA Tesla V100 AWS pilves, saavutasime koolituse läbilaskevõime 45000 pilti/sec (st koolitatud näidiste arv sekundis). Koolitus lõppes 44 minuti pärast 90 epohhi ja parima täpsusega 75,7%.

Võrdlesime seda jaotatud koolitust MXNet-i puhul, kasutades parameetrite serverite lähenemist 8, 16, 32 ja 64 GPU-l ühe parameetri serveriga ja teenuste töötajate suhe 1:1 ja 2:1 vastavalt. Tulemuse näete allpool joonisel 1. Y-teljel vasakul kajastavad tulpade arv sekundis koolitamiseks pilte, jooned kajastavad skaleerimise efektiivsust (st tegeliku läbilaskevõime ja ideaalsete suhet) paremal Y-teljel. Nagu näete, mõjutab serverite arvu valik skaleerimise efektiivsust. Kui parameetri server on üks, langeb skaleerimise efektiivsus 64 GPU-l 38%-ni. Horovodiga sama skaleerimise efektiivsuse saavutamiseks peate suurendama serverite arvu kaks korda töötajate arvu suhtes.

Joonis 1. MXNet ja Horovod-i jaotatud koolituse ning parameetrite serveriga võrreldav joonis

Tabelis 1 allpool võrreldes eksperimentide lõppkulusid 64 GPU-l. MXNet-i kasutamine koos Horovodiga tagab parima läbilaskevõime madalaimate kuludega.

Tabel 1. Kulude võrdlemine Horovod-i ja parameetrite serveriga, kasutades teenuste töötajate suhet 2:1.

Reprodutseerimise sammud

Järgmistes sammudes näitame, kuidas reprodutseerida jaotatud koolituse tulemusi MXNet-i ja Horovod-i abil. Jaotatud koolituse kohta MXNet-i puhul lugeda seda postitust.

Samm 1

Looge ühtsete instantside klaster, kasutades MXNet versiooni 1.4.0 või kõrgemat ja Horovod versiooni 0.16.0 või kõrgemat, et kasutada jaotatud õppimist. Samuti peate installima GPU õppe raamatukogud. Meie instantside jaoks valisime Ubuntu 16.04 Linuxi, GPU draiveri 396.44, CUDA 9.2, cuDNN 7.2.1, NCCL 2.2.13 ja OpenMPI 3.1.1. Samuti saate kasutada Amazon Deep Learning AMI, kus need raamatukogud on juba eelnevalt installitud.

Samm 2

Lisage oma õppeskripti MXNet'i toetuse võimalus Horovod API jaoks. Järgnevat MXNet Gluoni API põhjal koostatud skripti saab kasutada lihtsa mallina. Rasvases kirjas olevad read on vajalikud juhul, kui teil on juba sobiv õppescript. Siin on mõned kriitilised muudatused, mida tuleb teha Horovodiga õppimiseks:

• Seadke kontekst vastavalt Horovodi kohalikule järjestusele (rida 8), et mõista, et õppimine toimub õiges graafikus.
• Kandke algparameetrid ühest töötlusmasinast kõikidele (rida 18), et veenduda, et kõik töötlusmasinad alustavad sama väärtusega algparameetritega.
• Looge Horovod DistributedOptimizer (rida 25), et parameetreid jaotatult uuendada.

Kogu skripti saamiseks tutvuge Horovod-MXNet näidetega MNIST ja ImageNet.

1  import mxnet as mx
2  import horovod.mxnet as hvd
3
4  # Horovod: initialize Horovod
5  hvd.init()
6
7  # Horovod: pin a GPU to be used to local rank
8  context = mx.gpu(hvd.local_rank())
9
10 # Build model
11 model = ...
12
13 # Initialize parameters
14 model.initialize(initializer, ctx=context)
15 params = model.collect_params()
16
17 # Horovod: broadcast parameters
18 hvd.broadcast_parameters(params, root_rank=0)
19
20 # Create optimizer
21 optimizer_params = ...
22 opt = mx.optimizer.create('sgd', **optimizer_params)
23
24 # Horovod: wrap optimizer with DistributedOptimizer
25 opt = hvd.DistributedOptimizer(opt)
26
27 # Create trainer and loss function
28 trainer = mx.gluon.Trainer(params, opt, kvstore=None)
29 loss_fn = ...
30
31 # Train model
32 for epoch in range(num_epoch):
33    ...

Samm 3

Logige ühte töötlusmasinasse, et alustada jaotatud õppimist MPI direktiivi abil. Antud näites käivitatakse jaotatud õpe neljal instantsil, milles igas on 4 GPU ja kokku 16 GPU klastris. Kasutatakse stohhastilise gradientide laskmise (SGD) optimeerijat järgmiste hüperparameetritega:

• mini-batch suurus: 256
• õppemäär: 0.1
• moment: 0.9
• kaalu dekadeerimine: 0.0001

GPU-dest 1 GPU-lt 64 GPU-ni skaleerimise käigus suutsime me lineaarset õppimiskiiruse skaleerimist vastavalt GPU-de arvule (0,1 1 GPU-lt kuni 6,4 64 GPU-ni), säilitades samal ajal, et iga GPU kohta jääb 256 pilti (256 pildi partii 1 GPU-lt kuni 16 384 64 GPU-ni). Kaalude lagunemise ja hetkemomendi parameetreid muudeti vastavalt GPU-de arvu suurenemisele. Kasutasime segatud täpsuse õppimist, kasutades andmeformaati float16 otse edasi ja float32 gradientide jaoks, et kiirendada GPU NVIDIA Tesla poolt toetatud float16 arvutusi.

$ mpirun -np 16 
    -H server1:4,server2:4,server3:4,server4:4 
    -bind-to none -map-by slot 
    -mca pml ob1 -mca btl ^openib 
    python mxnet_imagenet_resnet50.py

Kokkuvõte

Selles artiklis vaatlesime jagatavat lähenemist mudeli jaotatud õppimisele, kasutades Apache MXNet'i ja Horovod'i. Näitasime skaleerimise efektiivsust ja majanduslikku tasuvust võrreldes mudelitähtaja lähenemisega ImageNet andmestikul, mille põhjal koolitati mudelit ResNet50-v1. Samuti andsime ülevaate sammudest, kuidas saate muuta juba olemasolevat skripti, et alustada mitme eksemplari koolitamist Horovodiga.

Kui olete MXNet'i ja süvaõppega alles alustamas, minge installimise lehele MXNe, et kõigepealt MXNet kokku panna. Soovitame tungivalt tutvuda artikliga MXNet 60 minutiga, et alustada.

Kui olete juba töötanud MXNet'iga ja soovite proovida jaotatud õppimist Horovodiga, siis vaadake Horovod'i installimise lehte, koguge see MXNet'i abil ja järgige näidet MNIST või ImageNet.

*hind arvutatakse tunnitasu AWS EC2 eksemplaride jaoks

Pi-KVM — avatud IP-KVM projekt Raspberry Pi-l „Tööstuslik ML suurte andmete jaoks“

Allikas: habr.com