Kuidas karta ületada ja alustada Azure Machine Learning'i kasutamist

Ma tean palju andme teadlasi — ja ilmselt kuulun ka ise nende hulka — kes töötavad GPU-dega masinatel, olgu need siis kohalikud või virtuaalsed, mis asuvad pilves, kas Jupyter Notebooki või mõne Python'i arenduskeskkonna kaudu. Töötades 2 aastat AI/ML ekspert-arendajana tegin ma just nii, valmistades andmeid ette tavainfokeskuses või tööjaamas ja käivitades õppe virtuaalmasinas GPU-ga Azure'is.

Loomulikult oleme me kõik kuulnud Azure Machine Learning — spetsiaalsest pilveplatvormist masinõppe jaoks. Kuid juba esimese pilguga sissejuhatavatesse artiklitesse, tekib mulje, et Azure ML tekitab rohkem probleeme, kui lahendab. Näiteks eelpool mainitud õppe näites käivitatakse õpe Azure ML-is Jupyter Notebookist, samas kui õppe skripti pakutakse luua ja redigeerida kui tekstifaili ühes rakenduse rakkudes — samal ajal ei kasuta funktsioone nagu automaatne täiendamine, süntaksivärv ja teised normaalse arenduskeskkonna eelised. Sellepärast ei ole me pikka aega tõsiselt Azure ML-i oma töös kasutanud.

Ent hiljuti avastasin ma viisi, kuidas alustada Azure ML-i tõhusat kasutamist oma töös! Kas sind huvitavad üksikasjad?

Põhisecret — see on Visual Studio Code'i laiendus Azure ML. See võimaldab sul arendada õppeskripte otse VS Code'is, kasutades keskkonna kõiki eeliseid — samas saad isegi skripti kohapeal käivitada ja siis lihtsalt paar hiireklõpsu jälgides saata selle õppeks Azure ML klastrisse. Mugav, eks?

Kuid sa saad Azure ML-i kasutamisega järgmised eelised:

• Sa saad suurema osa ajast töötada kohapeal oma masinas mugavas IDE-s ning kasutada GPU-d ainult mudeli koolitamiseks.Samuti saavad koolitusressursid automaatselt kohanduda vajaliku koormuse järgi, ning seadistades minimaalne sõlmede arv 0-le, saad sa automaatselt käivitada virtuaalmasina "nõudmisel" koolitusülesannete olemasolul.
• Saate salvestada kõik koolitustulemused ühte kohta, sealhulgas saavutatud meetrikaid ja saadud mudeleid — pole vajadust ise mõelda, kuidas kõiki tulemusi salvestada.
• Selle juures ühe projekti kallal saavad töötada mitu inimest. — nad saavad kasutada sama arvutusklastri, kõik eksperimendid jonduvad järjekorda ning nad saavad näha üksteise katsete tulemusi. Üks selline stsenaarium on Azure ML-i kasutamine süvaõppe õpetamisel, kui igaühele ei anta GPU-d sisaldavat virtuaalmasinat, vaid luuakse üks klaster, mida saavad kasutada kõik tsentraliseeritult. Lisaks võib ühine tulemuste tabel mudeli täpsuse kohta olla hea konkurentsilement.
• Azure ML-i abil on lihtne läbi viia katsetuste seeriat, näiteks hüpertäpsustuse optimeerimiseks — seda saab teha mõne koodireaga, manuaalset katsetuste seeriat pole vaja läbi viia.

Loodetavasti veensin teid proovima Azure ML-i! Nii saate alustada:

• Veenduge, et teil oleks installitud Visual Studio Code, samuti laiendused Azure Sign In ja Azure ML
• Kloonige hoidla https://github.com/CloudAdvocacy/AzureMLStarter — see sisaldab mõningaid demonstreerivaid koode käte kirjutatud numbrite tuvastamise mudeli treenimiseks MNIST andmestikul.
• Avage kloonitud hoidla Visual Studio Code'is.
• Lugege edasi!

Azure ML Tööruum ja Azure ML Portaal

Azure ML on korraldatud tööruumi kontseptsiooni ümber — Tööruum. Tööruumis võivad olla andmed, sinna saadetakse katsetused õppimiseks, seal hoitakse ka saadud metrikad ja mudeleid. Tööruumi sisu saab vaadata Azure ML portaali kaudu — sealt saab teha mitmeid toiminguid, andmete üleslaadimisest mudelite juurutamiseni ja katsete jälgimiseni. Tööruumi saab luua veebiliidese kaudu

Azure Portaali samuti samm-sammult juhised (vt. ), või kasutades Azure CLI käsurida (az extension add -n azure-cli-ml az group create -n myazml -l northeurope az ml workspace create -w myworkspace -g myazmljuhendis):

Tööruumiga on seotud ka mõned

arvutusressursid ). Looge mudeli õppimiseks skript, nagu saate (Arvutussaata eksperimendi tööruumi ja määrata arvutus sihtkoht — sel juhul pakendatakse skript, käivitatakse sobivas arvutuskeskkonnas ja seejärel salvestatakse kõik katse tulemused tööruumis edasiseks analüüsimiseks ja kasutamiseks. Treeningu skript MNIST jaoks Vaadakem klassikalist ülesannet

käte kirjutatud numbrite tuvastamine

käte kirjutatud numbrite tuvastamiseks käte kirjutatud numbrite tuvastamine kasutades MNIST andmete kogumit. Samuti saate edaspidi teostada oma õppeskriptide töötlemise.

Meie hoidlas on skript train_local.py, mis treenib kõige lihtsamat lineaarse regressiooni mudelit kasutades SkLearn raamatukogu. Muidugi mõistan, et see ei ole parim viis probleemi lahendamiseks — kasutame seda näitena kõige lihtsama mudelina.

Skript laadib alguses MNIST andmeid OpenML-ist ja seejärel kasutab klassi LogisticRegression mudeli treenimiseks ning prindib välja saadud täpsuse:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mnist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Üldine täpsus:', acc)

Saate skripti käivitada oma arvutis ja paari sekundi pärast saada tulemuse.

Käivitame skripti Azure ML-is

Kui käivitame skripti treenimiseks Azure ML-is, on meil kaks peamist eelist:

• Treeningu käivitamine mida tahes arvutivahendil, mis on tavaliselt võimsam kui kohalik arvuti. Samuti hoolitseb Azure ML ise selle eest, et pakendada meie skript koos kõigi failidega praegusest kataloogist docker-konteinerisse, installida vajalikud sõltuvused ja saata see täitmiseks.
• Tulemuste salvestamine ühte registrisse Azure ML-i tööruumis. Selle võimaluse kasutamiseks peame lisama paar rida koodi meie skripti tulemuste täpsuse salvestamiseks:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('täpsus', acc)
except:
    pass

Selle skripti vastav versioon on train_universal.py (see on veidi keerulisem kui eespool on kirjutatud, aga mitte palju). Seda skripti saab käivitada nii kohapeal kui ka kaug arvutivahendil.

Selle käivitamiseks Azure ML-is VS Code'is peate tegema järgmist:

1. Veenduge, et Azure'i laiendus on ühendatud teie tellimusega. Valige Azure ikoon vasakul menüüs. Kui te ei ole ühendatud, ilmub paremasse alumisse nurka teade (selline), millele vajutades saate sisse logida veebibrauseri kaudu. Samuti saate vajutada Ctrl-Shift-P VS Code'i käsuribal kutsumiseks ja sisestada Azure Sign In.

2. Seejärel leidke Azure'i jaotises (vasaku külje ikoon) sektsioon MASINA ÕPPIMINE:

Siin peaksite nägema erinevaid objektigrupe tööruumis: arvutusressursid, eksperimendid jne.

1. Minge failide nimekirja, paremklõpsake skriptil train_universal.py ja valige Azure ML: Käivita kui eksperiment Azure'is.

1. Järgneb seeria dialooge VS Code'i käsuribal: kinnitage, millist tellimust ja Azure ML tööruumi kasutatakse, ning valige Loo uus eksperiment:

1. Valige uue arvutusressursi loomine Loo uus arvutus:

   • Arvutus määrab arvutusressursi, millel koolitus toimub. Võite valida kohaliku arvuti või pilve klastrit AmlCompute. Soovitan luua skaleeritava masinate klastri STANDARD_DS3_v2, minimaalse masinate arvu 0 (kuid maksimaalne võib olla 1 või rohkem, sõltuvalt teie soovidest). Seda saab teha läbi VS Code'i liidese või eelnevalt läbi ML Portaal.

   

2. Järgmiseks tuleb valida konfiguratsioon Arvutuse konfiguratsioon, mis määrab vajalikud parameetrid koolitamiseks loodud konteinerile, sealhulgas kõik vajalikud raamatukogud. Meie juhul, kuna kasutame Scikit Learn, valige SkLearn, ja siis lihtsalt kinnitage pakutud raamatukogude nimekiri klahvikomplektiga Enter. Kui kasutate mingeid lisaraamatukogusid, tuleb need siia märkida.

   
   

3. Pärast seda avaneb aken JSON-failiga, mis kirjeldab eksperimenti. Selles saab korrigeerida mõningaid parameetreid, näiteks eksperimendi nime. Pärast seda klõpsake lingil Esita eksperiment otse selle faili sees:

1. Pärast eksperimendi edukat esitamist VS Code'is näete paremal teatealas linki Azure ML Portaal, kus saate jälgida eksperimendi staatust ja tulemusi.

Tulevikus leiate selle alati jaotusest Eksperimendid Azure ML Portaal, või jaotusest Azure Machine Learning eksperimentide nimekirjas:

1. Kui olete pärast seda koodi muutnud või parameetreid muutnud, on eksperimendi uuesti käivitamine palju kiirem ja lihtsam. Paremklõpsake failil, näete uut menüüpunkti Korda viimast käivitust — lihtsalt valige see ja eksperiment käivitub kohe:

Kõigi käivitamise tulemuste mõõdikud leiate alati Azure ML Portaalist, pole vajalik neid üles kirjutada.

Nüüd teate, et eksperimentide käivitamine Azure ML-i kaudu on lihtne ja valutult, samas kui saate mitmeid meeldivaid eeliseid.

Kuid te võisite märkida ka puudusi. Näiteks skripti käivitamiseks kulus oluliselt rohkem aega. Loomulikult vajab skripti konteinerisse pakkimine ja serverisse seadistamine aega. Kui samal ajal klaster piiratakse 0 sõlme suuruseks, kulub virtuaalmasina käivitamiseks veel rohkem aega, ja see on eriti märgatav, kui katsetame lihtsate ülesannetega, näiteks MNIST, mis lahendatakse mõne sekundi jooksul. Siiski, reaalses elus, kus koolitus kestab tunde, päevi või isegi nädalaid, muutub see lisaaeg ebaoluliseks, eriti võrreldes palju kõrgema tootlikkusega, mida saab pakkuda arvutusklaster.

Mis edasi?

Loodan, et pärast seda artiklit suudate ja hakkate Azure ML-i oma töös kasutama skriptide käivitamiseks, arvutusressursside haldamiseks ja tulemuste keskse hoidmise jaoks. Kuid Azure ML võib pakkuda teile veelgi rohkem eeliseid!

Tööhõivevaldkonnas saab andmeid hoida, luues sellega keskse salvestuskoha kõikide oma ülesannete jaoks, millele on lihtne juurde pääseda. Lisaks saate katseid käivitada mitte Visual Studio Code'ist, vaid API kaudu — see võib olla eriti kasulik, kui peate tegema hüperparameterite optimeerimist ja käivitama skripti mitu korda erinevate parameetritega. Veelgi enam, Azure ML-s on sisseehitatud spetsiaalne tehnoloogia Hyperdrive, mis võimaldab teha nutikamat otsingut ja hüperparameterite optimeerimist. Nendest võimalustest räägin oma järgmises märkuses.

Kasulikud ressursid

Azure ML-i põhjalikumaks uurimiseks võivad teid huvitada järgmised Microsoft Learni kursused:

• Sissejuhatus Azure ML teenusesse
• AI-lahenduste loomine Azure ML teenusega
• Kohaliku mudeli treenimine Azure ML teenusega

Allikas: habr.com