Sida looga gudbo cabsida oo aad u bilowdo isticmaalka Azure Machine Learning

Waxaan aqaan Saynisyahano badan oo Xogta - lagana yaabo inaan ka mid ahay - kuwaas oo ka shaqeeya mashiinnada GPU, kuwa maxalliga ah ama kuwa casriga ah, ee ku yaal daruuraha, ama iyada oo loo marayo Jupyter Notebook ama nooc ka mid ah deegaanka horumarinta Python. Ka shaqaynta 2 sano sida khabiir ku takhasusay AI / ML, waxaan si sax ah u sameeyay tan, anigoo diyaarinaya xogta server-ka caadiga ah ama goobta shaqada, iyo ku shaqeynta tababarka mashiinka farsamada leh GPU ee Azure.

Dabcan, dhammaanteen waan maqalnay Barashada Mashiinka Azure - goob daruur gaar ah oo loogu talagalay barashada mashiinka. Si kastaba ha ahaatee, ka dib markii jaleecada hore at maqaallo hordhac ah, waxay u muuqataa in Azure ML ay kuu abuuri doonto dhibaatooyin ka badan inta ay xallin doonto. Tusaale ahaan, tusaalaha tababarka ee kor ku xusan, tababarka Azure ML waxaa laga bilaabay Jupyter Notebook, halka qoraalka tababarka laftiisa la soo jeediyay in la abuuro oo loo habeeyo faylka qoraalka ee mid ka mid ah unugyada - iyada oo aan la isticmaalin autocompletion, muujinta syntax iyo kuwa kale. faa'iidooyinka deegaanka horumarinta caadiga ah. Sababtan awgeed, si dhab ah uma aynaan isticmaalin Azure ML shaqadeena muddo dheer.

Si kastaba ha ahaatee, waxaan dhawaan helay hab aan ku bilaabo isticmaalka Azure ML si wax ku ool ah shaqadayda! Xiisaynaya faahfaahinta?

Sirta ugu weyni waa Visual Studio Code kordhinta Azure ML. Waxay kuu ogolaanaysaa inaad si toos ah ugu horumariso qoraalada tababarka ee VS Code, adigoo si buuxda uga faa'iidaysanaya deegaanka - oo xitaa waxaad ku socodsiin kartaa qoraal gudaha, ka dibna si fudud ugu dir si aad ugu tababarto kooxda Azure ML oo leh dhowr dhagsi. Ku habboon, miyaanay ahayn?

Markaad sidaas samayso, waxaad ka helaysaa faa'iidooyinka soo socda isticmaalka Azure ML:

• Waxaad inta badan ku shaqayn kartaa gudaha mashiinkaaga IDE ku habboon, iyo u isticmaal GPU kaliya tababarka moodeelka. Isla mar ahaantaana, barkada agabka tababarka waxay si toos ah ula qabsan kartaa culeyska loo baahan yahay, iyo adoo dejinaya tirada ugu yar ee qanjidhada 0, waxaad si toos ah u bilaabi kartaa mashiinka farsamada "baahida" haddii ay jiraan hawlo tababar.
• laga yaabaa in aad ku kaydi dhammaan natiijooyinka waxbarashada hal meel, oo ay ku jiraan cabbirada la gaaray iyo moodooyinka ka dhashay - looma baahna in la yimaado nooc ka mid ah nidaamka ama nidaamka kaydinta dhammaan natiijooyinka.
• Sayidka Dhowr qof ayaa ka shaqayn kara hal mashruuc - waxay isticmaali karaan koox isku mid ah kombuyuutarada, dhammaan tijaabooyinka ayaa la safan doonaa, sidoo kale waxay arki karaan natiijooyinka midba midka kale tijaabintiisa. Mid ka mid ah dhacdadan ayaa ah iyadoo la adeegsanayo Azure ML dhanka barida Barashada Deep, halkaas oo halkii aad ka siin lahayd arday kasta mashiinka farsamada gacanta oo leh GPU, waxaad abuuri kartaa hal koox oo qof walba u isticmaali doono bartamaha. Intaa waxaa dheer, shaxda guud ee natiijooyinka oo leh saxnaanta moodeelku waxay u adeegi kartaa sida qayb tartan oo wanaagsan.
• Isticmaalka Azure ML, waxaad si fudud u socodsiin kartaa tijaabooyin taxane ah, tusaale; hagaajinta hyperparameter - Tan waxaa lagu samayn karaa dhowr sadar oo kood ah, looma baahna in tijaabo taxane ah lagu sameeyo gacanta.

Waxaan rajeynayaa inaan ku qanciyay inaad Azure ML tijaabiso! Waa kan sida loo bilaabo:

• Hubi inaad rakibtay Muuqaalka Muuqaalka Visual Studio, iyo sidoo kale kordhinta Soo gal Azure и Azure ML
• Xir kaydka https://github.com/CloudAdvocacy/AzureMLStarter - waxa ay ka kooban tahay koodka demo si loogu tababaro qaabka aqoonsiga lambar gacan ku qoran ee xogta MNIST.
• Ku fur kaydka la xidhay ee Visual Studio Code.
• Akhristow!

Goobta shaqada ee Azure ML iyo Azure ML Portal

Azure ML waxaa loo habeeyay fikradda goobta shaqada - Goobta shaqada. Xogta waxaa lagu kaydin karaa goobta shaqada, tijaabooyinka tababarka ayaa loo diri karaa, iyo natiijooyinka tababarka - cabbirada iyo moodooyinka ka soo baxa - ayaa sidoo kale lagu kaydiyaa halkaas. Waxaad arki kartaa waxa ku jira goobta shaqada adoo isticmaalaya Azure ML portal - halkaasna waxaad ka samayn kartaa hawlo badan, laga bilaabo rarista xogta ilaa la socodka tijaabooyinka iyo geynta moodooyinka.

Waxaad ku abuuri kartaa goob shaqo adiga oo isticmaalaya interface webka Xariirka Azure (eeg tillaabo tallaabo tallaabo ah), ama adoo isticmaalaya khadka taliska Azure CLI (tilmaamaha):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

Waxa kale oo jira qaar la xidhiidha goobta shaqada agabka xisaabinta (Xisaabi). Markaad sameysid qoraal si aad u tababarto qaabka, waad awoodaa u dir tijaabo si loo fuliyo goobta shaqada, oo sheeg xisaabi bartilmaameed - kiiskan, qoraalka ayaa la duubi doonaa, lagu bilaabi doonaa jawiga kombuyuutarka ee la rabo, ka dibna dhammaan natiijooyinka tijaabada ayaa lagu keydin doonaa goobta shaqada si loo falanqeeyo iyo isticmaalka dheeraadka ah.

Qoraalka tababarka ee MNIST

Aynu tixgelinno dhibaatada qadiimiga ah aqoonsiga nambar gacanta ku qoran iyadoo la isticmaalayo xogta MNIST. Sidoo kale, mustaqbalka waxaad awoodi doontaa inaad fuliso mid ka mid ah qoraalladaada tababarka.

Waxa jira qoraal ku jira kaydkayaga train_local.py, kaas oo ku tababara qaabka ugu fudud ee dib u celinta toosan isagoo isticmaalaya maktabadda SkLearn. Dabcan, waxaan fahamsanahay in tani aysan ahayn habka ugu wanaagsan ee lagu xallin karo dhibaatada - waxaan u isticmaalnaa tusaale ahaan, sida ugu fudud.

Qoraalku wuxuu marka hore ka soo dejiyaa xogta MNIST OpenML ka dibna wuxuu isticmaalaa fasalka LogisticRegression si loo tababaro qaabka, ka dibna u daabaco saxnaanta natiijada:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

Waxaad ku socodsiin kartaa qoraalka kumbuyuutarkaaga dhowr ilbiriqsi gudahood waxaad ku heli doontaa natiijada.

Ku socodsiinta qoraalka Azure ML

Haddii aan ku socodsiino qoraalka tababarka Azure ML, waxaan yeelan doonnaa laba faa'iidooyin oo waaweyn:

• Ku shaqaynta tababbarka ku saabsan agab xisaabeed aan sabab lahayn, kaas oo inta badan ka waxtar badan kombuyuutarka maxalliga ah. Xaaladdan oo kale, Azure ML lafteedu waxay daryeeli doontaa in lagu xidho qoraalkayaga dhammaan faylasha laga soo bilaabo tusaha hadda jira weel docker, rakibida ku-tiirsanaanta loo baahan yahay, oo u diri doona fulinta.
• Natiijooyinka u qor hal diiwaangelin gudaha goobta shaqada ee Azure ML. Si aan uga faa'iidaysano sifadan, waxaan u baahanahay in aan ku darno dhowr sadar oo kood ah qoraalkeena si aan u duubno saxnaanta natiijada:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

Nooca u dhigma ee qoraalka ayaa la yiraahdaa train_universal.py (waa wax yar oo si xeeladaysan loo nashqadeeyay ka kor lagu tilmaamay, laakiin aan badnayn). Qoraalkan waxaa lagu socodsiin karaa labadaba gudaha iyo kheyraadka xisaabinta fog.

Si aad ugu socodsiiso Azure ML ka VS Code, waxaad u baahan tahay inaad sameyso waxyaabaha soo socda:

1. Hubi in Extension Azure uu ku xidhan yahay rukunka. Ka dooro summada Azure ee liiska bidix. Haddii aanad ku xidhnayn, ogaysiis ayaa ka muuqan doonta geeska midig ee hoose (sida tan), adigoo gujinaya kaas oo aad ka gali karto browserka. Waxaad sidoo kale riix kartaa Ctrl-Shift-P si aad u furto khadka taliska VS Code, oo ku qor Soo gal Azure.

2. Taas ka dib, qaybta Azure (astaanta bidix), hel qaybta BARASHADA MACHINE:

Halkan waa inaad ku aragto kooxo kala duwan oo walxo gudaha goobta shaqada: ilaha xisaabinta, tijaabooyinka, iwm.

1. Tag liiska faylasha, midigta ku dhufo qoraalka train_universal.py dooro Azure ML: Ku orod sidii tijaabo gudaha Azure.

1. Tan waxaa ku xigi doona taxane taxane ah oo ku yaal aagga khadka taliska VS Code: xaqiiji rukumadaada iyo goobta shaqada ee Azure ML, oo ​​dooro Abuur tijaabo cusub:

1. Dooro si aad u abuurto ilo xisaabeed cusub Abuur Xisaabeed Cusub:

   • Xisaabi ayaa go'aaminaya ilaha xisaabinta ee tababarka uu dhici doono. Waxaad dooran kartaa kombuyuutar maxalli ah, ama AmlCompute Cloud cluster. Waxaan ku talinayaa in la abuuro koox mashiino ah oo la miisaami karo STANDARD_DS3_v2, oo leh tirada ugu yar ee mishiinada 0 (iyo ugu badnaan waxay noqon kartaa 1 ama ka badan, iyadoo ku xidhan rabitaanka cuntadaada). Tan waxaa lagu samayn karaa iyada oo loo marayo VS Code interface, ama markii hore iyada oo loo marayo Xariirka ML.

   

2. Marka xigta waxaad u baahan tahay inaad doorato qaabeynta Xisaabinta Isku-habaynta, kaas oo qeexaya xuduudaha weelka loo abuuray tababarka, gaar ahaan, dhammaan maktabadaha lagama maarmaanka ah. Xaaladeena, maadaama aan isticmaaleyno Scikit Learn, waxaan dooranaa SkLearn, ka dibna si fudud u xaqiiji liiska la soo jeediyay ee maktabadaha adiga oo riixaya Gelida. Haddii aad isticmaasho maktabado dheeraad ah, waa in lagu qeexaa halkan.

   
   

3. Taas ka dib, daaqad ayaa ku furmi doonta faylka JSON oo qeexaya tijaabada. Waxaad ku sixi kartaa cabbirrada qaarkood, tusaale ahaan, magaca tijaabada. Intaa ka dib riix linkiga Soo gudbi tijaabada isla gudaha faylkan:

1. Ka dib markaad si guul leh u gudbiso tijaabada VS Code, aagga ogeysiinta ee midigta waxaad arki doontaa xiriiriye Azure ML Portal, halkaas oo aad kala socon karto heerka iyo natiijada tijaabada.

Ka dib, waxaad had iyo jeer ka heli kartaa qaybta Tijaabooyin Azure ML Portal, ama qaybta Barashada Mashiinka Azure Liiska tijaabooyinka:

1. Haddii aad dabadeed wax ka saxdo koodka ama beddeshay cabbirada, dib u socodsiinta tijaabadu waxay noqon doontaa mid aad u dhakhso badan oo fudud. Markaad midigta gujiso faylka, waxaad arki doontaa shay cusub Ku celi orodkii u dambeeyay - kaliya dooro oo tijaabada ayaa isla markiiba la bilaabi doonaa:

Waxaad had iyo jeer ka heli kartaa natiijooyinka cabbirka dhammaan socodsiinta Xariirka Azure ML; looma baahna in la duubo.

Hadda waxaad ogtahay in socodsiinta tijaabooyinka adeegsiga Azure ML ay fududahay, xanuun la'aan, oo ay la socoto faa'iidooyin xiiso leh.

Laakiin waxaa laga yaabaa inaad dareentay khasaare. Tusaale ahaan, waxay qaadatay wakhti aad u dheer in la socodsiiyo qoraalka. Dabcan, ku xidhidhiyaha qoraalka weel iyo geynta server-ka waxay qaadataa wakhti. Haddii kooxdu hoos loo dhigo cabbirka 0 nodes, waxay qaadan doontaa xitaa waqti dheeraad ah si loo bilaabo mashiinka farsamada, waxaas oo dhanna aad bay u muuqanayaan marka aan tijaabino dhibaatooyinka fudud sida MNIST, kuwaas oo lagu xalliyo dhowr ilbiriqsi gudahood. Si kastaba ha ahaatee, nolosha dhabta ah, marka tababarku uu socdo dhowr saacadood, ama xitaa maalmo ama toddobaadyo, wakhtigan dheeraadka ah wuxuu noqonayaa mid aan muhiim ahayn, gaar ahaan marka loo eego dhabarka waxqabadka aadka u sarreeya ee kooxda xisaabinta ay bixin karto.

Maxaa ku xiga?

Waxaan rajeynayaa in akhrinta maqaalkan ka dib, aad awoodid oo aad isticmaali doonto Azure ML shaqadaada si aad u socodsiiso qoraallada, u maamusho agabka xisaabinta, iyo natiijooyinka dhexe ee kaydinta. Si kastaba ha ahaatee, Azure ML waxay ku siin kartaa faa'iidooyin badan!

Waxaad ku kaydin kartaa xogta gudaha goobta shaqada, si aad u abuurto kayd dhexe ee dhammaan hawlahaaga oo ay fududahay in la galo. Intaa waxaa dheer, waxaad tijaabin kartaa adigoo isticmaalaya API-ga halkii aad ka isticmaali lahayd Visual Studio Code - tani waxay si gaar ah faa'iido u yeelan kartaa haddii aad u baahan tahay hagaajinta hyperparameter oo aad u baahan tahay inaad ku socodsiiso qoraalka marar badan oo leh cabbirro kala duwan. Intaa waxaa dheer, tignoolajiyada gaarka ah ayaa lagu dhisay Azure ML kaxaynta sare, kaas oo u oggolaanaya raadinta aad u casrisan iyo hagaajinta hyperparameters. Waxaan kaga hadli doonaa suurtagalnimadan qoraalkayga soo socda.

Kheyraad Faa'iido Leh

Si aad wax badan uga ogaato Azure ML, waxaad ka heli kartaa koorsooyinka Barashada Microsoft ee soo socda:

• Hordhaca Adeegga ML Azure
• Ku dhis xalalka AI adeega Azure ML
• Tababar nooc maxalli ah adoo isticmaalaya adeega Azure ML

Source: www.habr.com