Ke tseba ba bangata ba Data Scientists - mme mohlomong ke e mong oa bona - ba sebetsang ka mechini ea GPU, ea lehae kapa e fumanehang marung, ebang ke ka Jupyter Notebook kapa ka mofuta o itseng oa tikoloho ea nts'etsopele ea Python. Ho sebetsa lilemo tse 2 ke le setsebi sa AI / ML, ke entse sena hantle, ha ke ntse ke lokisetsa data ho seva se tloaelehileng kapa setsi sa mosebetsi, 'me ke sebetsa ka koetliso mochine o nang le GPU o Azure.
Ehlile, kaofela re utloile ka - sethala se khethehileng sa leru bakeng sa ho ithuta ka mochini. Leha ho le joalo, ka mor'a ho e sheba ka lekhetlo la pele , ho bonahala eka Azure ML e tla u bakela mathata a mangata ho feta kamoo e a rarollang. Mohlala, thutong e boletsoeng ka holimo, koetliso ea Azure ML e qalisoa ho tsoa ho Jupyter Notebook, ha sengoloa sa koetliso ka bosona se reriloe hore se thehoe le ho hlophisoa joalo ka faele ea mongolo ho e 'ngoe ea lisele - leha e sa sebelise ho phethela ka boits'oaro, syntax. ho totobatsa, le melemo e meng ea tikoloho e tloaelehileng ea ntlafatso. Ka lebaka lena, ha rea ka ra sebelisa Azure ML ka botebo mosebetsing oa rona ka nako e telele.
Leha ho le joalo, haufinyane tjena ke fumane mokhoa oa ho qala ho sebelisa Azure ML ka katleho mosebetsing oa ka! Na o khahlehela lintlha?
Sephiri se seholo ke . E u lumella ho nts'etsapele mangolo a koetliso hantle ho VS Code, u sebelisa tikoloho ka botlalo - 'me u ka khona ho tsamaisa sengoloa sebakeng sa heno ebe u se romela koetlisong ka har'a sehlopha sa Azure ML ka ho tobetsa tse' maloa. E bonolo, na ha ho joalo?
Ka ho etsa joalo, o fumana melemo e latelang ka ho sebelisa Azure ML:
- U ka sebetsa boholo ba nako sebakeng sa heno mochining oa hau ka IDE e loketseng, le sebelisa GPU bakeng sa koetliso ea mohlala feela. Ka nako e ts'oanang, letamo la lisebelisoa tsa koetliso li ka ikamahanya le mojaro o hlokahalang, 'me ka ho beha palo e fokolang ea li-node ho 0, u ka qala mochine oa sebele "ka tlhokahalo" ka pel'a mesebetsi ea koetliso.
- u ka boloka diphetho tsohle tsa thuto sebakeng se le seng, ho kenyelletsa le metrics e fihletsoeng le mehlala e hlahisoang - ha ho hlokahale ho hlahisa mofuta o itseng oa tsamaiso kapa taelo ea ho boloka liphetho tsohle.
- Kahoo Batho ba 'maloa ba ka sebetsa morerong o le mong - ba ka sebelisa sehlopha se tšoanang sa komporo, liteko tsohle li tla hlophisoa, 'me ba ka boela ba bona liphetho tsa liteko tsa ba bang. E 'ngoe ea maemo a joalo ke ho sebelisa Azure ML ho ruta Thuto e Tebilengha ho e-na le ho fa seithuti se seng le se seng mochine o nang le GPU, u ka etsa sehlopha se le seng se tla sebelisoa ke bohle bohareng. Ho phaella moo, tafole e akaretsang ea liphello tse nang le ho nepahala ha mohlala e ka sebetsa e le ntho e ntle ea tlhōlisano.
- Ka Azure ML, o ka etsa letoto la liteko habonolo, mohlala, bakeng sa hyperparameter optimization - sena se ka etsoa ka mela e 'maloa ea khoutu, ha ho hlokahale ho etsa letoto la liteko ka letsoho.
Ke tšepa hore ke u kholisitse hore u leke Azure ML! Tsela ea ho qala ke ena:
- Etsa bonnete ba hore o kentse , hammoho le likeketso и
- Tlosa sebaka sa polokelo - e na le khoutu ea demo bakeng sa ho koetlisa mofuta oa ho tseba linomoro tse ngotsoeng ka letsoho ho datha ea MNIST.
- Bula polokelo e hlophisitsoeng ho Visual Studio Code.
- Tsoela pele ho bala!
Sebaka sa Mosebetsi sa Azure ML le Azure ML Portal
Azure ML e hlophisitsoe ho potoloha mohopolo sebaka sa ho sebetsa - sebaka sa mosebetsi. Lintlha li ka bolokoa sebakeng sa mosebetsi, liteko li romelloa ho eona bakeng sa koetliso, liphetho tsa koetliso le tsona li bolokiloe moo - metrics le mehlala e hlahisoang. U ka bona se ka hare ho sebaka sa mosebetsi ka - mme ho tloha moo o ka etsa ts'ebetso e mengata, ho tloha ho ho kenya data ho isa litekong tsa ho beha leihlo le ho tsamaisa mehlala.
U ka theha sebaka sa mosebetsi ka sebopeho sa webo (Bona ), kapa ho sebelisa mohala oa taelo oa Azure CLI ():
az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazmlHape tse amanang le sebaka sa mosebetsi ke tse ling lisebelisoa tsa khomphutha (Qetella). Hang ha u se u entse script ho koetlisa mohlala, u ka khona romela teko bakeng sa ho phethahatsa sebakeng sa mosebetsi, 'me u hlalose bala sepheo - tabeng ena, script e tla kenngoa, e tsamaee sebakeng se lakatsehang sa k'homphieutha, 'me liphello tsohle tsa teko li tla bolokoa sebakeng sa mosebetsi bakeng sa tlhahlobo le tšebeliso e eketsehileng.
Mongolo oa ho ithuta oa MNIST
Nahana ka bothata ba khale ho sebelisa pokello ea lintlha tsa MNIST. Ka mokhoa o ts'oanang, nakong e tlang, u ka tsamaisa mangolo a hau a koetliso.
Ho na le mongolo sebakeng sa rona sa polokelo train_local.py, eo re e koetlisetsang mokhoa o bonolo oa mola o bonolo oa ho khutlisa re sebelisa laebrari ea SkLearn. Ha e le hantle, kea utloisisa hore ena hase eona tsela e molemo ka ho fetisisa ea ho rarolla bothata - re e sebelisa ka mohlala, e le e bonolo ka ho fetisisa.
Script e qala ka ho khoasolla data ea MNIST ho OpenML ebe e sebelisa sehlopha LogisticRegression ho koetlisa mohlala, ebe o hatisa sephetho se nepahetseng:
mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])
shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]
X_train, X_test, y_train, y_test =
train_test_split(X, y, test_size = 0.3, random_state = 42)
lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))
print('Overall accuracy:', acc)U ka tsamaisa script khomphuteng ea hau 'me u fumane sephetho ka mor'a metsotsoana e seng mekae.
Matha sengoloa ho Azure ML
Haeba re tsamaisa sengoloa sa koetliso ka Azure ML, re tla ba le melemo e 'meli ea mantlha:
- Koetliso ea ho matha ka sesebelisoa sa k'homphieutha se ikemetseng, seo, ka molao, se hlahisang litholoana ho feta k'homphieutha ea sebakeng seo. Ka nako e ts'oanang, Azure ML ka boeona e tla hlokomela ho paka sengoloa sa rona ka lifaele tsohle tse tsoang bukeng ea hajoale ho li kenya ka har'a sets'oants'o sa li-docker, ho kenya litšepiso tse hlokahalang, le ho li romella hore li phethoe.
- Ngola liphetho ho ngoliso e le 'ngoe ka har'a sebaka sa mosebetsi sa Azure ML. Ho nka monyetla ka tšobotsi ena, re hloka ho kenyelletsa mela e 'maloa ea khoutu sengolong sa rona ho tlaleha bonnete ba sephetho:
from azureml.core.run import Run
...
try:
run = Run.get_submitted_run()
run.log('accuracy', acc)
except:
passPhetolelo e lumellanang ea script e bitsoa train_universal.py (e bohlale ho feta kamoo e ngotsoeng ka holimo, empa eseng haholo). Sengoliloeng sena se ka tsamaisoa sebakeng sa heno le sesebelisoa sa khomphutha se hole.
Ho e tsamaisa ka Azure ML ho tsoa ho VS Code, o hloka ho etsa tse latelang:
Etsa bonnete ba hore Katoloso ea Azure e hokahane le peeletso ea hau. Khetha setšoantšo sa Azure ho tsoa ho menu e ka letsohong le letšehali. Haeba o sa hokahane, tsebiso e tla hlaha hukung e ka tlase ho le letona (), ka ho tobetsa eo u ka kenang ho eona ka sebatli. U ka boela ua tobetsa Ctrl-Shift-P ho letsetsa mohala oa taelo oa VS Code, ebe o thaepa Azure Kena.
Ka mor'a moo, karolong ea Azure (icon ka ho le letšehali), fumana karolo THUTO MOCHINA:
Mona o lokela ho bona lihlopha tse fapaneng tsa lintho ka har'a sebaka sa mosebetsi: lisebelisoa tsa komporo, liteko, jj.
- Eya lethathamong la lifaele, tobetsa ka ho le letona ho script
train_universal.pyebe o kgetha Azure ML: Matha joalo ka liteko ho Azure.
- Sena se tla lateloa ke letoto la lipuisano sebakeng sa taelo ea VS Code: netefatsa peeletso le sebaka sa mosebetsi sa Azure ML seo u se sebelisang, ebe u khetha. Etsa teko e ncha:
Khetha ho theha sesebelisoa se secha sa komporo Theha Compute e Ncha:
- Qetella e etsa qeto ea hore na koetliso e tla etsoa joang ka khomphutha. U ka khetha komporo ea lehae, kapa sehlopha sa maru sa AmlCompute. Ke khothaletsa ho theha sehlopha sa mechini se ka senyehang
STANDARD_DS3_v2, e nang le bonyane palo ea mechine ea 0 (le boholo ba 1 kapa ho feta, ho itšetlehile ka litakatso tsa hau). Sena se ka etsoa ka VS Code interface, kapa pejana ka .
- Qetella e etsa qeto ea hore na koetliso e tla etsoa joang ka khomphutha. U ka khetha komporo ea lehae, kapa sehlopha sa maru sa AmlCompute. Ke khothaletsa ho theha sehlopha sa mechini se ka senyehang
E latelang, o hloka ho khetha tlhophiso Complete Configuration, e hlalosang litekanyo tsa setshelo tse entsoeng bakeng sa koetliso, haholo-holo, lilaebrari tsohle tse hlokahalang. Tabeng ea rona, kaha re sebelisa Scikit Learn, rea khetha SkLearn, ebe o netefatsa feela lenane le reriloeng la lilaebrari ka ho tobetsa Enter. Haeba u sebelisa lilaebrari tse ling tse eketsehileng, li tlameha ho boleloa mona.
Sena se tla bula fensetere ka faele ea JSON e hlalosang teko. Ho eona, o ka lokisa likarolo tse ling - mohlala, lebitso la teko. Ka mor'a moo, tobetsa sehokelo Fana ka Teko hantle ka har'a faele ena:
- Ka mor'a ho romela teko ka katleho ka VS Code, ka lehlakoreng le letona la sebaka sa tsebiso, u tla bona sehokelo sa , moo o ka latedisang maemo le diphetho tsa teko.
Ka mor'a moo, u ka e fumana kamehla karolong Liteko , kapa karolong Azure Machine Ithuta lenaneng la liteko:
- Haeba ka mor'a moo u entse litokiso ho khoutu kapa u fetotse li-parameter, ho qala teko hape ho tla potlaka haholo hape ho be bonolo. Ka ho tobetsa faele ka ho le letona, u tla bona ntho e ncha ea menu Pheta lebelo la ho qetela - khetha feela, 'me teko e tla qala hang-hang:
U ka fumana liphetho tsa metrics ho tsoa ho li-run tsohle ho Azure ML Portal, ha ho na lebaka la ho li ngola fatše.
Joale ua tseba hore ho etsa liteko ka Azure ML ho bonolo ebile ha ho bohloko, 'me u fumana melemo e mengata ka ho etsa joalo.
Empa u ka boela ua bona mefokolo. Ka mohlala, ho nka nako e telele haholo ho tsamaisa script. Ehlile, ho paka mongolo ka har'a sets'oants'o le ho o romella ho seva ho nka nako. Haeba ka nako e ts'oanang sehlopha se khaotsoe ka boholo ba li-node tse 0, ho tla nka nako e eketsehileng ho qala mochine oa sebele, 'me sena sohle se bonahala haholo ha re etsa liteko ka mesebetsi e bonolo joaloka MNIST, e rarolloa ka metsotsoana e seng mekae. . Leha ho le joalo, bophelong ba sebele, ha koetliso e nka lihora tse 'maloa, kapa esita le matsatsi kapa libeke, nako ena e eketsehileng e fetoha e se nang thuso, haholo-holo khahlanong le semelo sa ts'ebetso e phahameng haholo eo sehlopha sa computing se ka fanang ka sona.
Ke'ng e latelang?
Ke ts'epa hore kamora ho bala sengoloa sena, o ka sebelisa Azure ML mosebetsing oa hau ho tsamaisa lingoliloeng, ho laola lisebelisoa tsa komporo, le ho boloka liphetho bohareng. Leha ho le joalo, Azure ML e ka u fa melemo le ho feta!
Ka har'a sebaka sa mosebetsi, o ka boloka data, ka hona o theha polokelo e bohareng bakeng sa mesebetsi eohle ea hau, eo ho leng bonolo ho e fumana. Ntle le moo, o ka etsa liteko eseng ho tsoa ho Visual Studio Code, empa o sebelisa API - sena se ka ba molemo haholo haeba o hloka ho etsa optimization ea hyperparameter mme o hloka ho tsamaisa sengoloa ka makhetlo a mangata ka li-parameter tse fapaneng. Ho feta moo, theknoloji e khethehileng e hahiloe ho Azure ML , e u lumellang ho etsa lipatlisiso tse qhekellang le ho ntlafatsa li-hyperparameter. Ke tla bua ka menyetla ena posong ea ka e latelang.
Lisebelisoa Tse Sebelisang
Ho ithuta haholoanyane ka Azure ML, u ka fumana lithuto tse latelang tsa Microsoft Learn li thusa:
Source: www.habr.com
