भीतीवर मात कशी करावी आणि Azure मशीन लर्निंग कसे वापरावे

मला अनेक डेटा सायंटिस्ट माहित आहेत - आणि मी कदाचित त्यांच्यापैकी एक आहे - जे GPU मशीनवर काम करतात, स्थानिक किंवा व्हर्च्युअल, क्लाउडमध्ये स्थित, एकतर Jupyter Notebook द्वारे किंवा Python विकास वातावरणात. तज्ञ एआय/एमएल डेव्हलपर म्हणून 2 वर्षे काम करताना, मी नियमित सर्व्हर किंवा वर्कस्टेशनवर डेटा तयार करताना आणि Azure मधील GPU असलेल्या व्हर्च्युअल मशीनवर प्रशिक्षण चालू असताना हेच केले.

अर्थात, आम्ही सर्व ऐकले आहे अझर मशीन लर्निंग — मशीन लर्निंगसाठी एक विशेष क्लाउड प्लॅटफॉर्म. तथापि, येथे प्रथम नजर टाकल्यानंतर परिचयात्मक लेख, असे दिसते की Azure ML आपल्यासाठी ते सोडवण्यापेक्षा अधिक समस्या निर्माण करेल. उदाहरणार्थ, वर नमूद केलेल्या ट्यूटोरियलमध्ये, Azure ML वरील प्रशिक्षण ज्युपिटर नोटबुकमधून सुरू केले जाते, तर प्रशिक्षण स्क्रिप्ट स्वतःच एका सेलमध्ये मजकूर फाइल म्हणून तयार आणि संपादित करण्याचा प्रस्ताव आहे - स्वयं-पूर्णता, वाक्यरचना वापरत नसताना हायलाइट करणे आणि सामान्य विकास वातावरणाचे इतर फायदे. या कारणास्तव, आम्ही बर्याच काळापासून आमच्या कामात Azure ML चा गंभीरपणे वापर केला नाही.

तथापि, मी अलीकडेच माझ्या कामात Azure ML चा वापर प्रभावीपणे सुरू करण्याचा एक मार्ग शोधला आहे! तपशीलांमध्ये स्वारस्य आहे?

मुख्य रहस्य आहे Azure ML साठी व्हिज्युअल स्टुडिओ कोड विस्तार. हे तुम्हाला वातावरणाचा पुरेपूर फायदा घेऊन, VS कोडमध्ये प्रशिक्षण स्क्रिप्ट विकसित करण्यास अनुमती देते - आणि तुम्ही स्क्रिप्ट स्थानिक पातळीवर देखील चालवू शकता आणि नंतर काही क्लिकसह ते Azure ML क्लस्टरमध्ये प्रशिक्षणासाठी पाठवू शकता. सोयीस्कर, नाही का?

असे केल्याने, Azure ML वापरून तुम्हाला खालील फायदे मिळतात:

• तुम्ही तुमच्या मशीनवर सोयीस्कर IDE मध्ये स्थानिक पातळीवर काम करू शकता आणि फक्त मॉडेल प्रशिक्षणासाठी GPU वापरा. त्याच वेळी, प्रशिक्षण संसाधनांचा पूल स्वयंचलितपणे आवश्यक लोडशी जुळवून घेऊ शकतो आणि नोड्सची किमान संख्या 0 वर सेट करून, आपण प्रशिक्षण कार्यांच्या उपस्थितीत "मागणीनुसार" आभासी मशीन स्वयंचलितपणे सुरू करू शकता.
• आपण करू शकता सर्व शिक्षण परिणाम एकाच ठिकाणी संग्रहित करा, प्राप्त मेट्रिक्स आणि परिणामी मॉडेल्ससह - सर्व परिणाम संचयित करण्यासाठी काही प्रकारच्या सिस्टम किंवा ऑर्डरसह येण्याची आवश्यकता नाही.
• अशा प्रकारे एकाच प्रकल्पावर अनेक लोक काम करू शकतात - ते समान संगणकीय क्लस्टर वापरू शकतात, सर्व प्रयोग रांगेत असतील आणि ते एकमेकांच्या प्रयोगांचे परिणाम देखील पाहू शकतात. असाच एक प्रसंग आहे डीप लर्निंग शिकवण्यासाठी Azure ML वापरणेप्रत्येक विद्यार्थ्याला GPU सह व्हर्च्युअल मशीन देण्याऐवजी, तुम्ही एक क्लस्टर तयार करू शकता जो सर्व केंद्रिय वापरतील. याव्यतिरिक्त, मॉडेल अचूकतेसह परिणामांची सामान्य सारणी एक चांगला स्पर्धात्मक घटक म्हणून काम करू शकते.
• Azure ML सह, आपण सहजपणे प्रयोगांची मालिका आयोजित करू शकता, उदाहरणार्थ, साठी हायपरपॅरामीटर ऑप्टिमायझेशन - हे कोडच्या काही ओळींसह केले जाऊ शकते, हाताने प्रयोगांची मालिका करण्याची आवश्यकता नाही.

मला आशा आहे की मी तुम्हाला Azure ML वापरण्यासाठी पटवून दिले आहे! सुरुवात कशी करायची ते येथे आहे:

• आपण स्थापित केले असल्याचे सुनिश्चित करा व्हिज्युअल स्टुडिओ कोड, तसेच विस्तार Azure साइन इन и AzureML
• रेपॉजिटरी क्लोन करा https://github.com/CloudAdvocacy/AzureMLStarter - त्यात MNIST डेटासेटवर हस्तलिखित अंक ओळख मॉडेलचे प्रशिक्षण देण्यासाठी काही डेमो कोड आहे.
• व्हिज्युअल स्टुडिओ कोडमध्ये क्लोन केलेले भांडार उघडा.
• वाचा!

Azure ML कार्यक्षेत्र आणि Azure ML पोर्टल

Azure ML संकल्पनेभोवती आयोजित केले आहे कार्यरत क्षेत्र - कार्यक्षेत्र. डेटा कार्यक्षेत्रात संग्रहित केला जाऊ शकतो, प्रयोग प्रशिक्षणासाठी पाठवले जातात, प्रशिक्षण परिणाम देखील तेथे संग्रहित केले जातात - परिणामी मेट्रिक्स आणि मॉडेल्स. द्वारे कार्यक्षेत्रात काय आहे ते तुम्ही पाहू शकता Azure ML पोर्टल - आणि तेथून तुम्ही डेटा लोड करण्यापासून प्रयोगांचे निरीक्षण करणे आणि मॉडेल्स तैनात करण्यापर्यंत अनेक ऑपरेशन्स करू शकता.

तुम्ही वेब इंटरफेसद्वारे वर्कस्पेस तयार करू शकता Azure पोर्टल (पहा चरण-दर-चरण सूचना), किंवा Azure CLI कमांड लाइन वापरून (सूचना):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

तसेच काही कार्यक्षेत्राशी संबंधित आहेत संगणकीय संसाधने (गणना करा). एकदा तुम्ही मॉडेलला प्रशिक्षित करण्यासाठी स्क्रिप्ट तयार केल्यानंतर, तुम्ही हे करू शकता अंमलबजावणीसाठी प्रयोग पाठवा कार्यक्षेत्रात, आणि निर्दिष्ट करा लक्ष्याची गणना करा - या प्रकरणात, स्क्रिप्ट पॅकेज केली जाईल, इच्छित संगणकीय वातावरणात चालविली जाईल आणि नंतर प्रयोगाचे सर्व परिणाम पुढील विश्लेषण आणि वापरासाठी कार्यक्षेत्रात जतन केले जातील.

MNIST साठी स्क्रिप्ट शिकणे

शास्त्रीय समस्येचा विचार करा हस्तलिखित अंक ओळख MNIST डेटासेट वापरणे. त्याचप्रमाणे, भविष्यात, तुम्ही तुमची कोणतीही प्रशिक्षण स्क्रिप्ट चालवू शकता.

आमच्या भांडारात एक स्क्रिप्ट आहे train_local.py, ज्याला आम्ही SkLearn लायब्ररी वापरून सर्वात सोप्या रेखीय प्रतिगमन मॉडेलचे प्रशिक्षण देतो. अर्थात, मला समजले आहे की समस्येचे निराकरण करण्याचा हा सर्वोत्तम मार्ग नाही - आम्ही ते सर्वात सोपा म्हणून उदाहरणासाठी वापरतो.

स्क्रिप्ट प्रथम OpenML वरून MNIST डेटा डाउनलोड करते आणि नंतर वर्ग वापरते LogisticRegression मॉडेल प्रशिक्षित करण्यासाठी, आणि नंतर परिणामी अचूकता मुद्रित करा:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

तुम्ही तुमच्या संगणकावर स्क्रिप्ट चालवू शकता आणि काही सेकंदात निकाल मिळवू शकता.

Azure ML मध्ये स्क्रिप्ट चालवा

आम्ही Azure ML द्वारे प्रशिक्षण स्क्रिप्ट चालविल्यास, आम्हाला दोन मुख्य फायदे होतील:

• अनियंत्रित संगणकीय संसाधनावर प्रशिक्षण चालवणे, जे नियम म्हणून, स्थानिक संगणकापेक्षा अधिक उत्पादक आहे. त्याच वेळी, Azure ML स्वतःच आमची स्क्रिप्ट वर्तमान निर्देशिकेतील सर्व फाईल्ससह डॉकर कंटेनरमध्ये पॅक करणे, आवश्यक अवलंबन स्थापित करणे आणि अंमलबजावणीसाठी पाठविण्याची काळजी घेईल.
• Azure ML वर्कस्पेसमधील एकल रेजिस्ट्रीमध्ये परिणाम लिहा. या वैशिष्ट्याचा लाभ घेण्यासाठी, परिणामी अचूकता रेकॉर्ड करण्यासाठी आम्हाला आमच्या स्क्रिप्टमध्ये कोडच्या दोन ओळी जोडण्याची आवश्यकता आहे:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

स्क्रिप्टची संबंधित आवृत्ती म्हणतात train_universal.py (हे वर लिहिले आहे त्यापेक्षा थोडे अधिक धूर्त आहे, परंतु जास्त नाही). ही स्क्रिप्ट स्थानिक पातळीवर आणि रिमोट संगणकीय संसाधनावर चालविली जाऊ शकते.

VS कोडवरून Azure ML मध्ये चालवण्यासाठी, तुम्हाला पुढील गोष्टी करण्याची आवश्यकता आहे:

1. Azure एक्स्टेंशन तुमच्या सबस्क्रिप्शनशी कनेक्ट केलेले असल्याची खात्री करा. डावीकडील मेनूमधून Azure चिन्ह निवडा. तुम्ही कनेक्ट केलेले नसल्यास, खालच्या उजव्या कोपर्यात एक सूचना दिसेल (यासारखे), ज्यावर क्लिक करून आपण ब्राउझरद्वारे प्रविष्ट करू शकता. तुम्ही क्लिक देखील करू शकता Ctrl-Shift-P व्हीएस कोड कमांड लाइनवर कॉल करण्यासाठी आणि टाइप करा Azure साइन इन.

2. त्यानंतर, Azure विभागात (डावीकडील चिन्ह), विभाग शोधा मशीन लर्निंग:

येथे तुम्हाला वर्कस्पेसमध्ये विविध वस्तूंचे गट दिसले पाहिजेत: संगणकीय संसाधने, प्रयोग इ.

1. फाइल्सच्या सूचीवर जा, स्क्रिप्टवर उजवे क्लिक करा train_universal.py आणि निवडा Azure ML: Azure मध्ये प्रयोग म्हणून चालवा.

1. यानंतर VS कोडच्या कमांड लाइन क्षेत्रामध्ये संवादांची मालिका येईल: तुम्ही वापरत असलेल्या सदस्यता आणि Azure ML वर्कस्पेसची पुष्टी करा आणि निवडा नवीन प्रयोग तयार करा:

1. नवीन गणना संसाधन तयार करणे निवडा नवीन गणना तयार करा:

   • गणना करा ज्या संगणकीय संसाधनावर प्रशिक्षण घेतले जाईल ते निर्धारित करते. तुम्ही स्थानिक संगणक किंवा AmlCompute क्लाउड क्लस्टर निवडू शकता. मी मशीनचे एक स्केलेबल क्लस्टर तयार करण्याची शिफारस करतो STANDARD_DS3_v2, कमीतकमी 0 च्या मशीनसह (आणि जास्तीत जास्त 1 किंवा अधिक, तुमच्या भूकेनुसार). हे व्हीएस कोड इंटरफेसद्वारे किंवा पूर्वीद्वारे केले जाऊ शकते एमएल पोर्टल.

   

2. पुढे, आपल्याला कॉन्फिगरेशन निवडण्याची आवश्यकता आहे कंप्यूट कॉन्फिगरेशन, जे प्रशिक्षणासाठी तयार केलेल्या कंटेनरचे मापदंड परिभाषित करते, विशेषतः, सर्व आवश्यक लायब्ररी. आमच्या बाबतीत, आम्ही Scikit Learn वापरत असल्याने, आम्ही निवडतो SkLearn, आणि नंतर फक्त Enter दाबून लायब्ररीच्या प्रस्तावित सूचीची पुष्टी करा. तुम्ही कोणत्याही अतिरिक्त लायब्ररी वापरत असल्यास, ते येथे नमूद केले पाहिजेत.

   
   

3. हे प्रयोगाचे वर्णन करणारी JSON फाइल असलेली विंडो उघडेल. त्यामध्ये, तुम्ही काही पॅरामीटर्स दुरुस्त करू शकता - उदाहरणार्थ, प्रयोगाचे नाव. त्यानंतर लिंकवर क्लिक करा प्रयोग सबमिट करा या फाईलच्या आत:

1. व्हीएस कोडद्वारे प्रयोग यशस्वीरित्या सबमिट केल्यानंतर, सूचना क्षेत्राच्या उजव्या बाजूला, तुम्हाला एक लिंक दिसेल Azure ML पोर्टल, जेथे तुम्ही प्रयोगाची स्थिती आणि परिणामांचा मागोवा घेऊ शकता.

त्यानंतर, आपण ते नेहमी विभागात शोधू शकता प्रयोग Azure ML पोर्टल, किंवा विभागात अझर मशीन लर्निंग प्रयोगांच्या यादीत:

1. त्यानंतर जर तुम्ही कोडमध्ये काही दुरुस्त्या केल्या असतील किंवा पॅरामीटर्स बदलले असतील, तर प्रयोग रीस्टार्ट करणे अधिक जलद आणि सोपे होईल. फाइलवर उजवे-क्लिक करून, तुम्हाला एक नवीन मेनू आयटम दिसेल शेवटची धाव पुन्हा करा - फक्त ते निवडा, आणि प्रयोग लगेच सुरू होईल:

Azure ML पोर्टलवर तुम्ही सर्व लॉन्चमधील मेट्रिक्सचे परिणाम नेहमी शोधू शकता, ते लिहून ठेवण्याची गरज नाही.

आता तुम्हाला माहिती आहे की Azure ML सह प्रयोग चालवणे सोपे आणि वेदनारहित आहे आणि असे केल्याने तुम्हाला अनेक चांगले फायदे मिळतात.

परंतु आपण तोटे देखील पाहू शकता. उदाहरणार्थ, स्क्रिप्ट चालवण्यास बराच वेळ लागला. अर्थात, स्क्रिप्टचे कंटेनरमध्ये पॅकेजिंग आणि सर्व्हरवर तैनात करण्यास वेळ लागतो. जर त्याच वेळी क्लस्टर 0 नोड्सच्या आकारात कापला गेला असेल तर, व्हर्च्युअल मशीन सुरू होण्यास आणखी वेळ लागेल आणि हे सर्व लक्षात येते जेव्हा आपण MNIST सारख्या सोप्या कार्यांवर प्रयोग करतो, जे काही सेकंदात सोडवले जातात. . तथापि, वास्तविक जीवनात, जेव्हा प्रशिक्षण अनेक तास, किंवा अगदी दिवस किंवा आठवडे चालते, तेव्हा हा अतिरिक्त वेळ नगण्य बनतो, विशेषत: संगणकीय क्लस्टर प्रदान करू शकणार्‍या उच्च कार्यक्षमतेच्या पार्श्वभूमीवर.

पुढील काय आहे?

मला आशा आहे की हा लेख वाचल्यानंतर, तुम्ही स्क्रिप्ट चालवण्यासाठी, संगणकीय संसाधने व्यवस्थापित करण्यासाठी आणि केंद्रस्थानी निकाल संग्रहित करण्यासाठी तुमच्या कामात Azure ML वापरू शकता आणि वापराल. तथापि, Azure ML तुम्हाला आणखी फायदे देऊ शकते!

कार्यक्षेत्रात, तुम्ही डेटा संचयित करू शकता, त्याद्वारे तुमच्या सर्व कार्यांसाठी केंद्रीकृत भांडार तयार करू शकता, ज्यामध्ये प्रवेश करणे सोपे आहे. याव्यतिरिक्त, तुम्ही व्हिज्युअल स्टुडिओ कोडमधून प्रयोग चालवू शकत नाही, परंतु API वापरून - तुम्हाला हायपरपॅरामीटर ऑप्टिमायझेशन करण्याची आवश्यकता असल्यास आणि वेगवेगळ्या पॅरामीटर्ससह स्क्रिप्ट अनेक वेळा चालवण्याची आवश्यकता असल्यास हे विशेषतः उपयुक्त ठरू शकते. शिवाय, Azure ML मध्ये विशेष तंत्रज्ञान तयार केले आहे हायपरड्राइव्ह, जे तुम्हाला अधिक अवघड शोध आणि हायपरपॅरामीटर्सचे ऑप्टिमायझेशन करण्यास अनुमती देते. मी माझ्या पुढील पोस्टमध्ये या शक्यतांबद्दल बोलेन.

उपयुक्त संसाधने

Azure ML बद्दल अधिक जाणून घेण्यासाठी, तुम्हाला खालील Microsoft Learn अभ्यासक्रम उपयुक्त वाटू शकतात:

• Azure ML सेवेचा परिचय
• Azure ML सेवेसह AI उपाय तयार करणे
• Azure ML सेवेसह स्थानिक मॉडेलला प्रशिक्षण द्या

स्त्रोत: www.habr.com