डर पर कैसे काबू पाएं और एज़्योर मशीन लर्निंग का उपयोग कैसे शुरू करें

मैं कई डेटा वैज्ञानिकों को जानता हूं - और शायद मैं उनमें से एक हूं - जो क्लाउड में स्थित स्थानीय या आभासी जीपीयू मशीनों पर काम करते हैं, या तो ज्यूपिटर नोटबुक के माध्यम से या किसी प्रकार के पायथन विकास वातावरण के माध्यम से। एआई/एमएल में एक विशेषज्ञ डेवलपर के रूप में 2 साल तक काम करते हुए, मैंने एक नियमित सर्वर या वर्कस्टेशन पर डेटा तैयार करते हुए और एज़्योर में जीपीयू के साथ एक वर्चुअल मशीन पर प्रशिक्षण चलाते हुए बिल्कुल यही किया।

निःसंदेह, हम सभी ने इसके बारे में सुना है एज़्योर मशीन लर्निंग - मशीन लर्निंग के लिए एक विशेष क्लाउड प्लेटफ़ॉर्म। हालाँकि, पहली नज़र के बाद परिचयात्मक लेख, ऐसा लगता है कि Azure ML आपके लिए समाधान करने की तुलना में अधिक समस्याएं पैदा करेगा। उदाहरण के लिए, ऊपर उल्लिखित प्रशिक्षण उदाहरण में, Azure ML पर प्रशिक्षण Jupyter Notebook से लॉन्च किया गया है, जबकि प्रशिक्षण स्क्रिप्ट को किसी एक सेल में टेक्स्ट फ़ाइल के रूप में बनाने और संपादित करने का प्रस्ताव है - स्वत: पूर्णता, सिंटैक्स हाइलाइटिंग और अन्य का उपयोग किए बिना सामान्य विकास परिवेश के लाभ. इस कारण से, हमने लंबे समय तक अपने काम में Azure ML का गंभीरता से उपयोग नहीं किया।

हालाँकि, मैंने हाल ही में अपने काम में Azure ML का प्रभावी ढंग से उपयोग शुरू करने का एक तरीका खोजा है! विवरण में रुचि है?

मुख्य रहस्य है Azure ML के लिए विज़ुअल स्टूडियो कोड एक्सटेंशन. यह आपको पर्यावरण का पूरा लाभ उठाते हुए सीधे वीएस कोड में प्रशिक्षण स्क्रिप्ट विकसित करने की अनुमति देता है - और आप एक स्क्रिप्ट को स्थानीय रूप से भी चला सकते हैं, और फिर इसे कुछ क्लिक के साथ एज़्योर एमएल क्लस्टर पर प्रशिक्षित करने के लिए भेज सकते हैं। सुविधाजनक, है ना?

ऐसा करने पर, आपको Azure ML का उपयोग करने से निम्नलिखित लाभ मिलते हैं:

• आप सुविधाजनक आईडीई में अपनी मशीन पर अधिकांश समय स्थानीय रूप से काम कर सकते हैं, और केवल मॉडल प्रशिक्षण के लिए GPU का उपयोग करें. उसी समय, प्रशिक्षण संसाधनों का पूल स्वचालित रूप से आवश्यक लोड को समायोजित कर सकता है, और न्यूनतम संख्या में नोड्स को 0 पर सेट करके, यदि प्रशिक्षण कार्य हैं तो आप वर्चुअल मशीन को "ऑन डिमांड" स्वचालित रूप से लॉन्च कर सकते हैं।
• आप कर सकते हैं सभी सीखने के परिणामों को एक ही स्थान पर संग्रहीत करेंप्राप्त मेट्रिक्स और परिणामी मॉडल सहित - सभी परिणामों को संग्रहीत करने के लिए किसी प्रकार की प्रणाली या आदेश के साथ आने की आवश्यकता नहीं है।
• इस मामले में, एक प्रोजेक्ट पर कई लोग काम कर सकते हैं - वे एक ही कंप्यूटिंग क्लस्टर का उपयोग कर सकते हैं, सभी प्रयोग कतारबद्ध होंगे, और वे एक-दूसरे के प्रयोगों के परिणाम भी देख सकते हैं। ऐसा ही एक परिदृश्य है डीप लर्निंग सिखाने में Azure ML का उपयोग करना, जहां प्रत्येक छात्र को जीपीयू के साथ एक वर्चुअल मशीन देने के बजाय, आप एक क्लस्टर बना सकते हैं जिसका उपयोग सभी के द्वारा केंद्रीय रूप से किया जाएगा। इसके अलावा, मॉडल सटीकता के साथ परिणामों की एक सामान्य तालिका एक अच्छे प्रतिस्पर्धी तत्व के रूप में काम कर सकती है।
• Azure ML का उपयोग करके, आप आसानी से प्रयोगों की एक श्रृंखला चला सकते हैं, जैसे हाइपरपैरामीटर अनुकूलन - यह कोड की कुछ पंक्तियों के साथ किया जा सकता है; प्रयोगों की एक श्रृंखला को मैन्युअल रूप से संचालित करने की कोई आवश्यकता नहीं है।

मुझे आशा है कि मैंने आपको Azure ML को आज़माने के लिए मना लिया है! आरंभ करने का तरीका यहां बताया गया है:

• सुनिश्चित करें कि आपने स्थापित किया है दृश्य स्टूडियो कोड, साथ ही एक्सटेंशन भी एज़्योर साइन इन करें и अज़ूर एमएल
• रिपॉजिटरी को क्लोन करें https://github.com/CloudAdvocacy/AzureMLStarter - इसमें एमएनआईएसटी डेटासेट पर हस्तलिखित अंक पहचान मॉडल के प्रशिक्षण के लिए कुछ डेमो कोड शामिल हैं।
• विज़ुअल स्टूडियो कोड में क्लोन रिपॉजिटरी खोलें।
• पढ़ते रहिये!

Azure ML कार्यक्षेत्र और Azure ML पोर्टल

Azure ML को अवधारणा के इर्द-गिर्द व्यवस्थित किया गया है कार्य क्षेत्र -कार्यक्षेत्र. डेटा को कार्यक्षेत्र में संग्रहीत किया जा सकता है, प्रशिक्षण के लिए प्रयोगों को इसमें भेजा जा सकता है, और प्रशिक्षण परिणाम-परिणामी मैट्रिक्स और मॉडल-भी वहां संग्रहीत किए जाते हैं। आप इसका उपयोग करके देख सकते हैं कि कार्यक्षेत्र के अंदर क्या है एज़्योर एमएल पोर्टल - और वहां से आप डेटा लोड करने से लेकर प्रयोगों की निगरानी और मॉडल तैनात करने तक कई ऑपरेशन कर सकते हैं।

आप वेब इंटरफ़ेस के माध्यम से एक कार्यक्षेत्र बना सकते हैं एज़्योर पोर्टल (देखें। चरण-दर-चरण निर्देश), या Azure CLI कमांड लाइन का उपयोग कर (निर्देश):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

कुछ कार्यक्षेत्र से भी जुड़े हुए हैं कंप्यूटिंग संसाधन (गणना करना). एक बार जब आप मॉडल को प्रशिक्षित करने के लिए एक स्क्रिप्ट बना लेते हैं, तो आप ऐसा कर सकते हैं निष्पादन के लिए एक प्रयोग भेजें कार्य क्षेत्र के लिए, और निर्दिष्ट करें लक्ष्य की गणना करें - इस मामले में, स्क्रिप्ट को पैक किया जाएगा, वांछित कंप्यूटिंग वातावरण में लॉन्च किया जाएगा, और फिर प्रयोग के सभी परिणाम आगे के विश्लेषण और उपयोग के लिए कार्यक्षेत्र में सहेजे जाएंगे।

एमएनआईएसटी के लिए प्रशिक्षण स्क्रिप्ट

आइए शास्त्रीय समस्या पर विचार करें हस्तलिखित अंक पहचान MNIST डेटासेट का उपयोग करना। इसी तरह, भविष्य में आप अपनी किसी भी प्रशिक्षण स्क्रिप्ट को निष्पादित करने में सक्षम होंगे।

हमारे भंडार में एक स्क्रिप्ट है train_local.py, जो SkLearn लाइब्रेरी का उपयोग करके सबसे सरल रैखिक प्रतिगमन मॉडल को प्रशिक्षित करता है। बेशक, मैं समझता हूं कि यह समस्या को हल करने का सबसे अच्छा तरीका नहीं है - हम इसे एक उदाहरण के रूप में, सबसे सरल के रूप में उपयोग करते हैं।

स्क्रिप्ट पहले OpenML से MNIST डेटा डाउनलोड करती है और फिर क्लास का उपयोग करती है LogisticRegression मॉडल को प्रशिक्षित करने के लिए, और फिर परिणामी सटीकता को प्रिंट करें:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

आप स्क्रिप्ट को अपने कंप्यूटर पर चला सकते हैं और कुछ ही सेकंड में आपको परिणाम मिल जाएगा।

Azure ML में स्क्रिप्ट चला रहा हूँ

यदि हम Azure ML के माध्यम से प्रशिक्षण स्क्रिप्ट चलाते हैं, तो हमें दो मुख्य लाभ होंगे:

• एक मनमाना कंप्यूटिंग संसाधन पर प्रशिक्षण चलाना, जो आमतौर पर स्थानीय कंप्यूटर की तुलना में अधिक उत्पादक होता है। इस मामले में, Azure ML स्वयं हमारी स्क्रिप्ट को वर्तमान निर्देशिका की सभी फ़ाइलों के साथ एक डॉकटर कंटेनर में पैक करने, आवश्यक निर्भरताएँ स्थापित करने और निष्पादन के लिए भेजने का ध्यान रखेगा।
• Azure ML कार्यक्षेत्र के भीतर एकल रजिस्ट्री में परिणाम लिखें। इस सुविधा का लाभ उठाने के लिए, हमें परिणामी सटीकता को रिकॉर्ड करने के लिए अपनी स्क्रिप्ट में कोड की कुछ पंक्तियाँ जोड़नी होंगी:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

स्क्रिप्ट के संगत संस्करण को कहा जाता है train_universal.py (यह ऊपर वर्णित की तुलना में थोड़ा अधिक चालाकी से डिजाइन किया गया है, लेकिन ज्यादा नहीं)। इस स्क्रिप्ट को स्थानीय और दूरस्थ कंप्यूटिंग संसाधन दोनों पर चलाया जा सकता है।

इसे VS कोड से Azure ML में चलाने के लिए, आपको निम्नलिखित कार्य करने होंगे:

1. सुनिश्चित करें कि Azure एक्सटेंशन आपकी सदस्यता से जुड़ा है। बाएं मेनू से Azure आइकन चुनें। यदि आप कनेक्ट नहीं हैं, तो निचले दाएं कोने में एक अधिसूचना दिखाई देगी (इस कदर), जिस पर क्लिक करके आप ब्राउज़र के माध्यम से लॉग इन कर सकते हैं। आप भी क्लिक कर सकते हैं सीटीआरएल-शिफ्ट-पी वीएस कोड कमांड लाइन खोलने के लिए, और टाइप करें एज़्योर साइन इन करें.

2. उसके बाद, Azure अनुभाग (बाईं ओर आइकन) में, अनुभाग ढूंढें मशीन लर्निंग:

यहां आपको कार्यक्षेत्र के अंदर वस्तुओं के विभिन्न समूह देखने चाहिए: कंप्यूटिंग संसाधन, प्रयोग, आदि।

1. फ़ाइलों की सूची पर जाएँ, स्क्रिप्ट पर राइट क्लिक करें train_universal.py और चुनें Azure ML: Azure में प्रयोग के रूप में चलाएँ.

1. इसके बाद वीएस कोड कमांड लाइन क्षेत्र में संवादों की एक श्रृंखला होगी: अपनी सदस्यता और एज़्योर एमएल कार्यक्षेत्र की पुष्टि करें, और चुनें नया प्रयोग बनाएं:

1. नया कंप्यूटिंग संसाधन बनाने के लिए चयन करें नया कंप्यूट बनाएं:

   • गणना करना कंप्यूटिंग संसाधन निर्धारित करता है जिस पर प्रशिक्षण होगा। आप एक स्थानीय कंप्यूटर, या AmlCompute क्लाउड क्लस्टर चुन सकते हैं। मैं मशीनों का एक स्केलेबल क्लस्टर बनाने की अनुशंसा करता हूं STANDARD_DS3_v2, मशीनों की न्यूनतम संख्या 0 (और आपकी भूख के आधार पर अधिकतम 1 या अधिक हो सकती है) के साथ। यह वीएस कोड इंटरफ़ेस के माध्यम से, या पहले के माध्यम से किया जा सकता है एमएल पोर्टल.

   

2. आगे आपको एक कॉन्फ़िगरेशन का चयन करना होगा कॉन्फ़िगरेशन की गणना करें, जो प्रशिक्षण के लिए बनाए गए कंटेनर के मापदंडों को परिभाषित करता है, विशेष रूप से, सभी आवश्यक पुस्तकालयों को। हमारे मामले में, चूँकि हम स्किकिट लर्न का उपयोग कर रहे हैं, हम चयन करते हैं SkLearn, और फिर Enter दबाकर पुस्तकालयों की प्रस्तावित सूची की पुष्टि करें। यदि आप किसी अतिरिक्त लाइब्रेरी का उपयोग करते हैं, तो उन्हें यहां निर्दिष्ट किया जाना चाहिए।

   
   

3. इसके बाद, प्रयोग का वर्णन करने वाली JSON फ़ाइल वाली एक विंडो खुलेगी। आप इसमें कुछ मापदंडों को सही कर सकते हैं, उदाहरण के लिए, प्रयोग का नाम। इसके बाद लिंक पर क्लिक करें प्रयोग सबमिट करें इस फ़ाइल के ठीक अंदर:

1. वीएस कोड के माध्यम से एक प्रयोग सफलतापूर्वक सबमिट करने के बाद, दाईं ओर अधिसूचना क्षेत्र में आपको एक लिंक दिखाई देगा एज़्योर एमएल पोर्टल, जहां आप प्रयोग की स्थिति और परिणामों को ट्रैक कर सकते हैं।

इसके बाद, आप इसे हमेशा अनुभाग में पा सकते हैं प्रयोगों एज़्योर एमएल पोर्टल, या अनुभाग में एज़्योर मशीन लर्निंग प्रयोगों की सूची में:

1. यदि आपने बाद में कोड में कुछ सुधार किए हैं या पैरामीटर बदले हैं, तो प्रयोग को दोबारा चलाना बहुत तेज़ और आसान होगा। फ़ाइल पर राइट-क्लिक करने पर, आपको एक नया मेनू आइटम दिखाई देगा अंतिम रन दोहराएँ - बस इसे चुनें और प्रयोग तुरंत शुरू हो जाएगा:

आप Azure ML पोर्टल पर सभी रन से हमेशा मेट्रिक्स परिणाम पा सकते हैं; उन्हें रिकॉर्ड करने की कोई आवश्यकता नहीं है।

अब आप जानते हैं कि Azure ML का उपयोग करके प्रयोग चलाना आसान, दर्द रहित है और कुछ रोमांचक लाभों के साथ आता है।

लेकिन आपने कुछ नुकसान भी देखे होंगे. उदाहरण के लिए, स्क्रिप्ट को चलाने में काफी अधिक समय लगा। बेशक, स्क्रिप्ट को एक कंटेनर में पैक करने और सर्वर पर तैनात करने में समय लगता है। यदि क्लस्टर को 0 नोड्स के आकार में घटा दिया गया था, तो वर्चुअल मशीन को शुरू करने में और भी अधिक समय लगेगा, और यह सब बहुत ध्यान देने योग्य है जब हम एमएनआईएसटी जैसी सरल समस्याओं पर प्रयोग करते हैं, जो कुछ सेकंड में हल हो जाती हैं। हालाँकि, वास्तविक जीवन में, जब प्रशिक्षण कई घंटों, या यहाँ तक कि दिनों या हफ्तों तक चलता है, तो यह अतिरिक्त समय महत्वहीन हो जाता है, विशेष रूप से बहुत अधिक प्रदर्शन की पृष्ठभूमि में जो एक कंप्यूटिंग क्लस्टर प्रदान कर सकता है।

आगे क्या है?

मुझे उम्मीद है कि इस लेख को पढ़ने के बाद, आप स्क्रिप्ट चलाने, कंप्यूट संसाधनों को प्रबंधित करने और परिणामों को केंद्रीय रूप से संग्रहीत करने के लिए अपने काम में Azure ML का उपयोग कर सकते हैं और करेंगे। हालाँकि, Azure ML आपको और भी अधिक लाभ दे सकता है!

आप किसी कार्यक्षेत्र के अंदर डेटा संग्रहीत कर सकते हैं, जिससे आपके सभी कार्यों के लिए एक केंद्रीकृत भंडार तैयार हो सकता है, जिस तक पहुंच आसान है। इसके अतिरिक्त, आप विज़ुअल स्टूडियो कोड के बजाय एपीआई का उपयोग करके प्रयोग चला सकते हैं - यह विशेष रूप से उपयोगी हो सकता है यदि आपको हाइपरपैरामीटर अनुकूलन करने की आवश्यकता है और विभिन्न मापदंडों के साथ स्क्रिप्ट को कई बार चलाने की आवश्यकता है। इसके अलावा, Azure ML में विशेष तकनीक का निर्माण किया गया है hyperdrive, जो हाइपरपैरामीटर की अधिक परिष्कृत खोज और अनुकूलन की अनुमति देता है। मैं अपनी अगली पोस्ट में इन संभावनाओं के बारे में बात करूंगा।

उपयोगी संसाधन

Azure ML के बारे में अधिक जानने के लिए, आपको निम्नलिखित Microsoft लर्न पाठ्यक्रम उपयोगी लग सकते हैं:

• एज़्योर एमएल सेवा का परिचय
• Azure ML सेवा के साथ AI समाधान बनाएँ
• Azure ML सेवा का उपयोग करके एक स्थानीय मॉडल को प्रशिक्षित करें

स्रोत: www.habr.com