कसरी डरलाई जित्ने र Azure मेसिन लर्निङ प्रयोग गर्न सुरु गर्ने

म धेरै डेटा वैज्ञानिकहरूलाई चिन्छु - र म सायद तिनीहरू मध्ये एक हुँ - जसले GPU मेसिनहरूमा काम गर्दछ, स्थानीय वा भर्चुअल, क्लाउडमा अवस्थित, या त Jupyter Notebook मार्फत वा कुनै प्रकारको पाइथन विकास वातावरण मार्फत। एक विशेषज्ञ AI/ML विकासकर्ताको रूपमा २ वर्ष काम गर्दै, मैले नियमित सर्भर वा वर्कस्टेशनमा डाटा तयार गर्दा, र Azure मा GPU भएको भर्चुअल मेसिनमा प्रशिक्षण चलाउँदा ठीक त्यस्तै गरें।

अवश्य पनि, हामी सबैको बारेमा सुनेका छौं Azure मेशिन शिक्षा - मेसिन लर्निङको लागि विशेष क्लाउड प्लेटफर्म। यद्यपि, पहिलो नजर पछि परिचयात्मक लेखहरू, यस्तो देखिन्छ कि Azure ML ले तपाइँको लागि समाधान गर्नु भन्दा बढी समस्याहरू सिर्जना गर्नेछ। उदाहरणका लागि, माथि उल्लेखित ट्यूटोरियलमा, Azure ML मा प्रशिक्षण Jupyter Notebook बाट सुरु गरिएको छ, जबकि प्रशिक्षण स्क्रिप्ट आफैंमा एउटा सेलमा पाठ फाइलको रूपमा सिर्जना र सम्पादन गर्न प्रस्ताव गरिएको छ - स्वतः-समाप्ति, वाक्य रचना प्रयोग नगर्दा। हाइलाइटिङ, र सामान्य विकास वातावरणको अन्य फाइदाहरू। यस कारणले गर्दा, हामीले लामो समयदेखि हाम्रो काममा Azure ML लाई गम्भीर रूपमा प्रयोग गरेका छैनौं।

जे होस्, मैले भर्खरै मेरो काममा Azure ML प्रयोग गर्न सुरु गर्ने तरिका पत्ता लगाएको छु! विवरणमा रुचि छ?

मुख्य रहस्य छ Azure ML को लागि भिजुअल स्टुडियो कोड विस्तार। यसले तपाइँलाई वातावरणको पूर्ण फाइदा लिई VS कोडमा तालिम लिपिहरू विकास गर्न अनुमति दिन्छ - र तपाइँ स्थानीय रूपमा स्क्रिप्ट चलाउन पनि सक्नुहुन्छ र त्यसपछि केहि क्लिकहरूमा Azure ML क्लस्टरमा प्रशिक्षणमा पठाउन सक्नुहुन्छ। सुविधाजनक, हैन?

त्यसो गर्दा, तपाईंले Azure ML प्रयोग गरेर निम्न लाभहरू प्राप्त गर्नुहुन्छ:

• तपाईले धेरै जसो समय स्थानीय रूपमा तपाईको मेसिनमा सुविधाजनक IDE मा काम गर्न सक्नुहुन्छ, र मोडेल प्रशिक्षणको लागि मात्र GPU प्रयोग गर्नुहोस्। एकै समयमा, प्रशिक्षण स्रोतहरूको पूलले स्वचालित रूपमा आवश्यक लोडमा समायोजन गर्न सक्छ, र नोडहरूको न्यूनतम संख्या 0 मा सेट गरेर, तपाइँ स्वचालित रूपमा प्रशिक्षण कार्यहरूको उपस्थितिमा "मागमा" भर्चुअल मेसिन सुरु गर्न सक्नुहुन्छ।
• तपाईं सक्नुहुन्छ सबै सिक्ने नतिजाहरू एक ठाउँमा भण्डार गर्नुहोस्, प्राप्त मेट्रिक्स र नतिजा मोडेलहरू सहित - सबै परिणामहरू भण्डारण गर्न कुनै प्रकारको प्रणाली वा अर्डरको साथ आउन आवश्यक छैन।
• यसरी एउटै परियोजनामा ​​धेरै व्यक्तिहरूले काम गर्न सक्छन् - तिनीहरूले एउटै कम्प्युटिङ क्लस्टर प्रयोग गर्न सक्छन्, सबै प्रयोगहरू लामबद्ध हुनेछन्, र तिनीहरूले एक अर्काको प्रयोगहरूको नतिजा पनि हेर्न सक्छन्। एउटा यस्तो परिदृश्य हो डीप लर्निङ सिकाउन Azure ML प्रयोग गर्दैजब प्रत्येक विद्यार्थीलाई GPU भएको भर्चुअल मेसिन दिनुको सट्टा, तपाईंले एउटा क्लस्टर बनाउन सक्नुहुन्छ जुन सबै केन्द्रीय रूपमा प्रयोग हुनेछ। थप रूपमा, मोडेल सटीकताको साथ परिणामहरूको सामान्य तालिकाले राम्रो प्रतिस्पर्धी तत्वको रूपमा सेवा गर्न सक्छ।
• Azure ML को साथ, तपाईं सजिलैसँग प्रयोगहरूको श्रृंखला सञ्चालन गर्न सक्नुहुन्छ, उदाहरणका लागि हाइपरपेरामिटर अनुकूलन - यो कोड को केहि लाइनहरु संग गर्न सकिन्छ, मैन्युअल प्रयोग को एक श्रृंखला सञ्चालन गर्न को लागी कुनै आवश्यकता छैन।

मलाई आशा छ कि मैले तपाईलाई Azure ML कोसिस गर्न मनाउछु! यहाँ कसरी सुरु गर्ने हो:

• सुनिश्चित गर्नुहोस् कि तपाइँ स्थापित हुनुहुन्छ भिजुअल स्टुडियो कोड, साथै विस्तारहरू Azure साइन इन и AzureML
• भण्डार क्लोन गर्नुहोस् https://github.com/CloudAdvocacy/AzureMLStarter - यसले MNIST डेटासेटमा हस्तलिखित अंक पहिचान मोडेललाई तालिम दिनको लागि केही डेमो कोड समावेश गर्दछ।
• भिजुअल स्टुडियो कोडमा क्लोन गरिएको भण्डार खोल्नुहोस्।
• पढ्नुहोस्!

Azure ML कार्यस्थान र Azure ML पोर्टल

Azure ML अवधारणा वरिपरि संगठित छ कार्य क्षेत्र - कार्यक्षेत्र। डाटा कार्यक्षेत्रमा भण्डारण गर्न सकिन्छ, प्रयोगहरू यसलाई प्रशिक्षणको लागि पठाइन्छ, प्रशिक्षण परिणामहरू पनि त्यहाँ भण्डारण गरिन्छ - नतिजा मेट्रिक्स र मोडेलहरू। तपाईले कार्यक्षेत्र भित्र के छ भनेर देख्न सक्नुहुन्छ Azure ML पोर्टल - र त्यहाँबाट तपाईले धेरै अपरेसनहरू गर्न सक्नुहुन्छ, डाटा लोड गर्नेदेखि लिएर अनुगमन प्रयोगहरू र मोडेलहरू डिप्लोइ गर्ने सम्म।

तपाइँ वेब इन्टरफेस मार्फत कार्यस्थान सिर्जना गर्न सक्नुहुन्छ Azure पोर्टल (हेर्नुहोस् चरणबद्ध निर्देशनहरू), वा Azure CLI कमाण्ड लाइन प्रयोग गरेर (निर्देशनहरू):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

कार्यक्षेत्रसँग पनि सम्बन्धित छन् कम्प्युटिङ स्रोतहरू (कम्प्युट गर्नुहोस्)। एकचोटि तपाईंले मोडेललाई तालिम दिन स्क्रिप्ट सिर्जना गर्नुभयो, तपाईं सक्नुहुन्छ कार्यान्वयनको लागि प्रयोग पठाउनुहोस् कार्यस्थानमा, र निर्दिष्ट गर्नुहोस् लक्ष्य गणना - यस अवस्थामा, स्क्रिप्ट प्याकेज गरिनेछ, इच्छित कम्प्युटिङ वातावरणमा चलाइनेछ, र त्यसपछि प्रयोगका सबै परिणामहरू थप विश्लेषण र प्रयोगको लागि कार्यस्थानमा सुरक्षित गरिनेछ।

MNIST को लागि लिपि सिक्दै

शास्त्रीय समस्यालाई विचार गर्नुहोस् हस्तलिखित अंक पहिचान MNIST डाटासेट प्रयोग गर्दै। त्यसै गरी, भविष्यमा, तपाइँ तपाइँको कुनै पनि प्रशिक्षण लिपिहरू चलाउन सक्नुहुन्छ।

हाम्रो भण्डारमा लिपि छ train_local.py, जसलाई हामीले SkLearn पुस्तकालय प्रयोग गरेर सरल रैखिक प्रतिगमन मोडेल तालिम दिन्छौं। अवश्य पनि, म बुझ्छु कि यो समस्या समाधान गर्ने उत्तम तरिका होइन - हामी यसलाई उदाहरणको लागि प्रयोग गर्छौं, सरल रूपमा।

स्क्रिप्टले पहिले OpenML बाट MNIST डाटा डाउनलोड गर्छ र त्यसपछि क्लास प्रयोग गर्दछ LogisticRegression मोडेल प्रशिक्षित गर्न, र त्यसपछि परिणाम शुद्धता छाप्नुहोस्:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

तपाइँ तपाइँको कम्प्युटरमा स्क्रिप्ट चलाउन सक्नुहुन्छ र केहि सेकेन्डमा परिणाम प्राप्त गर्न सक्नुहुन्छ।

Azure ML मा स्क्रिप्ट चलाउनुहोस्

यदि हामीले Azure ML मार्फत प्रशिक्षण लिपि चलाउँछौं भने, हामीसँग दुईवटा मुख्य फाइदाहरू हुनेछन्:

• एक स्वेच्छाचारी कम्प्युटिङ स्रोत मा प्रशिक्षण चलिरहेको छ, जो, एक नियम को रूप मा, स्थानीय कम्प्युटर भन्दा बढी उत्पादक छ। एकै समयमा, Azure ML आफैले हाम्रो स्क्रिप्टलाई हालको डाइरेक्टरीबाट सबै फाइलहरू डकर कन्टेनरमा प्याक गर्ने, आवश्यक निर्भरताहरू स्थापना गर्ने, र कार्यान्वयनको लागि पठाउने कुराको ख्याल राख्नेछ।
• Azure ML कार्यस्थान भित्र एकल रजिस्ट्रीमा परिणामहरू लेख्नुहोस्। यस सुविधाको फाइदा लिनको लागि, हामीले परिणामको शुद्धता रेकर्ड गर्नको लागि हाम्रो स्क्रिप्टमा कोडको केही लाइनहरू थप्न आवश्यक छ:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

लिपिको सम्बन्धित संस्करण भनिन्छ train_universal.py (यो माथि लेखिएको भन्दा अलि बढी चालाक छ, तर धेरै छैन)। यो स्क्रिप्ट स्थानीय रूपमा र टाढाको कम्प्युटिङ स्रोतमा चलाउन सकिन्छ।

VS कोडबाट Azure ML मा चलाउनको लागि, तपाईंले निम्न गर्न आवश्यक छ:

1. सुनिश्चित गर्नुहोस् कि Azure एक्सटेन्सन तपाईंको सदस्यतामा जडान भएको छ। बायाँको मेनुबाट Azure प्रतिमा चयन गर्नुहोस्। यदि तपाइँ जडान हुनुहुन्न भने, एउटा सूचना तल्लो दायाँ कुनामा देखा पर्नेछ (यो जस्तो), जसमा क्लिक गरेर तपाइँ ब्राउजर मार्फत प्रविष्ट गर्न सक्नुहुन्छ। तपाईं पनि क्लिक गर्न सक्नुहुन्छ Ctrl-Shift-P VS कोड आदेश लाइन कल गर्न, र टाइप गर्नुहोस् Azure साइन इन.

2. त्यस पछि, Azure सेक्सनमा (बाँयामा आइकन), खण्ड फेला पार्नुहोस् म्याच सिक्ने:

यहाँ तपाईंले कार्यक्षेत्र भित्र वस्तुहरूको विभिन्न समूहहरू देख्नुपर्छ: कम्प्युटिङ स्रोतहरू, प्रयोगहरू, आदि।

1. फाइलहरूको सूचीमा जानुहोस्, स्क्रिप्टमा दायाँ क्लिक गर्नुहोस् train_universal.py र चयन गर्नुहोस् Azure ML: Azure मा प्रयोगको रूपमा चलाउनुहोस्.

1. यसलाई VS कोडको कमाण्ड लाइन क्षेत्रमा संवादहरूको श्रृंखलाद्वारा पछ्याइनेछ: तपाईंले प्रयोग गरिरहनुभएको सदस्यता र Azure ML कार्यस्थान पुष्टि गर्नुहोस्, र चयन गर्नुहोस्। नयाँ प्रयोग सिर्जना गर्नुहोस्:

1. नयाँ गणना स्रोत सिर्जना गर्न छनौट गर्नुहोस् नयाँ गणना सिर्जना गर्नुहोस्:

   • कम्प्युट गर्नुहोस् तालिम हुने कम्प्युटिङ स्रोत निर्धारण गर्दछ। तपाईं स्थानीय कम्प्युटर, वा AmlCompute क्लाउड क्लस्टर छनौट गर्न सक्नुहुन्छ। म मेसिनहरूको स्केलेबल क्लस्टर सिर्जना गर्न सिफारिस गर्दछु STANDARD_DS3_v2, न्यूनतम संख्या ० को मेशिनहरूसँग (र अधिकतम 0 वा बढी, तपाईंको भोकमा निर्भर गर्दै)। यो VS कोड इन्टरफेस मार्फत वा पहिले मार्फत गर्न सकिन्छ एमएल पोर्टल.

   

2. अर्को, तपाईंले कन्फिगरेसन चयन गर्न आवश्यक छ कम्प्युट कन्फिगरेसन, जसले प्रशिक्षणको लागि सिर्जना गरिएको कन्टेनरको प्यारामिटरहरू परिभाषित गर्दछ, विशेष गरी, सबै आवश्यक पुस्तकालयहरू। हाम्रो अवस्थामा, हामीले स्किट लर्न प्रयोग गरिरहँदा, हामी चयन गर्छौं SkLearn, र त्यसपछि Enter थिचेर पुस्तकालयहरूको प्रस्तावित सूची पुष्टि गर्नुहोस्। यदि तपाइँ कुनै पनि अतिरिक्त पुस्तकालयहरू प्रयोग गर्नुहुन्छ भने, तिनीहरू यहाँ निर्दिष्ट हुनुपर्छ।

   
   

3. यसले प्रयोगको वर्णन गर्ने JSON फाइल भएको सञ्झ्याल खोल्नेछ। यसमा, तपाइँ केहि प्यारामिटरहरू सच्याउन सक्नुहुन्छ - उदाहरणका लागि, प्रयोगको नाम। त्यस पछि लिङ्कमा क्लिक गर्नुहोस् प्रयोग पेश गर्नुहोस् यो फाइल भित्र सही:

1. VS कोड मार्फत सफलतापूर्वक एक प्रयोग पेश गरेपछि, सूचना क्षेत्रको दायाँ छेउमा, तपाईंले एउटा लिङ्क देख्नुहुनेछ। Azure ML पोर्टल, जहाँ तपाइँ प्रयोगको स्थिति र परिणामहरू ट्र्याक गर्न सक्नुहुन्छ।

पछि, तपाईं सधैं खण्ड मा पाउन सक्नुहुन्छ प्रयोगहरू Azure ML पोर्टल, वा खण्डमा Azure मेशिन शिक्षा प्रयोगहरूको सूचीमा:

1. यदि त्यस पछि तपाईंले कोडमा केही सुधार गर्नुभयो वा प्यारामिटरहरू परिवर्तन गर्नुभयो भने, प्रयोग पुन: सुरु गर्न धेरै छिटो र सजिलो हुनेछ। फाइलमा दायाँ क्लिक गरेर, तपाईंले नयाँ मेनु वस्तु देख्नुहुनेछ पछिल्लो दौड दोहोर्याउनुहोस् - केवल यसलाई चयन गर्नुहोस्, र प्रयोग तुरुन्तै सुरु हुनेछ:

तपाईं जहिले पनि Azure ML पोर्टलमा सबै लन्चहरूबाट मेट्रिक्सको नतिजाहरू फेला पार्न सक्नुहुन्छ, तिनीहरूलाई लेख्न आवश्यक छैन।

अब तपाईलाई थाहा छ कि Azure ML सँग चलिरहेको प्रयोग सरल र पीडारहित छ, र तपाईले त्यसो गर्दा धेरै राम्रा फाइदाहरू पाउनु हुन्छ।

तर तपाईले बेफाइदाहरू पनि देख्न सक्नुहुन्छ। उदाहरणका लागि, स्क्रिप्ट चलाउन यसले निकै लामो समय लियो। अवश्य पनि, लिपिलाई कन्टेनरमा प्याकेज गर्न र सर्भरमा डिप्लोय गर्न समय लाग्छ। यदि एकै समयमा क्लस्टरलाई ० नोडको साइजमा काटिएको थियो भने, भर्चुअल मेसिन सुरु गर्न अझ बढी समय लाग्ने छ, र यो सबै धेरै ध्यान दिन सकिन्छ जब हामीले MNIST जस्ता साधारण कार्यहरूमा प्रयोग गर्छौं, जुन केही सेकेन्डमा समाधान हुन्छ। । यद्यपि, वास्तविक जीवनमा, जब प्रशिक्षण धेरै घण्टा, वा दिन वा हप्तासम्म रहन्छ, यो अतिरिक्त समय महत्त्वपूर्ण हुन्छ, विशेष गरी कम्प्युटिङ क्लस्टरले प्रदान गर्न सक्ने उच्च प्रदर्शनको पृष्ठभूमिमा।

के अर्को छ?

मलाई आशा छ कि यो लेख पढिसकेपछि, तपाईले Azure ML लाई स्क्रिप्टहरू चलाउन, कम्प्युटिङ स्रोतहरू व्यवस्थापन गर्न र नतिजाहरू केन्द्रीय रूपमा भण्डारण गर्न आफ्नो काममा प्रयोग गर्न सक्नुहुन्छ। यद्यपि, Azure ML ले तपाईंलाई अझ बढी फाइदाहरू दिन सक्छ!

कार्यक्षेत्र भित्र, तपाइँ डाटा भण्डारण गर्न सक्नुहुन्छ, यसरी तपाइँका सबै कार्यहरूको लागि केन्द्रीकृत भण्डार सिर्जना गर्न सक्नुहुन्छ, जुन पहुँच गर्न सजिलो छ। थप रूपमा, तपाइँ प्रयोगहरू भिजुअल स्टुडियो कोडबाट चलाउन सक्नुहुन्छ, तर API प्रयोग गरेर - यो विशेष गरी उपयोगी हुन सक्छ यदि तपाइँ हाइपरपेरामिटर अप्टिमाइजेसन गर्न आवश्यक छ र विभिन्न प्यारामिटरहरूसँग स्क्रिप्ट धेरै पटक चलाउन आवश्यक छ। यसबाहेक, विशेष प्रविधि Azure ML मा निर्मित छ हाइपरड्राइभ, जसले तपाईंलाई हाइपरपेरामिटरहरूको थप कठिन खोज र अनुकूलन गर्न अनुमति दिन्छ। म मेरो अर्को पोस्टमा यी सम्भावनाहरूको बारेमा कुरा गर्नेछु।

उपयोगी स्रोतहरू

Azure ML को बारेमा थप जान्नको लागि, तपाईंले निम्न Microsoft Learn पाठ्यक्रमहरू उपयोगी पाउन सक्नुहुन्छ:

• Azure ML सेवा को परिचय
• Azure ML सेवाको साथ एआई समाधानहरू निर्माण गर्दै
• Azure ML सेवाको साथ स्थानीय मोडेललाई तालिम दिनुहोस्

स्रोत: www.habr.com