எனக்கு பல தரவு விஞ்ஞானிகளைத் தெரியும் - நானும் அவர்களில் ஒருவராக இருக்கலாம் - அவர்கள் GPU பொருத்தப்பட்ட இயந்திரங்களில் வேலை செய்கிறார்கள், உள்ளூர் அல்லது மெய்நிகர், கிளவுட்டில் ஹோஸ்ட் செய்யப்பட்டவை, ஜூபிட்டர் நோட்புக் அல்லது சில பைதான் மேம்பாட்டு சூழலைப் பயன்படுத்துகின்றன. AI/ML நிபுணர் டெவலப்பராக எனது இரண்டு ஆண்டுகளில், நான் அதைச் சரியாகச் செய்தேன், வழக்கமான சர்வர் அல்லது பணிநிலையத்தில் தரவைத் தயாரித்து, Azure இல் GPU பொருத்தப்பட்ட மெய்நிகர் இயந்திரத்தில் பயிற்சியை இயக்கினேன்.
நிச்சயமாக, நாம் அனைவரும் கேள்விப்பட்டிருக்கிறோம் — இயந்திர கற்றலுக்கான பிரத்யேக கிளவுட் தளம். இருப்பினும், முதல் பார்வைக்குப் பிறகு , Azure ML தீர்க்கும் சிக்கல்களை விட அதிகமான சிக்கல்களை உருவாக்கும் என்று தெரிகிறது. எடுத்துக்காட்டாக, மேற்கூறிய பயிற்சி எடுத்துக்காட்டில், Azure ML பயிற்சி ஒரு Jupyter நோட்புக்கிலிருந்து தொடங்கப்படுகிறது, ஆனால் பயிற்சி ஸ்கிரிப்ட் தானே ஒரு கலத்தில் ஒரு உரை கோப்பாக உருவாக்கப்பட்டு திருத்தப்படுகிறது - தானியங்குநிரப்புதல், தொடரியல் சிறப்பம்சமாக அல்லது ஒரு சாதாரண மேம்பாட்டு சூழலின் பிற நன்மைகள் இல்லாமல். இந்த காரணத்திற்காக, நாங்கள் நீண்ட காலமாக எங்கள் வேலையில் Azure ML ஐ தீவிரமாகப் பயன்படுத்தவில்லை.
இருப்பினும், எனது வேலையில் Azure ML-ஐ திறம்படப் பயன்படுத்தத் தொடங்குவதற்கான ஒரு வழியை நான் சமீபத்தில் கண்டுபிடித்தேன்! மேலும் அறிய ஆர்வமாக உள்ளீர்களா?
முக்கிய ரகசியம் இதுதான் இது பயிற்சி ஸ்கிரிப்ட்களை நேரடியாக VS Code இல் உருவாக்க உங்களை அனுமதிக்கிறது, சூழலை முழுமையாகப் பயன்படுத்துகிறது. நீங்கள் ஸ்கிரிப்டை உள்ளூரில் இயக்கலாம், பின்னர் ஒரு சில கிளிக்குகளில் பயிற்சிக்காக Azure ML கிளஸ்டருக்கு அனுப்பலாம். வசதியானது, இல்லையா?
அதே நேரத்தில், Azure ML ஐப் பயன்படுத்துவதன் மூலம் பின்வரும் நன்மைகளைப் பெறுவீர்கள்:
- உங்கள் கணினியில் பெரும்பாலான நேரங்களில் ஒரு வசதியான IDE-யில் உள்ளூரில் வேலை செய்யலாம், மேலும் மாதிரி பயிற்சிக்கு மட்டும் GPU ஐப் பயன்படுத்தவும்.பயிற்சி வளக் குளம் தேவையான பணிச்சுமைக்கு தானாகவே சரிசெய்ய முடியும், மேலும் குறைந்தபட்ச முனைகளின் எண்ணிக்கையை 0 ஆக அமைப்பதன் மூலம், பயிற்சி பணிகள் கிடைக்கும்போது மெய்நிகர் இயந்திரத்தை "தேவைக்கேற்ப" தானாகவே தொடங்கலாம்.
- நீங்கள் வேண்டுமானால் அனைத்து கற்றல் முடிவுகளையும் ஒரே இடத்தில் சேமிக்கவும்., அடையப்பட்ட அளவீடுகள் மற்றும் அதன் விளைவாக வரும் மாதிரிகள் உட்பட - அனைத்து முடிவுகளையும் சேமிப்பதற்கு எந்த அமைப்பையும் அல்லது வரிசையையும் கொண்டு வர வேண்டிய அவசியமில்லை.
- இவ்வாறு ஒரு திட்டத்தில் பலர் வேலை செய்யலாம். — அவர்கள் ஒரே கணினி கிளஸ்டரைப் பயன்படுத்தலாம், அனைத்து சோதனைகளும் வரிசைப்படுத்தப்படும், மேலும் அவர்கள் ஒருவருக்கொருவர் சோதனைகளின் முடிவுகளையும் பார்க்கலாம். அத்தகைய ஒரு சூழ்நிலை ஆழமான கற்றல் கற்பித்தலில் Azure ML ஐப் பயன்படுத்துதல்ஒவ்வொரு மாணவருக்கும் GPU உடன் கூடிய மெய்நிகர் இயந்திரத்தை வழங்குவதற்கு பதிலாக, அனைவரும் மையமாகப் பயன்படுத்தக்கூடிய ஒற்றைக் கிளஸ்டரை நீங்கள் உருவாக்கலாம். மேலும், மாதிரி துல்லியத்துடன் கூடிய பகிரப்பட்ட ஸ்கோர்போர்டு ஒரு நல்ல போட்டி உறுப்பாகச் செயல்படும்.
- Azure ML உடன், நீங்கள் எளிதாக தொடர்ச்சியான சோதனைகளை இயக்கலாம், எடுத்துக்காட்டாக ஹைப்பர்அளவுரு உகப்பாக்கம் - இதை ஒரு சில வரி குறியீடுகளுடன் செய்ய முடியும், கைமுறையாக தொடர்ச்சியான சோதனைகளை நடத்த வேண்டிய அவசியமில்லை.
Azure ML-ஐ முயற்சித்துப் பார்க்க உங்களை நான் சமாதானப்படுத்தியிருக்கிறேன் என்று நம்புகிறேன்! எப்படி தொடங்குவது என்பது இங்கே:
- நீங்கள் அதை நிறுவியுள்ளீர்கள் என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள். , அத்துடன் நீட்டிப்புகள் и
- களஞ்சியத்தை குளோன் செய்யவும் — இது MNIST தரவுத்தொகுப்பில் கையால் எழுதப்பட்ட இலக்க அங்கீகார மாதிரியைப் பயிற்றுவிப்பதற்கான சில டெமோ குறியீட்டைக் கொண்டுள்ளது.
- குளோன் செய்யப்பட்ட களஞ்சியத்தை விஷுவல் ஸ்டுடியோ குறியீட்டில் திறக்கவும்.
- படியுங்கள்!
Azure ML பணியிடம் மற்றும் Azure ML போர்டல்
Azure ML என்பது கருத்தைச் சுற்றி ஒழுங்கமைக்கப்பட்டுள்ளது. வேலை பகுதி — பணியிடம். பணியிடம் தரவைச் சேமிக்க முடியும், பயிற்சிக்கான பரிசோதனைகள் அதற்கு அனுப்பப்படும், மேலும் பயிற்சி முடிவுகள் - இதன் விளைவாக வரும் அளவீடுகள் மற்றும் மாதிரிகள் - அங்கே சேமிக்கப்படும். பணியிடத்திற்குள் என்ன இருக்கிறது என்பதை நீங்கள் இதைப் பயன்படுத்திப் பார்க்கலாம் — அங்கிருந்து நீங்கள் தரவை ஏற்றுவது முதல் கண்காணிப்பு சோதனைகள் மற்றும் மாதிரிகளைப் பயன்படுத்துவது வரை பல்வேறு செயல்பாடுகளைச் செய்யலாம்.
வலை இடைமுகம் மூலம் நீங்கள் ஒரு பணியிடத்தை உருவாக்கலாம். (பார்க்க பார். ), அல்லது Azure CLI கட்டளை வரியைப் பயன்படுத்துதல் ():
az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazmlவேலைப் பகுதியுடன் தொடர்புடைய சிலவும் உள்ளன. கணினி வளங்கள் (கம்ப்யூட்). மாதிரியைப் பயிற்றுவிக்க ஒரு ஸ்கிரிப்டை உருவாக்கியவுடன், நீங்கள் செயல்படுத்த ஒரு பரிசோதனையை அனுப்பு. வேலைப் பகுதிக்குள் சென்று குறிப்பிடவும் இலக்கைக் கணக்கிடு — ஸ்கிரிப்ட் தொகுக்கப்பட்டு, தேவையான கணினி சூழலில் தொடங்கப்படும், பின்னர் சோதனையின் அனைத்து முடிவுகளும் மேலும் பகுப்பாய்வு மற்றும் பயன்பாட்டிற்காக பணியிடத்தில் சேமிக்கப்படும்.
MNISTக்கான பயிற்சி ஸ்கிரிப்ட்
ஒரு பாரம்பரிய சிக்கலைக் கருத்தில் கொள்வோம். MNIST தரவுத்தொகுப்பைப் பயன்படுத்தி. உங்கள் சொந்த பயிற்சி ஸ்கிரிப்ட்களில் எதையும் அதே வழியில் இயக்கலாம்.
எங்கள் களஞ்சியத்தில் ஒரு ஸ்கிரிப்ட் உள்ளது. train_local.py, இது SkLearn நூலகத்தைப் பயன்படுத்தி ஒரு எளிய நேரியல் பின்னடைவு மாதிரியைப் பயிற்றுவிக்கிறது. நிச்சயமாக, சிக்கலைத் தீர்க்க இது சிறந்த வழி அல்ல என்பதை நான் புரிந்துகொள்கிறேன் - இது எளிமையானது என்பதால் இதை ஒரு உதாரணமாகப் பயன்படுத்துகிறோம்.
இந்த ஸ்கிரிப்ட் முதலில் OpenML இலிருந்து MNIST தரவைப் பதிவிறக்கம் செய்து பின்னர் வகுப்பைப் பயன்படுத்துகிறது. LogisticRegression மாதிரியைப் பயிற்றுவித்து, அதன் விளைவாக வரும் துல்லியத்தை அச்சிடுகிறது:
mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])
shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]
X_train, X_test, y_train, y_test =
train_test_split(X, y, test_size = 0.3, random_state = 42)
lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))
print('Overall accuracy:', acc)உங்கள் கணினியில் ஸ்கிரிப்டை இயக்கி, ஓரிரு வினாடிகளில் முடிவைப் பெறலாம்.
Azure ML இல் ஸ்கிரிப்டை இயக்கவும்.
Azure ML மூலம் பயிற்சி ஸ்கிரிப்டை இயக்கினால், நமக்கு இரண்டு முக்கிய நன்மைகள் கிடைக்கும்:
- ஒரு உள்ளூர் கணினியை விட பொதுவாக அதிக சக்தி வாய்ந்த ஒரு தன்னிச்சையான கணினி வளத்தில் பயிற்சியைத் தொடங்கவும். Azure ML, தற்போதைய கோப்பகத்திலிருந்து அனைத்து கோப்புகளையும் ஒரு Docker கொள்கலனில் தானாகவே நமது ஸ்கிரிப்டை தொகுத்து, தேவையான சார்புகளை நிறுவி, அதை செயல்படுத்த அனுப்பும்.
- Azure ML பணியிடத்திற்குள் ஒருங்கிணைந்த பதிவேட்டில் முடிவுகளை எழுதுதல். இந்த அம்சத்தைப் பயன்படுத்திக் கொள்ள, விளைவான துல்லியத்தைப் பதிவு செய்ய, நமது ஸ்கிரிப்ட்டில் இரண்டு குறியீடு வரிகளைச் சேர்க்க வேண்டும்:
from azureml.core.run import Run
...
try:
run = Run.get_submitted_run()
run.log('accuracy', acc)
except:
passஸ்கிரிப்ட்டின் தொடர்புடைய பதிப்பு அழைக்கப்படுகிறது train_universal.py (மேலே விவரிக்கப்பட்டதை விட இது சற்று அதிநவீனமானது, ஆனால் அதிகம் இல்லை.) இந்த ஸ்கிரிப்டை உள்ளூரில் மற்றும் தொலை கணினி வளத்தில் இயக்க முடியும்.
VS குறியீட்டிலிருந்து Azure ML இல் இதை இயக்க, நீங்கள் பின்வருவனவற்றைச் செய்ய வேண்டும்:
Azure நீட்டிப்பு உங்கள் சந்தாவுடன் இணைக்கப்பட்டுள்ளதா என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள். இடது மெனுவில் Azure ஐகானைத் தேர்ந்தெடுக்கவும். நீங்கள் இணைக்கப்படவில்லை என்றால், கீழ் வலது மூலையில் ஒரு அறிவிப்பு தோன்றும் (), அதைக் கிளிக் செய்வதன் மூலம் உலாவி மூலம் உள்நுழையலாம். நீங்கள் கிளிக் செய்யலாம் Ctrl-Shift-P VS Code கட்டளை வரியைத் திறக்க, தட்டச்சு செய்யவும் Azure உள்நுழைவு.
அதன் பிறகு, Azure பிரிவில் (இடதுபுறத்தில் உள்ள ஐகான்), பகுதியைக் கண்டறியவும் இயந்திர வழி கற்றல்:
இங்கே நீங்கள் பணியிடத்திற்குள் பல்வேறு வகையான பொருள்களைப் பார்க்க வேண்டும்: கணினி வளங்கள், பரிசோதனைகள் போன்றவை.
- கோப்பு பட்டியலுக்குச் சென்று, ஸ்கிரிப்டில் வலது கிளிக் செய்யவும்.
train_universal.pyமற்றும் தேர்ந்தெடுக்கவும் Azure ML: Azure இல் பரிசோதனையாக இயக்கவும்.
- இது பின்னர் VS Code கட்டளை வரியில் பகுதியில் தொடர்ச்சியான உரையாடல்களைத் தூண்டும்: நீங்கள் பயன்படுத்தும் Azure ML சந்தா மற்றும் பணியிடத்தை உறுதிசெய்து, தேர்ந்தெடுக்கவும் புதிய பரிசோதனையை உருவாக்கு:
புதிய கணினி வளத்தை உருவாக்கத் தேர்ந்தெடுக்கவும். புதிய கணினியை உருவாக்கு:
- கம்ப்யூட் பயிற்சி நடைபெறும் கணினி வளத்தைத் தீர்மானிக்கிறது. நீங்கள் ஒரு உள்ளூர் கணினி அல்லது ஒரு AmlCompute கிளவுட் கிளஸ்டரைத் தேர்வு செய்யலாம். அளவிடக்கூடிய இயந்திரங்களின் கிளஸ்டரை உருவாக்க நான் பரிந்துரைக்கிறேன்.
STANDARD_DS3_v2, குறைந்தபட்ச எண்ணிக்கையிலான இயந்திரங்கள் 0 உடன் (மேலும் அதிகபட்சம் 1 அல்லது அதற்கு மேற்பட்டதாக இருக்கலாம், உங்கள் பசியைப் பொறுத்து). இதை VS குறியீடு இடைமுகம் மூலமாகவோ அல்லது முன்கூட்டியே .
- கம்ப்யூட் பயிற்சி நடைபெறும் கணினி வளத்தைத் தீர்மானிக்கிறது. நீங்கள் ஒரு உள்ளூர் கணினி அல்லது ஒரு AmlCompute கிளவுட் கிளஸ்டரைத் தேர்வு செய்யலாம். அளவிடக்கூடிய இயந்திரங்களின் கிளஸ்டரை உருவாக்க நான் பரிந்துரைக்கிறேன்.
அடுத்து நீங்கள் அமைப்பைத் தேர்ந்தெடுக்க வேண்டும் கணினி உள்ளமைவு, இது பயிற்சிக்காக உருவாக்கப்பட்ட கொள்கலனின் அளவுருக்களை வரையறுக்கிறது, குறிப்பாக, தேவையான அனைத்து நூலகங்களும். எங்கள் விஷயத்தில், நாங்கள் Scikit Learn ஐப் பயன்படுத்துவதால், நாங்கள் தேர்ந்தெடுக்கிறோம் ஸ்க்லெர்ன், பின்னர் Enter ஐ அழுத்துவதன் மூலம் பரிந்துரைக்கப்பட்ட நூலகங்களின் பட்டியலை உறுதிப்படுத்தவும். நீங்கள் ஏதேனும் கூடுதல் நூலகங்களைப் பயன்படுத்தினால், அவற்றை இங்கே குறிப்பிட வேண்டும்.
பரிசோதனையை விவரிக்கும் JSON கோப்புடன் ஒரு சாளரம் திறக்கும். பரிசோதனையின் பெயர் போன்ற சில அளவுருக்களை நீங்கள் இங்கே திருத்தலாம். அதன் பிறகு, இணைப்பைக் கிளிக் செய்யவும். பரிசோதனையைச் சமர்ப்பிக்கவும் இந்தக் கோப்பின் உள்ளே:
- VS குறியீடு மூலம் உங்கள் பரிசோதனையை வெற்றிகரமாகச் சமர்ப்பித்தவுடன், நீங்கள் ஒரு இணைப்பைக் காண்பீர்கள் , அங்கு நீங்கள் பரிசோதனையின் நிலை மற்றும் முடிவுகளைக் கண்காணிக்கலாம்.
நீங்கள் அதை பின்னர் பிரிவில் எப்போதும் காணலாம். சோதனைகள் , அல்லது பிரிவில் அசூர் இயந்திர கற்றல் சோதனைகளின் பட்டியலில்:
- நீங்கள் குறியீட்டில் ஏதேனும் மாற்றங்களைச் செய்திருந்தால் அல்லது அதன் பின்னர் ஏதேனும் அளவுருக்களை மாற்றியிருந்தால், பரிசோதனையை மீண்டும் இயக்குவது மிகவும் வேகமாகவும் எளிதாகவும் இருக்கும். கோப்பில் வலது கிளிக் செய்தால் புதிய மெனு உருப்படி தோன்றும். கடைசி ஓட்டத்தை மீண்டும் செய்யவும் — அதைத் தேர்ந்தெடுத்தால் போதும், சோதனை உடனடியாகத் தொடங்கும்:
Azure ML போர்ட்டலில் அனைத்து ரன்களிலிருந்தும் அளவீட்டு முடிவுகளை நீங்கள் எப்போதும் காணலாம்; அவற்றைப் பதிவு செய்ய வேண்டிய அவசியமில்லை.
Azure ML உடன் பரிசோதனைகளை இயக்குவது எளிமையானது மற்றும் வலியற்றது என்பதை இப்போது நீங்கள் அறிவீர்கள், மேலும் நீங்கள் பல நல்ல நன்மைகளைப் பெறுவீர்கள்.
ஆனால் சில குறைபாடுகளை நீங்கள் கவனித்திருக்கலாம். எடுத்துக்காட்டாக, ஸ்கிரிப்டை இயக்குவதற்கு கணிசமாக அதிக நேரம் எடுத்தது. நிச்சயமாக, ஸ்கிரிப்டை ஒரு கொள்கலனில் பேக் செய்து சர்வரில் பயன்படுத்துவதற்கு நேரம் எடுக்கும். கிளஸ்டரை 0 முனைகளாகக் குறைத்தால், மெய்நிகர் இயந்திரத்தைத் தொடங்க இன்னும் அதிக நேரம் எடுக்கும். MNIST போன்ற எளிய சிக்கல்களைத் தீர்க்க சில வினாடிகள் எடுக்கும் போது இது குறிப்பாக கவனிக்கப்படுகிறது. இருப்பினும், நிஜ வாழ்க்கையில், பயிற்சி மணிநேரங்கள், அல்லது நாட்கள் அல்லது வாரங்கள் கூட எடுக்கும் போது, இந்த கூடுதல் நேரம் முக்கியமற்றதாகிவிடும், குறிப்பாக ஒரு கணினி கிளஸ்டர் வழங்கக்கூடிய குறிப்பிடத்தக்க உயர் செயல்திறனுடன் ஒப்பிடும்போது.
அடுத்து என்ன?
இந்தக் கட்டுரையைப் படித்த பிறகு, ஸ்கிரிப்ட்களை இயக்கவும், கணினி வளங்களை நிர்வகிக்கவும், முடிவுகளை மையப்படுத்தவும் உங்கள் பணிப்பாய்வில் Azure ML ஐப் பயன்படுத்த முடியும் என்று நம்புகிறேன். இருப்பினும், Azure ML உங்களுக்கு இன்னும் அதிக நன்மைகளை வழங்க முடியும்!
உங்கள் பணியிடத்திற்குள் தரவைச் சேமித்து, உங்கள் அனைத்துப் பணிகளுக்கும் ஒரு மையப்படுத்தப்பட்ட, எளிதில் அணுகக்கூடிய களஞ்சியத்தை உருவாக்கலாம். விஷுவல் ஸ்டுடியோ குறியீட்டிற்குப் பதிலாக API ஐப் பயன்படுத்தி நீங்கள் சோதனைகளையும் இயக்கலாம் - நீங்கள் ஹைப்பர் அளவுரு உகப்பாக்கத்தைச் செய்து, வெவ்வேறு அளவுருக்களுடன் ஒரு ஸ்கிரிப்டை பல முறை இயக்க வேண்டியிருந்தால் இது மிகவும் பயனுள்ளதாக இருக்கும். மேலும், Azure ML இதற்கான உள்ளமைக்கப்பட்ட தொழில்நுட்பத்தைக் கொண்டுள்ளது. , இது மிகவும் அதிநவீன ஹைப்பர்பாராமீட்டர் தேடல் மற்றும் உகப்பாக்கத்தை அனுமதிக்கிறது. இந்த திறன்களைப் பற்றி எனது அடுத்த இடுகையில் விவாதிப்பேன்.
பயனுள்ள வளங்கள்
Azure ML பற்றிய ஆழமான புரிதலுக்கு, பின்வரும் Microsoft Learn படிப்புகள் உங்களுக்கு உதவியாக இருக்கும்:
ஆதாரம்: www.habr.com
