ડરને કેવી રીતે દૂર કરવો અને Azure મશીન લર્નિંગનો ઉપયોગ કેવી રીતે શરૂ કરવો

હું ઘણા ડેટા વૈજ્ઞાનિકોને જાણું છું - અને હું કદાચ તેમાંથી એક છું - જે GPU મશીનો પર કામ કરે છે, સ્થાનિક અથવા વર્ચ્યુઅલ, ક્લાઉડમાં સ્થિત છે, કાં તો Jupyter નોટબુક દ્વારા અથવા અમુક પ્રકારના પાયથોન વિકાસ પર્યાવરણ દ્વારા. નિષ્ણાત AI/ML ડેવલપર તરીકે 2 વર્ષ સુધી કામ કરીને, નિયમિત સર્વર અથવા વર્કસ્ટેશન પર ડેટા તૈયાર કરતી વખતે અને Azure માં GPU સાથે વર્ચ્યુઅલ મશીન પર તાલીમ ચલાવતી વખતે, મેં બરાબર આ જ કર્યું.

અલબત્ત, અમે બધા વિશે સાંભળ્યું છે એઝ્યુર મશીન લર્નિંગ - મશીન લર્નિંગ માટે એક ખાસ ક્લાઉડ પ્લેટફોર્મ. જો કે, પ્રથમ નજર પછી પ્રારંભિક લેખો, એવું લાગે છે કે Azure ML તમારા માટે તેના ઉકેલ કરતાં વધુ સમસ્યાઓ ઊભી કરશે. ઉદાહરણ તરીકે, ઉપરોક્ત ટ્યુટોરીયલમાં, Azure ML પરની તાલીમ Jupyter નોટબુકમાંથી શરૂ કરવામાં આવી છે, જ્યારે તાલીમ સ્ક્રિપ્ટ પોતે જ એક કોષમાં ટેક્સ્ટ ફાઇલ તરીકે બનાવવા અને સંપાદિત કરવાની દરખાસ્ત છે - જ્યારે ઓટો-કમ્પ્લીશન, સિન્ટેક્સનો ઉપયોગ ન કરો. હાઇલાઇટિંગ, અને સામાન્ય વિકાસ વાતાવરણના અન્ય ફાયદા. આ કારણોસર, અમે લાંબા સમયથી અમારા કાર્યમાં Azure ML નો ગંભીરતાપૂર્વક ઉપયોગ કર્યો નથી.

જો કે, મેં તાજેતરમાં મારા કાર્યમાં Azure ML નો અસરકારક રીતે ઉપયોગ શરૂ કરવાની રીત શોધી કાઢી છે! વિગતોમાં રસ છે?

મુખ્ય રહસ્ય છે Azure ML માટે વિઝ્યુઅલ સ્ટુડિયો કોડ એક્સ્ટેંશન. તે તમને પર્યાવરણનો સંપૂર્ણ લાભ લઈને, VS કોડમાં જ તાલીમ સ્ક્રિપ્ટ વિકસાવવાની મંજૂરી આપે છે - અને તમે સ્ક્રિપ્ટને સ્થાનિક રીતે પણ ચલાવી શકો છો અને પછી તેને થોડી ક્લિક્સ સાથે Azure ML ક્લસ્ટરમાં તાલીમ માટે મોકલી શકો છો. અનુકૂળ, તે નથી?

આમ કરવાથી, તમને Azure ML નો ઉપયોગ કરવાથી નીચેના લાભો મળે છે:

• તમે તમારા મશીન પર અનુકૂળ IDE માં મોટાભાગનો સમય સ્થાનિક રીતે કામ કરી શકો છો, અને GPU નો ઉપયોગ ફક્ત મોડેલ તાલીમ માટે કરો. તે જ સમયે, તાલીમ સંસાધનોનો પૂલ આપમેળે જરૂરી લોડને સમાયોજિત કરી શકે છે, અને નોડ્સની ન્યૂનતમ સંખ્યાને 0 પર સેટ કરીને, તમે તાલીમ કાર્યોની હાજરીમાં "માગ પર" વર્ચ્યુઅલ મશીનને આપમેળે શરૂ કરી શકો છો.
• તમે કરી શકો છો બધા શિક્ષણ પરિણામો એક જગ્યાએ સંગ્રહિત કરો, પ્રાપ્ત કરેલ મેટ્રિક્સ અને પરિણામી મોડેલો સહિત - તમામ પરિણામોને સંગ્રહિત કરવા માટે કોઈ પ્રકારની સિસ્ટમ અથવા ઓર્ડર સાથે આવવાની જરૂર નથી.
• આમ એક જ પ્રોજેક્ટ પર ઘણા લોકો કામ કરી શકે છે - તેઓ સમાન કમ્પ્યુટિંગ ક્લસ્ટરનો ઉપયોગ કરી શકે છે, બધા પ્રયોગો કતારબદ્ધ કરવામાં આવશે, અને તેઓ એકબીજાના પ્રયોગોના પરિણામો પણ જોઈ શકશે. આવું જ એક દૃશ્ય છે ડીપ લર્નિંગ શીખવવામાં Azure ML નો ઉપયોગજ્યારે દરેક વિદ્યાર્થીને GPU સાથે વર્ચ્યુઅલ મશીન આપવાને બદલે, તમે એક ક્લસ્ટર બનાવી શકો છો જેનો ઉપયોગ બધા કેન્દ્રિય રીતે કરશે. વધુમાં, મોડેલની ચોકસાઈ સાથેના પરિણામોનું સામાન્ય કોષ્ટક એક સારા સ્પર્ધાત્મક તત્વ તરીકે સેવા આપી શકે છે.
• Azure ML સાથે, તમે સરળતાથી પ્રયોગોની શ્રેણી ચલાવી શકો છો, ઉદાહરણ તરીકે, માટે હાઇપરપેરામીટર ઓપ્ટિમાઇઝેશન - આ કોડની થોડી લીટીઓ સાથે કરી શકાય છે, પ્રયોગોની શ્રેણી જાતે હાથ ધરવાની જરૂર નથી.

મને આશા છે કે હું તમને Azure ML અજમાવવા માટે રાજી કરીશ! કેવી રીતે પ્રારંભ કરવું તે અહીં છે:

• ખાતરી કરો કે તમે ઇન્સ્ટોલ કર્યું છે વિઝ્યુઅલ સ્ટુડિયો કોડ, તેમજ એક્સ્ટેન્શન્સ Azure સાઇન ઇન и એઝ્યુર એમએલ
• રીપોઝીટરીને ક્લોન કરો https://github.com/CloudAdvocacy/AzureMLStarter - તેમાં MNIST ડેટાસેટ પર હસ્તલિખિત અંક ઓળખ મોડેલને તાલીમ આપવા માટે કેટલાક ડેમો કોડ છે.
• વિઝ્યુઅલ સ્ટુડિયો કોડમાં ક્લોન કરેલ રીપોઝીટરી ખોલો.
• આગળ વાંચો!

Azure ML વર્કસ્પેસ અને Azure ML પોર્ટલ

Azure ML ખ્યાલની આસપાસ ગોઠવાયેલ છે કાર્ય વિસ્તાર - કાર્યસ્થળ. ડેટા વર્કસ્પેસમાં સંગ્રહિત કરી શકાય છે, પ્રયોગો તેને તાલીમ માટે મોકલવામાં આવે છે, તાલીમ પરિણામો પણ ત્યાં સંગ્રહિત થાય છે - પરિણામી મેટ્રિક્સ અને મોડેલ્સ. તમે જોઈ શકો છો કે વર્કસ્પેસની અંદર શું છે Azure ML પોર્ટલ - અને ત્યાંથી તમે ડેટા લોડ કરવાથી લઈને મોનિટરિંગ પ્રયોગો અને મૉડલો ગોઠવવા સુધીના ઘણા ઑપરેશન્સ કરી શકો છો.

તમે વેબ ઈન્ટરફેસ દ્વારા વર્કસ્પેસ બનાવી શકો છો એઝ્યુર પોર્ટલ (જુઓ પગલું દ્વારા પગલું સૂચનો), અથવા Azure CLI કમાન્ડ લાઇનનો ઉપયોગ કરીને (સૂચનો):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

વર્કસ્પેસ સાથે પણ કેટલાક સંકળાયેલા છે કમ્પ્યુટિંગ સંસાધનો (ગણતરી કરો). એકવાર તમે મોડેલને તાલીમ આપવા માટે સ્ક્રિપ્ટ બનાવી લો, તમે કરી શકો છો અમલ માટે પ્રયોગ મોકલો કાર્યસ્થળ પર, અને સ્પષ્ટ કરો લક્ષ્યની ગણતરી કરો - આ કિસ્સામાં, સ્ક્રિપ્ટને પેકેજ કરવામાં આવશે, ઇચ્છિત કમ્પ્યુટિંગ વાતાવરણમાં ચલાવવામાં આવશે, અને પછી પ્રયોગના તમામ પરિણામો વધુ વિશ્લેષણ અને ઉપયોગ માટે વર્કસ્પેસમાં સાચવવામાં આવશે.

MNIST માટે સ્ક્રિપ્ટ શીખવી

શાસ્ત્રીય સમસ્યાનો વિચાર કરો હસ્તલિખિત અંકોની ઓળખ MNIST ડેટાસેટનો ઉપયોગ કરીને. તેવી જ રીતે, ભવિષ્યમાં, તમે તમારી કોઈપણ તાલીમ સ્ક્રિપ્ટ ચલાવી શકો છો.

અમારા ભંડારમાં એક સ્ક્રિપ્ટ છે train_local.py, જે અમે SkLearn લાઇબ્રેરીનો ઉપયોગ કરીને સરળ રેખીય રીગ્રેશન મોડલને તાલીમ આપીએ છીએ. અલબત્ત, હું સમજું છું કે સમસ્યા હલ કરવાની આ શ્રેષ્ઠ રીત નથી - અમે તેનો ઉપયોગ ઉદાહરણ તરીકે, સૌથી સરળ તરીકે કરીએ છીએ.

સ્ક્રિપ્ટ પહેલા OpenML માંથી MNIST ડેટા ડાઉનલોડ કરે છે અને પછી ક્લાસનો ઉપયોગ કરે છે LogisticRegression મોડેલને તાલીમ આપવા માટે, અને પછી પરિણામી ચોકસાઈને છાપો:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

તમે તમારા કમ્પ્યુટર પર સ્ક્રિપ્ટ ચલાવી શકો છો અને થોડી સેકંડમાં પરિણામ મેળવી શકો છો.

Azure ML માં સ્ક્રિપ્ટ ચલાવો

જો આપણે Azure ML દ્વારા તાલીમ સ્ક્રિપ્ટ ચલાવીએ, તો અમને બે મુખ્ય ફાયદા થશે:

• મનસ્વી કમ્પ્યુટિંગ સંસાધન પર તાલીમ ચલાવવી, જે, એક નિયમ તરીકે, સ્થાનિક કમ્પ્યુટર કરતાં વધુ ઉત્પાદક છે. તે જ સમયે, Azure ML પોતે જ અમારી સ્ક્રિપ્ટને વર્તમાન ડિરેક્ટરીમાંથી તમામ ફાઇલો સાથે ડોકર કન્ટેનરમાં પેક કરવાની, જરૂરી નિર્ભરતાઓને ઇન્સ્ટોલ કરવાની અને તેને અમલ માટે મોકલવાનું ધ્યાન રાખશે.
• Azure ML વર્કસ્પેસની અંદર સિંગલ રજિસ્ટ્રીમાં પરિણામો લખો. આ સુવિધાનો લાભ લેવા માટે, પરિણામી ચોકસાઈને રેકોર્ડ કરવા માટે અમારે અમારી સ્ક્રિપ્ટમાં કોડની કેટલીક લાઇન ઉમેરવાની જરૂર છે:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

સ્ક્રિપ્ટના અનુરૂપ સંસ્કરણને કહેવામાં આવે છે train_universal.py (તે ઉપર લખેલું છે તેના કરતાં તે થોડું વધુ ઘડાયેલું છે, પરંતુ વધુ નહીં). આ સ્ક્રિપ્ટ સ્થાનિક રીતે અને રિમોટ કમ્પ્યુટિંગ સ્ત્રોત પર બંને રીતે ચલાવી શકાય છે.

તેને VS કોડમાંથી Azure ML માં ચલાવવા માટે, તમારે નીચેના કરવાની જરૂર છે:

1. ખાતરી કરો કે Azure એક્સ્ટેંશન તમારા સબ્સ્ક્રિપ્શન સાથે જોડાયેલ છે. ડાબી બાજુના મેનૂમાંથી Azure આયકન પસંદ કરો. જો તમે કનેક્ટેડ નથી, તો નીચેના જમણા ખૂણે એક સૂચના દેખાશે (આની જેમ), જેના પર ક્લિક કરીને તમે બ્રાઉઝર દ્વારા દાખલ કરી શકો છો. તમે ક્લિક પણ કરી શકો છો Ctrl-Shift-P VS કોડ આદેશ વાક્ય પર કૉલ કરવા માટે, અને ટાઇપ કરો Azure સાઇન ઇન.

2. તે પછી, એઝ્યુર વિભાગમાં (ડાબી બાજુનું ચિહ્ન), વિભાગ શોધો શીખવાની મશીન:

અહીં તમારે વર્કસ્પેસની અંદર ઑબ્જેક્ટના વિવિધ જૂથો જોવું જોઈએ: કમ્પ્યુટિંગ સંસાધનો, પ્રયોગો, વગેરે.

1. ફાઇલોની સૂચિ પર જાઓ, સ્ક્રિપ્ટ પર જમણું ક્લિક કરો train_universal.py અને પસંદ કરો Azure ML: Azure માં પ્રયોગ તરીકે ચલાવો.

1. VS કોડના આદેશ વાક્ય ક્ષેત્રમાં આના પછી શ્રેણીબદ્ધ સંવાદો આવશે: તમે ઉપયોગ કરી રહ્યાં છો તે સબ્સ્ક્રિપ્શન અને Azure ML વર્કસ્પેસની પુષ્ટિ કરો અને પસંદ કરો નવો પ્રયોગ બનાવો:

1. એક નવું કમ્પ્યુટ રિસોર્સ બનાવવાનું પસંદ કરો નવી ગણતરી બનાવો:

   • ગણતરી કરો કમ્પ્યુટિંગ સ્ત્રોત નક્કી કરે છે કે જેના પર તાલીમ લેવામાં આવશે. તમે સ્થાનિક કમ્પ્યુટર અથવા AmlCompute ક્લાઉડ ક્લસ્ટર પસંદ કરી શકો છો. હું મશીનોનું સ્કેલેબલ ક્લસ્ટર બનાવવાની ભલામણ કરું છું STANDARD_DS3_v2, ઓછામાં ઓછા 0 ની મશીનો સાથે (અને મહત્તમ 1 અથવા વધુ, તમારી ભૂખના આધારે). આ VS કોડ ઈન્ટરફેસ દ્વારા અથવા અગાઉ દ્વારા કરી શકાય છે ML પોર્ટલ.

   

2. આગળ, તમારે રૂપરેખાંકન પસંદ કરવાની જરૂર છે કમ્પ્યુટ રૂપરેખાંકન, જે તાલીમ માટે બનાવેલ કન્ટેનરના પરિમાણોને વ્યાખ્યાયિત કરે છે, ખાસ કરીને, તમામ જરૂરી પુસ્તકાલયો. અમારા કિસ્સામાં, અમે Scikit Learn નો ઉપયોગ કરતા હોવાથી, અમે પસંદ કરીએ છીએ SkLearn, અને પછી Enter દબાવીને ફક્ત પુસ્તકાલયોની સૂચિત સૂચિની પુષ્ટિ કરો. જો તમે કોઈપણ વધારાની લાઈબ્રેરીઓનો ઉપયોગ કરો છો, તો તેઓ અહીં ઉલ્લેખિત હોવા જોઈએ.

   
   

3. આ પ્રયોગનું વર્ણન કરતી JSON ફાઇલ સાથે વિન્ડો ખોલશે. તેમાં, તમે કેટલાક પરિમાણોને સુધારી શકો છો - ઉદાહરણ તરીકે, પ્રયોગનું નામ. તે પછી લિંક પર ક્લિક કરો પ્રયોગ સબમિટ કરો આ ફાઇલની અંદર જ:

1. VS કોડ દ્વારા પ્રયોગ સફળતાપૂર્વક સબમિટ કર્યા પછી, સૂચના વિસ્તારની જમણી બાજુએ, તમને એક લિંક દેખાશે Azure ML પોર્ટલ, જ્યાં તમે પ્રયોગની સ્થિતિ અને પરિણામોને ટ્રૅક કરી શકો છો.

ત્યારબાદ, તમે તેને હંમેશા વિભાગમાં શોધી શકો છો પ્રયોગો Azure ML પોર્ટલ, અથવા વિભાગમાં એઝ્યુર મશીન લર્નિંગ પ્રયોગોની સૂચિમાં:

1. જો તે પછી તમે કોડમાં કેટલાક સુધારા કર્યા છે અથવા પરિમાણો બદલ્યા છે, તો પ્રયોગને ફરીથી શરૂ કરવું વધુ ઝડપી અને સરળ બનશે. ફાઇલ પર જમણું-ક્લિક કરીને, તમે એક નવી મેનૂ આઇટમ જોશો છેલ્લા રનનું પુનરાવર્તન કરો - ફક્ત તેને પસંદ કરો, અને પ્રયોગ તરત જ શરૂ થશે:

તમે હંમેશા Azure ML પોર્ટલ પરના તમામ લોન્ચમાંથી મેટ્રિક્સના પરિણામો શોધી શકો છો, તેમને લખવાની જરૂર નથી.

હવે તમે જાણો છો કે Azure ML સાથે પ્રયોગો ચલાવવા એ સરળ અને પીડારહિત છે, અને આમ કરવાથી તમને ઘણા સારા લાભો મળે છે.

પરંતુ તમે ગેરફાયદા પણ જોઈ શકો છો. ઉદાહરણ તરીકે, સ્ક્રિપ્ટ ચલાવવામાં નોંધપાત્ર રીતે વધુ સમય લાગ્યો. અલબત્ત, સ્ક્રિપ્ટને કન્ટેનરમાં પેક કરવામાં અને સર્વર પર જમાવવામાં સમય લાગે છે. જો તે જ સમયે ક્લસ્ટરને 0 નોડ્સના કદમાં કાપવામાં આવ્યું હોય, તો તે વર્ચ્યુઅલ મશીનને શરૂ કરવામાં હજી વધુ સમય લેશે, અને જ્યારે આપણે MNIST જેવા સરળ કાર્યો પર પ્રયોગ કરીએ છીએ, જે થોડી સેકંડમાં ઉકેલાઈ જાય છે ત્યારે આ બધું ખૂબ જ નોંધનીય છે. . જો કે, વાસ્તવિક જીવનમાં, જ્યારે તાલીમ ઘણા કલાકો, અથવા તો દિવસો કે અઠવાડિયા સુધી ચાલે છે, ત્યારે આ વધારાનો સમય નજીવો બની જાય છે, ખાસ કરીને કમ્પ્યુટિંગ ક્લસ્ટર પ્રદાન કરી શકે તેટલા ઉચ્ચ પ્રદર્શનની પૃષ્ઠભૂમિ સામે.

શું આગામી છે?

હું આશા રાખું છું કે આ લેખ વાંચ્યા પછી, તમે સ્ક્રિપ્ટો ચલાવવા, કમ્પ્યુટિંગ સંસાધનોનું સંચાલન કરવા અને પરિણામોને કેન્દ્રિય રીતે સંગ્રહિત કરવા તમારા કાર્યમાં Azure ML નો ઉપયોગ કરી શકશો અને કરશો. જો કે, Azure ML તમને હજી વધુ લાભ આપી શકે છે!

વર્કસ્પેસની અંદર, તમે ડેટા સ્ટોર કરી શકો છો, ત્યાંથી તમારા બધા કાર્યો માટે કેન્દ્રિય ભંડાર બનાવી શકો છો, જે ઍક્સેસ કરવા માટે સરળ છે. વધુમાં, તમે વિઝ્યુઅલ સ્ટુડિયો કોડમાંથી પ્રયોગો ચલાવી શકો છો, પરંતુ API નો ઉપયોગ કરીને - આ ખાસ કરીને ઉપયોગી થઈ શકે છે જો તમારે હાઇપરપેરામીટર ઓપ્ટિમાઇઝેશન કરવાની જરૂર હોય અને વિવિધ પરિમાણો સાથે સ્ક્રિપ્ટને ઘણી વખત ચલાવવાની જરૂર હોય. તદુપરાંત, Azure ML માં વિશેષ તકનીક બનાવવામાં આવી છે હાઇપરડ્રાઇવ, જે તમને વધુ મુશ્કેલ શોધ અને હાઇપરપેરામીટર્સનું ઑપ્ટિમાઇઝેશન કરવાની મંજૂરી આપે છે. હું મારી આગામી પોસ્ટમાં આ શક્યતાઓ વિશે વાત કરીશ.

ઉપયોગી સંસાધનો

Azure ML વિશે વધુ જાણવા માટે, તમને નીચેના Microsoft Learn અભ્યાસક્રમો મદદરૂપ થઈ શકે છે:

• Azure ML સેવાનો પરિચય
• Azure ML સેવા સાથે AI સોલ્યુશન્સનું નિર્માણ
• Azure ML સેવા સાથે સ્થાનિક મોડલને તાલીમ આપો

સોર્સ: www.habr.com