ፍርሃትን እንዴት ማሸነፍ እንደሚቻል እና Azure Machine Learningን መጠቀም እንደሚቻል

ብዙ የዳታ ሳይንቲስቶችን አውቃለሁ - እና ምናልባት እኔ ከነሱ አንዱ ነኝ - በጂፒዩ ማሽኖች፣ በአገር ውስጥ ወይም በቨርቹዋል፣ በደመና ውስጥ የሚገኙ፣ በጁፒተር ማስታወሻ ደብተር ወይም በሆነ የፓይዘን ልማት አካባቢ የሚሰሩ። በ AI/ML ውስጥ እንደ ኤክስፐርት ገንቢ ለ 2 ዓመታት በመስራት በመደበኛ አገልጋይ ወይም የስራ ቦታ ላይ መረጃን በማዘጋጀት እና በ Azure ውስጥ በጂፒዩ በቨርቹዋል ማሽን ላይ በማሰልጠን ላይ እያለ በትክክል ይህንን አደረግሁ።

በእርግጥ ሁላችንም ሰምተናል የአዙር ማሽን ትምህርት - ለማሽን ለመማር ልዩ የደመና መድረክ። ሆኖም ፣ ከመጀመሪያው እይታ በኋላ በ የመግቢያ መጣጥፎች፣ Azure ML ከመፍትሔው በላይ ብዙ ችግሮችን የሚፈጥርልዎ ይመስላል። ለምሳሌ ከላይ በተጠቀሰው የሥልጠና ምሳሌ በአዙሬ ኤምኤል ላይ ሥልጠና ከጁፒተር ማስታወሻ ደብተር ተጀምሯል ፣ የሥልጠናው ስክሪፕት ራሱ በአንደኛው ሕዋስ ውስጥ እንደ የጽሑፍ ፋይል እንዲፈጠር እና እንዲስተካከል ሐሳብ ቀርቧል - አውቶማቲክን ሳይጠቀሙ ፣ አገባብ ማድመቅ እና ሌሎችም። የመደበኛ ልማት አካባቢ ጥቅሞች። በዚህ ምክንያት, Azure ML በስራችን ውስጥ ለረጅም ጊዜ በቁም ​​ነገር አልተጠቀምንም.

ሆኖም፣ Azure ML በስራዬ ውስጥ በብቃት መጠቀም የምጀምርበትን መንገድ በቅርቡ አግኝቻለሁ! ዝርዝሮችን ይፈልጋሉ?

ዋናው ሚስጥር ነው። ቪዥዋል ስቱዲዮ ኮድ ቅጥያ ለ Azure ML. አካባቢን ሙሉ በሙሉ በመጠቀም የስልጠና ስክሪፕቶችን በቀጥታ በቪኤስ ኮድ እንዲያዘጋጁ ይፈቅድልዎታል - እና ስክሪፕት በአገር ውስጥ እንዲሰሩ እና ከዚያ በቀላሉ በጥቂት ጠቅታዎች በአዙሬ ኤምኤል ክላስተር ላይ ለማሰልጠን ይላኩ። ምቹ ነው አይደል?

ይህንን ሲያደርጉ Azure ML ን በመጠቀም የሚከተሉትን ጥቅሞች ያገኛሉ።

• በሚመች አይዲኢ ውስጥ ብዙ ጊዜ በአገር ውስጥ በመስራት ማሽንዎ ላይ መስራት ይችላሉ። ጂፒዩ ለሞዴል ስልጠና ብቻ ይጠቀሙ. በተመሳሳይ ጊዜ የሥልጠና ሀብቶች ገንዳ ከሚፈለገው ጭነት ጋር በራስ-ሰር ማስተካከል ይችላል ፣ እና አነስተኛውን የመስቀለኛ ክፍል ቁጥር ወደ 0 በማቀናበር የሥልጠና ተግባራት ካሉ “በፍላጎት” ቨርቹዋል ማሽኑን በራስ-ሰር ማስጀመር ይችላሉ።
• ይችላሉ ሁሉንም የትምህርት ውጤቶች በአንድ ቦታ ያከማቹ, የተገኙትን መለኪያዎች እና የውጤት ሞዴሎችን ጨምሮ - ሁሉንም ውጤቶች ለማከማቸት አንድ ዓይነት ስርዓት ወይም ትዕዛዝ ማምጣት አያስፈልግም.
• ስለዚህ ብዙ ሰዎች በአንድ ፕሮጀክት ላይ ሊሠሩ ይችላሉ - ተመሳሳዩን የኮምፒዩተር ክላስተር መጠቀም ይችላሉ ፣ ሁሉም ሙከራዎች ወረፋ ይደረጋሉ ፣ እና እንዲሁም የሌላውን ሙከራ ውጤት ማየት ይችላሉ። አንዱ እንደዚህ ያለ ሁኔታ ነው። ጥልቅ ትምህርትን በማስተማር Azure ML ን በመጠቀም, ለእያንዳንዱ ተማሪ ቨርቹዋል ማሽን በጂፒዩ ከመስጠት ይልቅ ሁሉም ሰው የሚጠቀምበትን አንድ ዘለላ መፍጠር ትችላለህ። በተጨማሪም, ሞዴል ትክክለኛነት ያለው አጠቃላይ የውጤቶች ሰንጠረዥ እንደ ጥሩ ተወዳዳሪ አካል ሆኖ ሊያገለግል ይችላል.
• Azure ML ን በመጠቀም ተከታታይ ሙከራዎችን በቀላሉ ማካሄድ ይችላሉ፣ ለምሳሌ hyperparameter ማመቻቸት - ይህ በጥቂት የኮድ መስመሮች ሊከናወን ይችላል, ተከታታይ ሙከራዎችን በእጅ ማካሄድ አያስፈልግም.

Azure ML ን እንድትሞክሩ እንዳሳምንህ ተስፋ አደርጋለሁ! እንዴት እንደሚጀመር እነሆ፡-

• መጫኑን ያረጋግጡ Visual Studio Code, እንዲሁም ማራዘሚያዎች Azure መግቢያ и Azure ML
• ማከማቻውን መዝጋት https://github.com/CloudAdvocacy/AzureMLStarter - በMNIST የውሂብ ስብስብ ላይ በእጅ የተጻፈ አሃዝ ማወቂያ ሞዴል ለማሰልጠን አንዳንድ የማሳያ ኮድ ይዟል።
• በ Visual Studio Code ውስጥ የተዘጋውን ማከማቻ ይክፈቱ።
• አንብብ!

Azure ML Workspace እና Azure ML Portal

Azure ML በፅንሰ-ሃሳቡ ዙሪያ የተደራጀ ነው። የስራ አካባቢ - የስራ ቦታ. መረጃ በስራ ቦታ ውስጥ ሊከማች ይችላል, ለስልጠና ሙከራዎች ወደ እሱ ሊላኩ ይችላሉ, እና የስልጠና ውጤቶች - የተገኙት መለኪያዎች እና ሞዴሎች - እዚያም ይቀመጣሉ. በስራ ቦታው ውስጥ ምን እንዳለ ማየት ይችላሉ Azure ML ፖርታል - እና ከዚያ ብዙ ስራዎችን ማከናወን ይችላሉ, ውሂብን ከመጫን እስከ ሙከራዎችን መከታተል እና ሞዴሎችን ማሰማራት.

በድር በይነገጽ በኩል የስራ ቦታ መፍጠር ይችላሉ Azure Portal (ተመልከት) ፡፡ ደረጃ በደረጃ መመሪያዎች) ወይም የ Azure CLI ትዕዛዝ መስመርን በመጠቀም (መመሪያዎች):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

ከስራ ቦታው ጋር የተያያዙም አሉ። የኮምፒዩተር መርጃዎች (ማስላት). ሞዴሉን ለማሰልጠን ስክሪፕት ከፈጠሩ በኋላ ማድረግ ይችላሉ። ለመፈጸም ሙከራ ላክ ወደ ሥራው ቦታ, እና ይግለጹ ኢላማውን አስሉ - በዚህ ሁኔታ, ስክሪፕቱ የታሸገ, በተፈለገው የኮምፒዩተር አከባቢ ውስጥ ይጀምራል, ከዚያም የሙከራው ውጤት በሙሉ ለተጨማሪ ትንተና እና አጠቃቀም በስራ ቦታ ውስጥ ይቀመጣል.

ለMNIST የሥልጠና ስክሪፕት።

የጥንታዊውን ችግር እናስብ በእጅ የተጻፈ አሃዛዊ እውቅና የMNIST የውሂብ ስብስብን በመጠቀም። በተመሳሳይ፣ ወደፊት ማንኛውንም የስልጠና ስክሪፕቶችዎን ማከናወን ይችላሉ።

በእኛ ማከማቻ ውስጥ ስክሪፕት አለ። train_local.pySkLearn ቤተመፃህፍትን በመጠቀም በጣም ቀላሉን የመስመራዊ ሪግሬሽን ሞዴል የሚያሰለጥን። በእርግጥ ይህ ችግሩን ለመፍታት ከሁሉ የተሻለው መንገድ እንዳልሆነ ተረድቻለሁ - እንደ ምሳሌ እንጠቀማለን, እንደ ቀላሉ.

ስክሪፕቱ መጀመሪያ የMNIST ውሂቡን ከOpenML ያወርዳል ከዚያም ክፍሉን ይጠቀማል LogisticRegression ሞዴሉን ለማሰልጠን እና ውጤቱን ትክክለኛነት ለማተም

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

ስክሪፕቱን በኮምፒዩተርዎ ላይ ማስኬድ ይችላሉ እና በጥቂት ሰከንዶች ውስጥ ውጤቱን ያገኛሉ።

በ Azure ML ውስጥ ስክሪፕቱን በማሄድ ላይ

የሥልጠና ስክሪፕቱን በ Azure ML በኩል ከሠራን ሁለት ዋና ጥቅሞች ይኖሩናል፡-

• በዘፈቀደ የኮምፒዩተር መርጃ ላይ ስልጠናን ማካሄድ፣ ይህም አብዛኛውን ጊዜ ከአገር ውስጥ ኮምፒውተር የበለጠ ውጤታማ ነው። በዚህ አጋጣሚ አዙሬ ኤምኤል ራሱ ስክሪፕታችንን ከአሁኑ ማውጫ ውስጥ ካሉት ፋይሎች በሙሉ ወደ ዶከር ኮንቴይነር በማሸግ አስፈላጊዎቹን ጥገኞች በመጫን እና ለመፈጸም ይልከዋል።
• ውጤቶችን በ Azure ML የስራ ቦታ ውስጥ ወደ አንድ መዝገብ ይፃፉ። ይህንን ባህሪ ለመጠቀም፣ የተገኘውን ትክክለኛነት ለመመዝገብ ሁለት የኮድ መስመሮችን ወደ ስክሪፕታችን ማከል አለብን።

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

የስክሪፕቱ ተጓዳኝ ስሪት ይባላል train_universal.py (ከላይ ከተገለፀው በላይ ትንሽ በተንኮል የተነደፈ ነው, ግን ብዙ አይደለም). ይህ ስክሪፕት በአገር ውስጥ እና በሩቅ የኮምፒዩተር መርጃ ላይ ሊሠራ ይችላል።

በ Azure ML ከ VS ኮድ ለማስኬድ የሚከተሉትን ማድረግ አለብዎት:

1. የAzure ቅጥያ ከምዝገባዎ ጋር መገናኘቱን ያረጋግጡ። በግራ ምናሌው ውስጥ የ Azure አዶን ይምረጡ። ካልተገናኙ ማሳወቂያ ከታች በቀኝ ጥግ ላይ ይታያል (ልክ እንደዚህ), በአሳሹ ውስጥ መግባት የሚችሉትን ጠቅ በማድረግ. እንዲሁም ጠቅ ማድረግ ይችላሉ Ctrl-Shift-P የ VS ኮድ ትዕዛዝ መስመር ለመክፈት እና ይተይቡ Azure መግቢያ.

2. ከዚያ በኋላ, በ Azure ክፍል (በግራ በኩል አዶ), ክፍሉን ያግኙ ማሽኑ መማር:

እዚህ በስራ ቦታ ውስጥ የተለያዩ የነገሮችን ቡድን ማየት አለብህ፡ የኮምፒውተር ግብዓቶች፣ ሙከራዎች፣ ወዘተ.

1. ወደ የፋይሎች ዝርዝር ይሂዱ, በስክሪፕቱ ላይ በቀኝ ጠቅ ያድርጉ train_universal.py እና ይምረጡ Azure ML: በ Azure ውስጥ እንደ ሙከራ ያሂዱ.

1. ይህ በVS Code ትዕዛዝ መስመር አካባቢ ተከታታይ ንግግሮች ይከተላሉ፡ የደንበኝነት ምዝገባዎን እና Azure ML የስራ ቦታን ያረጋግጡ እና ይምረጡ አዲስ ሙከራ ይፍጠሩ:

1. አዲስ የማስላት ምንጭ ለመፍጠር ይምረጡ አዲስ ስሌት ይፍጠሩ:

   • ማስላት የትኛውን ስልጠና እንደሚወስድ የኮምፒዩተር መርጃውን ይወስናል። የአካባቢያዊ ኮምፒውተር፣ ወይም AmlCompute Cloud cluster መምረጥ ይችላሉ። ሊሰፋ የሚችል የማሽን ስብስብ ለመፍጠር እመክራለሁ። STANDARD_DS3_v2, በትንሹ የማሽኖች ብዛት 0 (እና ከፍተኛው 1 ወይም ከዚያ በላይ ሊሆን ይችላል, እንደ የምግብ ፍላጎትዎ ይወሰናል). ይህ በቪኤስ ኮድ በይነገጽ በኩል ወይም ቀደም ብሎ ሊከናወን ይችላል። ML ፖርታል.

   

2. በመቀጠል ውቅረትን መምረጥ ያስፈልግዎታል ማስላት ውቅር, ለሥልጠና የተፈጠሩትን የእቃ መያዢያ መለኪያዎችን, በተለይም ሁሉንም አስፈላጊ ቤተ-መጻሕፍትን ይገልፃል. በእኛ ሁኔታ፣ Scikit Learn እየተጠቀምን ስለሆነ እንመርጣለን። SkLearn, እና ከዚያ በቀላሉ አስገባን በመጫን የታቀዱትን የቤተ-መጻህፍት ዝርዝር ያረጋግጡ. ተጨማሪ ቤተ-መጻሕፍት የሚጠቀሙ ከሆነ እዚህ መገለጽ አለባቸው።

   
   

3. ከዚህ በኋላ ሙከራውን የሚገልጽ የJSON ፋይል ያለው መስኮት ይከፈታል። በእሱ ውስጥ አንዳንድ መለኪያዎችን ማስተካከል ይችላሉ, ለምሳሌ, የሙከራው ስም. ከዚያ በኋላ ሊንኩን ይጫኑ ሙከራ አስገባ ልክ በዚህ ፋይል ውስጥ፡-

1. ሙከራን በተሳካ ሁኔታ በVS Code ካስገቡ በኋላ በቀኝ በኩል ባለው የማሳወቂያ ቦታ ላይ አገናኝ ያያሉ። Azure ML Portal, የሙከራውን ሁኔታ እና ውጤቶችን መከታተል የሚችሉበት.

በመቀጠል, ሁልጊዜ በክፍሉ ውስጥ ሊያገኙት ይችላሉ ሙከራዎች Azure ML Portal, ወይም በክፍሉ ውስጥ የአዙር ማሽን ትምህርት በሙከራዎች ዝርዝር ውስጥ-

1. በመቀጠል በኮዱ ላይ አንዳንድ እርማቶችን ካደረጉ ወይም ግቤቶችን ከቀየሩ፣ ሙከራውን እንደገና ማካሄድ በጣም ፈጣን እና ቀላል ይሆናል። በፋይሉ ላይ በቀኝ ጠቅ በማድረግ አዲስ የምናሌ ንጥል ያያሉ። የመጨረሻውን ሩጫ ይድገሙት - እሱን ብቻ ይምረጡ እና ሙከራው ወዲያውኑ ይጀምራል።

በ Azure ML Portal ላይ የመለኪያ ውጤቶችን ሁል ጊዜ ከሁሉም ሩጫዎች ማግኘት ይችላሉ፤ እነሱን መቅዳት አያስፈልግም።

አሁን Azure ML ን በመጠቀም ሙከራዎችን ማስኬድ ቀላል፣ ህመም የሌለው እና ከአንዳንድ አስደሳች ጥቅሞች ጋር እንደሚመጣ ያውቃሉ።

ግን አንዳንድ ጉዳቶችን አስተውለህ ይሆናል። ለምሳሌ፣ ስክሪፕቱን ለማሄድ በጣም ረጅም ጊዜ ወስዷል። እርግጥ ነው, ስክሪፕቱን ወደ ኮንቴይነር ማሸግ እና ወደ አገልጋዩ ማሰማራት ጊዜ ይወስዳል. ክላስተር ወደ 0 አንጓዎች መጠን ከተቀነሰ፣ ቨርቹዋል ማሽኑን ለመጀመር የበለጠ ጊዜ ይወስዳል፣ እና ይሄ ሁሉ እንደ MNIST ባሉ ቀላል ችግሮች ላይ ስንሞክር በጣም የሚታይ ነው፣ ይህም በጥቂት ሴኮንዶች ውስጥ መፍትሄ ያገኛሉ። ነገር ግን፣ በእውነተኛ ህይወት፣ ስልጠና ለብዙ ሰዓታት፣ አልፎ ተርፎም ቀናት ወይም ሳምንታት የሚቆይ ከሆነ፣ ይህ ተጨማሪ ጊዜ እዚህ ግባ የማይባል ይሆናል፣ በተለይም የኮምፒዩተር ክላስተር ሊያቀርበው ከሚችለው እጅግ የላቀ አፈፃፀም ዳራ አንጻር።

ቀጥሎ ምንድነው?

ይህን ጽሑፍ ካነበቡ በኋላ፣ ስክሪፕቶችን ለማስኬድ፣ የማስላት ግብዓቶችን ለማስተዳደር እና ውጤቶችን በማእከላዊ ለማከማቸት Azure ML በስራዎ ውስጥ መጠቀም እንደሚችሉ ተስፋ አደርጋለሁ። ሆኖም፣ Azure ML ተጨማሪ ጥቅሞችን ሊሰጥዎ ይችላል!

ውሂብን በመስሪያ ቦታ ውስጥ ማከማቸት፣በዚህም ማእከላዊ የሆነ ለሁሉም ተግባሮችህ በቀላሉ ለመድረስ የሚያስችል ማከማቻ መፍጠር ትችላለህ። በተጨማሪም፣ ከ Visual Studio Code ይልቅ ኤፒአይን በመጠቀም ሙከራዎችን ማሄድ ትችላለህ - ይህ በተለይ የሃይፐርፓራሜትር ማመቻቸትን ማከናወን ካለብህ እና ስክሪፕቱን በተለያዩ መለኪያዎች ብዙ ጊዜ ማስኬድ ካለብህ ጠቃሚ ሊሆን ይችላል። ከዚህም በላይ ልዩ ቴክኖሎጂ በ Azure ML ውስጥ ተገንብቷል ሃይፐር ድራይቭ, ይህም የበለጠ የተራቀቀ ፍለጋ እና የሃይፐርፓራሜትሮችን ማመቻቸት ያስችላል. በሚቀጥለው ጽሑፌ ስለእነዚህ አማራጮች እናገራለሁ.

ጠቃሚ ሀብቶች

ስለ Azure ML የበለጠ ለማወቅ የሚከተሉትን የማይክሮሶፍት ተማር ኮርሶች ጠቃሚ ሆነው ሊያገኟቸው ይችላሉ።

• የ Azure ML አገልግሎት መግቢያ
• በ Azure ML አገልግሎት የ AI መፍትሄዎችን ይገንቡ
• Azure ML አገልግሎትን በመጠቀም የአካባቢ ሞዴልን አሰልጥኑ

ምንጭ: hab.com