איך להתגבר על פחד ולהתחיל להשתמש ב-Azure Machine Learning

אני מכיר הרבה מדעני נתונים - וכנראה שאני בעצמי אחד מהם - שעובדים על מכונות GPU, מקומיות או וירטואליות, הממוקמות בענן, או דרך Jupyter Notebook או דרך איזושהי סביבת פיתוח של Python. כשעבדתי שנתיים כמפתח AI/ML מומחה, עשיתי בדיוק את זה, תוך כדי הכנת נתונים על שרת או תחנת עבודה רגילה, והרצת הדרכה על מכונה וירטואלית עם GPU ב-Azure.

כמובן שכולנו שמענו על למידת מכונה בתכלת - פלטפורמת ענן מיוחדת ללמידת מכונה. עם זאת, לאחר מבט ראשון על מאמרי מבוא, נראה ש-Azure ML תיצור עבורך יותר בעיות ממה שהיא פותרת. לדוגמה, במדריך שהוזכר לעיל, אימון על Azure ML מופעל ממחברת Jupyter, בעוד שסקריפט האימון עצמו מוצע להיווצר ולערוך כקובץ טקסט באחד התאים - תוך שהוא לא משתמש בהשלמה אוטומטית, תחביר הדגשה ויתרונות נוספים של סביבת פיתוח רגילה. מסיבה זו, לא השתמשנו ברצינות ב- Azure ML בעבודה שלנו במשך זמן רב.

עם זאת, לאחרונה גיליתי דרך להתחיל להשתמש ביעילות ב-Azure ML בעבודה שלי! מתעניינים בפרטים?

הסוד העיקרי הוא הרחבת Visual Studio Code עבור Azure ML. זה מאפשר לך לפתח סקריפטים להדרכה ישירות ב-VS Code, תוך ניצול מלא של הסביבה - ואפילו תוכל להריץ את הסקריפט באופן מקומי ואז פשוט לשלוח אותו לאימון באשכול Azure ML בכמה קליקים. נוח, לא?

בכך, אתה מקבל את היתרונות הבאים מהשימוש ב-Azure ML:

• אתה יכול לעבוד רוב הזמן באופן מקומי על המחשב שלך ב-IDE נוח, ו השתמש ב-GPU רק לאימון מודלים. במקביל, מאגר משאבי ההדרכה יכול להתאים אוטומטית לעומס הנדרש, ועל ידי הגדרת מספר הצמתים המינימלי ל-0, ניתן להפעיל אוטומטית את המכונה הוירטואלית "על פי דרישה" בנוכחות משימות הדרכה.
• אתה יכול לאחסן את כל תוצרי הלמידה במקום אחד, כולל המדדים שהושגו והמודלים המתקבלים - אין צורך לבוא עם איזושהי מערכת או סדר לאחסן את כל התוצאות.
• במקרה זה, כמה אנשים יכולים לעבוד על אותו פרויקט - הם יכולים להשתמש באותו אשכול מחשוב, כל הניסויים יעמדו בתור, והם יכולים גם לראות את התוצאות של הניסויים אחד של השני. תרחיש אחד כזה הוא שימוש ב-Azure ML בהוראת למידה עמוקהכאשר במקום לתת לכל תלמיד מכונה וירטואלית עם GPU, אתה יכול ליצור אשכול אחד שישמש את כולם באופן מרכזי. בנוסף, טבלת תוצאות כללית עם דיוק מודל יכולה לשמש מרכיב תחרותי טוב.
• עם Azure ML, אתה יכול בקלות לבצע סדרה של ניסויים, למשל, עבור אופטימיזציה של היפרפרמטרים - ניתן לעשות זאת עם כמה שורות קוד, אין צורך לבצע סדרה של ניסויים באופן ידני.

אני מקווה ששכנעתי אותך לנסות את Azure ML! הנה איך להתחיל:

• ודא שהתקנת קוד Visual Studio, כמו גם הרחבות Azure כניסה и תכלת ML
• שכפל את המאגר https://github.com/CloudAdvocacy/AzureMLStarter - הוא מכיל קוד הדגמה כלשהו לאימון מודל זיהוי ספרות בכתב יד במערך הנתונים של MNIST.
• פתח את המאגר המשובט ב-Visual Studio Code.
• תמשיך לקרוא!

Azure ML Workspace ו-Azure ML Portal

Azure ML מאורגן סביב הרעיון אזור עבודה - חלל עבודה. ניתן לאחסן נתונים במרחב העבודה, לשלוח אליו ניסויים להדרכה, גם שם נשמרות תוצאות האימון - המדדים והמודלים המתקבלים. אתה יכול לראות מה יש בתוך סביבת העבודה דרך פורטל Azure ML - ומשם ניתן לבצע פעולות רבות, החל מטעינת נתונים ועד לניטור ניסויים ופריסה של מודלים.

ניתן ליצור סביבת עבודה דרך ממשק האינטרנט פורטל תכלת (ראה הוראות צעד אחר צעד), או באמצעות שורת הפקודה Azure CLI (הוראות):

az extension add -n azure-cli-ml
az group create -n myazml -l northeurope
az ml workspace create -w myworkspace -g myazml

כמו כן, משויכים למרחב העבודה כמה משאבי מחשוב (לחשב). לאחר שיצרת תסריט לאימון המודל, תוכל לשלוח ניסוי לביצוע לסביבת העבודה, וציין לחשב יעד - במקרה זה, הסקריפט ייארז, יופעל בסביבת המחשוב הרצויה, ולאחר מכן כל תוצאות הניסוי יישמרו בסביבת העבודה להמשך ניתוח ושימוש.

תסריט למידה עבור MNIST

שקול את הבעיה הקלאסית זיהוי ספרות בכתב יד באמצעות מערך הנתונים של MNIST. באופן דומה, בעתיד, תוכל להריץ כל אחד מסקריפטי ההדרכה שלך.

יש סקריפט במאגר שלנו train_local.py, שאנו מאמנים את מודל הרגרסיה הליניארית הפשוטה ביותר באמצעות ספריית SkLearn. כמובן, אני מבין שזו לא הדרך הטובה ביותר לפתור את הבעיה - אנחנו משתמשים בה כדוגמה, כקלה ביותר.

הסקריפט מוריד תחילה את נתוני ה-MNIST מ-OpenML ולאחר מכן משתמש במחלקה LogisticRegression כדי לאמן את המודל, ולאחר מכן להדפיס את הדיוק המתקבל:

mnist = fetch_openml('mnist_784')
mnist['target'] = np.array([int(x) for x in mnist['target']])

shuffle_index = np.random.permutation(len(mist['data']))
X, y = mnist['data'][shuffle_index], mnist['target'][shuffle_index]

X_train, X_test, y_train, y_test = 
  train_test_split(X, y, test_size = 0.3, random_state = 42)

lr = LogisticRegression()
lr.fit(X_train, y_train)
y_hat = lr.predict(X_test)
acc = np.average(np.int32(y_hat == y_test))

print('Overall accuracy:', acc)

אתה יכול להריץ את הסקריפט במחשב שלך ולקבל את התוצאה תוך מספר שניות.

הפעל את הסקריפט ב-Azure ML

אם נריץ את סקריפט האימון דרך Azure ML, יהיו לנו שני יתרונות עיקריים:

• הפעלת הדרכה על משאב מחשוב שרירותי, אשר, ככלל, פרודוקטיבי יותר מהמחשב המקומי. במקביל, Azure ML עצמה תדאג לארוז את הסקריפט שלנו עם כל הקבצים מהספרייה הנוכחית לתוך קונטיינר docker, להתקין את התלות הנדרשת ולשלוח אותו לביצוע.
• כתוב תוצאות לרישום יחיד בתוך סביבת עבודה של Azure ML. כדי לנצל את התכונה הזו, עלינו להוסיף כמה שורות קוד לסקריפט שלנו כדי לתעד את הדיוק המתקבל:

from azureml.core.run import Run
...
try:    
    run = Run.get_submitted_run()
    run.log('accuracy', acc)
except:
    pass

הגרסה המתאימה של התסריט נקראת train_universal.py (זה קצת יותר ערמומי ממה שכתוב למעלה, אבל לא הרבה). ניתן להריץ סקריפט זה הן מקומית והן על משאב מחשוב מרוחק.

כדי להפעיל אותו ב-Azure ML מקוד VS, עליך לבצע את הפעולות הבאות:

1. ודא שהרחבה של Azure מחוברת למנוי שלך. בחר בסמל Azure מהתפריט בצד שמאל. אם אינך מחובר, תופיע התראה בפינה הימנית התחתונה (ככה), על ידי לחיצה עליו תוכל להיכנס דרך הדפדפן. אתה יכול גם ללחוץ Ctrl-Shift-P כדי לקרוא לשורת הפקודה VS Code, והקלד Azure כניסה.

2. לאחר מכן, בקטע Azure (סמל בצד שמאל), מצא את הקטע למידת מכונה:

כאן אתה אמור לראות קבוצות שונות של אובייקטים בתוך סביבת העבודה: משאבי מחשוב, ניסויים וכו'.

1. עבור לרשימת הקבצים, לחץ לחיצה ימנית על הסקריפט train_universal.py ובחר Azure ML: הפעל כניסוי ב-Azure.

1. לאחר מכן תופיע סדרה של דיאלוגים באזור שורת הפקודה של VS Code: אשר את המנוי ואת סביבת העבודה של Azure ML שבה אתה משתמש, ובחר צור ניסוי חדש:

1. בחר ליצור משאב מחשוב חדש צור מחשב חדש:

   • לחשב קובע את משאב המחשוב שעליו יתקיים ההדרכה. אתה יכול לבחור מחשב מקומי, או אשכול ענן של AmlCompute. אני ממליץ ליצור אשכול מכונות שניתן להרחבה STANDARD_DS3_v2, עם מספר מינימלי של מכונות של 0 (ומקסימום של 1 או יותר, תלוי בתאבון שלך). ניתן לעשות זאת דרך ממשק VS Code, או בעבר דרך פורטל ML.

   

2. לאחר מכן, עליך לבחור תצורה תצורת מחשב, המגדיר את הפרמטרים של המיכל שנוצר להדרכה, בפרט, את כל הספריות הדרושות. במקרה שלנו, מכיוון שאנו משתמשים ב-Scikit Learn, אנו בוחרים SkLearn, ולאחר מכן פשוט אשר את רשימת הספריות המוצעת על ידי הקשה על Enter. אם אתה משתמש בספריות נוספות, יש לציין אותן כאן.

   
   

3. זה יפתח חלון עם קובץ JSON שמתאר את הניסוי. בו, אתה יכול לתקן כמה פרמטרים - למשל, שם הניסוי. לאחר מכן לחץ על הקישור שלח ניסוי ממש בתוך הקובץ הזה:

1. לאחר הגשת ניסוי בהצלחה דרך VS Code, בצד ימין של אזור ההודעות, תראה קישור אל Azure ML Portal, שבו תוכל לעקוב אחר הסטטוס והתוצאות של הניסוי.

לאחר מכן, אתה תמיד יכול למצוא אותו במדור ניסויים Azure ML Portal, או במדור למידת מכונה בתכלת ברשימת הניסויים:

1. אם לאחר מכן ביצעת כמה תיקונים בקוד או שינית את הפרמטרים, ההפעלה מחדש של הניסוי תהיה הרבה יותר מהירה וקלה. על ידי לחיצה ימנית על קובץ, תראה פריט תפריט חדש חזור על הריצה האחרונה - פשוט בחר אותו, והניסוי יתחיל מיד:

אתה תמיד יכול למצוא את התוצאות של מדדים מכל ההשקות ב-Azure ML Portal, אין צורך לרשום אותם.

עכשיו אתה יודע שהפעלת ניסויים עם Azure ML היא פשוטה וללא כאבים, ואתה מקבל מספר יתרונות נחמדים בכך.

אבל אתה יכול לראות גם את החסרונות. לדוגמה, לקח הרבה יותר זמן להפעיל את הסקריפט. כמובן, אריזת הסקריפט בקונטיינר ופריסה שלו בשרת לוקחת זמן. אם במקביל האשכול נחתך לגודל של 0 צמתים, ייקח עוד יותר זמן להפעיל את המכונה הוירטואלית, וכל זה בולט מאוד כשאנחנו מתנסים במשימות פשוטות כמו MNIST, שנפתרות תוך כמה שניות . עם זאת, בחיים האמיתיים, כאשר האימון נמשך מספר שעות, או אפילו ימים או שבועות, הזמן הנוסף הזה הופך לחסר חשיבות, במיוחד על רקע הביצועים הגבוהים הרבה יותר שאשכול מחשוב יכול לספק.

מה הלאה?

אני מקווה שלאחר קריאת מאמר זה, תוכל ותשתמש ב-Azure ML בעבודתך כדי להפעיל סקריפטים, לנהל משאבי מחשוב ולאחסן תוצאות באופן מרכזי. עם זאת, Azure ML יכול לתת לך אפילו יותר יתרונות!

בתוך סביבת העבודה, אתה יכול לאחסן נתונים, ובכך ליצור מאגר מרכזי עבור כל המשימות שלך, שקל לגשת אליו. בנוסף, אתה יכול להריץ ניסויים לא מ-Visual Studio Code, אלא באמצעות ה-API - זה יכול להיות שימושי במיוחד אם אתה צריך לבצע אופטימיזציה של היפרפרמטרים וצריך להריץ את הסקריפט פעמים רבות עם פרמטרים שונים. יתרה מכך, טכנולוגיה מיוחדת מובנית ב-Azure ML היפר דרייב, המאפשר לך לבצע חיפוש מסובך יותר ואופטימיזציה של היפרפרמטרים. על האפשרויות הללו אדבר בפוסט הבא שלי.

משאבים מועילים

למידע נוסף על Azure ML, ייתכן שהקורסים הבאים של Microsoft Learn מועילים:

• מבוא לשירות Azure ML
• בניית פתרונות AI עם Azure ML Service
• אימון דגם מקומי עם Azure ML Service

מקור: www.habr.com