תוכנית תושבי Yandex, או כיצד Backender מנוסה יכול להפוך למהנדס ML

Yandex פותחת תוכנית רזידנסי למידת מכונה עבור מפתחי backend מנוסים. אם כתבת הרבה ב-C++/Python וברצונך ליישם את הידע הזה ב-ML, אז נלמד אותך איך לעשות מחקר מעשי ולספק מנטורים מנוסים. אתה תעבוד על שירותי מפתח של Yandex ותרכוש מיומנויות בתחומים כמו מודלים ליניאריים והגברת שיפוע, מערכות המלצות, רשתות עצביות לניתוח תמונות, טקסט וקול. תלמד גם כיצד להעריך נכון את המודלים שלך באמצעות מדדים במצב לא מקוון ומקוון.

משך התוכנית הוא שנה אחת, במהלכה יעבדו המשתתפים במחלקת מודיעין ומחקר של מכונה של Yandex, וכן ישתתפו בהרצאות וסמינרים. ההשתתפות בתשלום וכרוכה בעבודה מלאה: 40 שעות שבועיות, החל מה-1 ביולי השנה. בקשות פתוחות כעת ויימשך עד 1 במאי. 

ועכשיו ביתר פירוט - על איזה קהל אנחנו מחכים, מה יהיה תהליך העבודה ובכלל, איך מומחה אחורי יכול לעבור לקריירה ב-ML.

Directivity

לחברות רבות יש תוכניות רזידנסי, כולל, למשל, גוגל ופייסבוק. הם מכוונים בעיקר למומחים זוטרים ובינוניים המנסים לעשות צעד לקראת מחקר ML. התוכנית שלנו מיועדת לקהל אחר. אנו מזמינים מפתחי backend שכבר צברו מספיק ניסיון ויודעים בוודאות שביכולותיהם הם צריכים לעבור לכיוון ML, לרכוש מיומנויות מעשיות - ולא כישורים של מדען - בפתרון בעיות למידת מכונה תעשייתית. זה לא אומר שאנחנו לא תומכים בחוקרים צעירים. ארגנו עבורם תוכנית נפרדת - פּרֶמיָה על שם איליה סגלוביץ', המאפשר גם לעבוד ב-Yandex.

היכן יעבוד התושב?

במחלקה למודיעין ומחקר מכונות, אנו בעצמנו מפתחים רעיונות לפרויקטים. מקור ההשראה העיקרי הוא ספרות מדעית, מאמרים ומגמות בקהילת המחקר. עמיתיי ואני מנתחים את מה שאנחנו קוראים, בוחנים איך אנחנו יכולים לשפר או להרחיב את השיטות המוצעות על ידי מדענים. יחד עם זאת, כל אחד מאתנו לוקח בחשבון את תחום הידע והתחומי עניין שלו, מגבש את המשימה על סמך התחומים הנחשבים לו חשובים. הרעיון לפרויקט נולד בדרך כלל במפגש בין תוצאות המחקר החיצוני לבין היכולות של האדם עצמו.

מערכת זו טובה כי היא פותרת במידה רבה את הבעיות הטכנולוגיות של שירותי Yandex עוד לפני שהן צצות. כאשר שירות נתקל בבעיה, נציגיו מגיעים אלינו, ככל הנראה לקחת את הטכנולוגיות שכבר הכנו, אשר כל שנותר הוא ליישם נכון במוצר. אם משהו לא מוכן, לפחות נזכור מהר איפה אנחנו יכולים "להתחיל לחפור" ובאילו מאמרים לחפש פתרון. כידוע, הגישה המדעית היא לעמוד על כתפי ענקים.

מה לעשות

ב-Yandex - ואפילו באופן ספציפי בהנהלה שלנו - כל התחומים הרלוונטיים של ML מפותחים. המטרה שלנו היא לשפר את האיכות של מגוון רחב של מוצרים, וזה משמש כתמריץ לבדוק כל דבר חדש. בנוסף, שירותים חדשים מופיעים באופן קבוע. אז תוכנית ההרצאות מכילה את כל תחומי המפתח (המוכחים היטב) של למידת מכונה בפיתוח תעשייתי. בהרכבת חלקי בקורס, השתמשתי בניסיון ההוראה שלי בבית הספר לניתוח נתונים, כמו גם בחומרים ובעבודה של מורי SHAD אחרים. אני יודע שגם עמיתיי עשו את אותו הדבר.

בחודשים הראשונים ההכשרה על פי תכנית הקורס תהווה כ-30% מזמן העבודה שלך, לאחר מכן כ-10%. עם זאת, חשוב להבין שהעבודה עם דגמי ה-ML עצמם תמשיך לקחת בערך פי ארבעה פחות מכל התהליכים הקשורים. אלה כוללים הכנת ה-backend, קבלת נתונים, כתיבת צינור לעיבוד מקדים שלו, אופטימיזציה של קוד, התאמה לחומרה ספציפית וכו'. מהנדס ML הוא, אם תרצה, מפתח מלא (רק עם דגש גדול יותר על למידת מכונה) , מסוגל לפתור בעיה מההתחלה ועד הסוף. גם עם מודל מוכן, סביר להניח שתצטרכו לבצע עוד מספר פעולות: להקביל את הביצוע שלו על פני מספר מכונות, להכין יישום בצורת ידית, ספרייה או רכיבים של השירות עצמו.

בחירת תלמיד
אם התרשמתם שעדיף להיות מהנדס ML על ידי עבודה תחילה כמפתח backend, זה לא נכון. להירשם לאותו ה-SHAD ללא ניסיון אמיתי בפיתוח שירותים, למידה והפיכתם למבוקש ביותר בשוק היא אפשרות מצוינת. מומחי Yandex רבים הגיעו בדרך זו לתפקידיהם הנוכחיים. אם חברה כלשהי מוכנה להציע לך עבודה בתחום ה-ML מיד לאחר סיום הלימודים, כנראה שגם אתה צריך לקבל את ההצעה. נסו להיכנס לצוות טוב עם מנטור מנוסה והתכוננו ללמוד הרבה.

מה בדרך כלל מונע ממך לעשות ML?

אם backender שואף להיות מהנדס ML, הוא יכול לבחור בין שני תחומי פיתוח - מבלי לקחת בחשבון את תוכנית הרזידנסי.

ראשית, למד כחלק מקורס חינוכי כלשהו. השיעורים Coursera יקרב אתכם להבנת הטכניקות הבסיסיות, אבל כדי לשקוע במקצוע במידה מספקת, צריך להקדיש לו הרבה יותר זמן. לדוגמה, בוגר ShAD. במהלך השנים, ל-SHAD היה מספר שונה של קורסים ישירות על למידת מכונה - בממוצע, כשמונה. כל אחד מהם באמת חשוב ושימושי, כולל לדעת הבוגרים. 

שנית, אתה יכול לקחת חלק בפרויקטים קרביים שבהם אתה צריך ליישם אלגוריתם ML כזה או אחר. עם זאת, יש מעט מאוד פרויקטים כאלה בשוק פיתוח ה-IT: למידת מכונה אינה משמשת ברוב המשימות. אפילו בבנקים הבודקים באופן פעיל הזדמנויות הקשורות ל-ML, רק מעטים עוסקים בניתוח נתונים. אם לא הצלחתם להצטרף לאחד מהצוותים הללו, האפשרות היחידה שלכם היא להתחיל פרויקט משלכם (שם, סביר להניח, תקבעו מועדים משלכם, וזה לא קשור למשימות ייצור קרבי), או להתחיל להתחרות על קגל.

אכן, חבר עם חברי קהילה אחרים ונסה את עצמך בתחרויות קל יחסית - במיוחד אם אתה מגבה את כישוריך בהכשרה ובקורסים שהוזכרו ב-Coursera. לכל תחרות יש דדליין - היא תשמש עבורכם תמריץ ותכין אתכם למערכת דומה בחברות IT. זו דרך טובה - שעם זאת, גם קצת מנותקת מתהליכים אמיתיים. ב-Kaggle מקבלים נתונים מעובדים מראש, אם כי לא תמיד מושלמים; אל תציעו לחשוב על התרומה למוצר; והכי חשוב, הם אינם דורשים פתרונות המתאימים לייצור. סביר להניח שהאלגוריתמים שלך יעבדו ויהיו מאוד מדויקים, אבל המודלים והקוד שלך יהיו כמו פרנקנשטיין שחוברו יחד מחלקים שונים - בפרויקט ייצור, כל המבנה יעבוד לאט מדי, יהיה קשה לעדכן ולהרחיב (למשל, אלגוריתמי שפה וקול תמיד ישכתבו חלקית עם התפתחות השפה). חברות מעוניינות בכך שהעבודה הרשומה יכולה להיעשות לא רק על ידך בעצמך (ברור שאתה, כמחבר הפתרון, יכול לעשות זאת), אלא גם על ידי כל אחד מהקולגות שלך. נדון ההבדל בין ספורט לתכנות תעשייתי много, וקגל מחנך בדיוק "ספורטאים" - גם אם זה עושה את זה טוב מאוד, ומאפשר להם לצבור קצת ניסיון.

תיארתי שני קווי התפתחות אפשריים - אימון באמצעות תוכניות חינוכיות והכשרה "בלחימה", למשל על Kaggle. תכנית השהות היא שילוב של שתי השיטות הללו. מחכים לכם הרצאות וסמינרים ברמת ש.ד. כמו גם פרויקטים קרביים באמת.

מקור: www.habr.com