פאבל קלמנקוב, NVIDIA: אנחנו מנסים לצמצם את הפער בין מה שמדען נתונים יכול לעשות לבין מה שהוא צריך להיות מסוגל לעשות

החלה הקבלה השנייה של תלמידי התכנית לתואר שני במדעי נתונים ובינה עסקית אוזון מאסטרס - וכדי להקל על ההחלטה להשאיר בקשה ולגשת למבחן המקוון, שאלנו את מורי התכנית למה לצפות מלימודים ועבודה עם נתונים.

מדען נתונים ראשי NVIDIA ומורה קורסים בנושא ביג דאטה והנדסת נתונים פאבל קלמנקוב דיבר על מדוע מתמטיקאים צריכים לכתוב קוד וללמוד ב-Ozon Masters במשך שנתיים.

— האם יש חברות רבות שמשתמשות באלגוריתמים של מדעי הנתונים?

- בעצם די הרבה. לא מעט חברות גדולות שיש להן נתונים גדולים באמת מתחילות לעבוד איתו ביעילות או שעובדות איתה כבר זמן רב. ברור שחצי מהשוק משתמש בנתונים שיכולים להתאים לגיליון אקסל או שניתן לחשב אותם על שרת גדול, אבל אי אפשר לומר שיש רק כמה עסקים שיכולים לעבוד עם נתונים.

- ספר לנו קצת על הפרויקטים שבהם נעשה שימוש במדעי הנתונים.

- לדוגמה, במהלך העבודה ברמבלר, יצרנו מערכת פרסום שעבדה על עקרונות ה-RTB (Real Time Bidding) - היינו צריכים לבנות מודלים רבים שיייעלו את רכישת הפרסום או, למשל, יוכלו לחזות את ההסתברות של קליק, המרה וכן הלאה. במקביל, מכירה פומבית של פרסום מייצרת נתונים רבים: יומנים של בקשות אתר לרוכשי פרסום פוטנציאליים, יומנים של הופעות פרסומות, יומנים של קליקים - מדובר בעשרות טרה-בייט של נתונים ביום.

יתרה מכך, עבור המשימות הללו צפינו בתופעה מעניינת: ככל שאתה נותן יותר נתונים כדי לאמן את המודל, כך איכותו גבוהה יותר. בדרך כלל, לאחר כמות נתונים מסוימת, איכות התחזית מפסיקה להשתפר, וכדי לשפר עוד יותר את הדיוק צריך להשתמש במודל שונה מהותית, בגישה שונה להכנת נתונים, תכונות וכדומה. כאן העלינו עוד נתונים והאיכות עלתה.

זהו מקרה טיפוסי שבו אנליסטים נאלצו, ראשית, לעבוד עם מערכי נתונים גדולים על מנת לערוך לפחות ניסוי, ושבו אי אפשר היה להסתדר עם מדגם קטן שמתאים למקבוק נעים. יחד עם זאת, היינו צריכים דגמים מבוזרים, כי אחרת לא ניתן היה להכשיר אותם. עם כניסתה של ראייה ממוחשבת לייצור, דוגמאות כאלה הופכות נפוצות יותר, שכן תמונות הן כמות גדולה של נתונים, וכדי להכשיר מודל גדול יש צורך במיליוני תמונות.

מיד עולה השאלה: איך לאחסן את כל המידע הזה, איך לעבד אותו ביעילות, איך להשתמש באלגוריתמי למידה מבוזרים - הפוקוס עובר ממתמטיקה טהורה להנדסה. גם אם אתה לא כותב קוד בהפקה, אתה צריך להיות מסוגל לעבוד עם כלים הנדסיים כדי לבצע ניסוי.

- כיצד השתנתה הגישה למשרות פנויות במדעי הנתונים בשנים האחרונות?

- ביג דאטה הפסיק להיות הייפ והפך למציאות. כוננים קשיחים די זולים, מה שאומר שאפשר לאסוף את כל הנתונים כך שבעתיד יהיה מספיק כדי לבדוק השערות כלשהן. כתוצאה מכך, הידע בכלים לעבודה עם ביג דאטה הופך לפופולרי מאוד, וכתוצאה מכך צצים יותר ויותר משרות פנויות למהנדסי נתונים.

להבנתי, התוצאה של עבודתו של מדען נתונים היא לא ניסוי, אלא מוצר שהגיע לייצור. ורק מנקודת מבט זו, לפני הופעת ההייפ סביב ביג דאטה, התהליך היה פשוט יותר: מהנדסים עסקו בלמידת מכונה כדי לפתור בעיות ספציפיות, ולא היו בעיות בהבאת האלגוריתמים לייצור.

- מה צריך כדי להישאר מומחה מבוקש?

- עכשיו הגיעו אנשים רבים למדעי הנתונים שלמדו מתמטיקה, תורת למידת מכונה, והשתתפו בתחרויות ניתוח נתונים, שבהן ניתנת תשתית מוכנה: הנתונים מנוקים, המדדים מוגדרים, ואין הדרישות כדי שהפתרון יהיה ניתן לשחזור ומהיר.

כתוצאה מכך, חבר'ה מגיעים לעבודה לא מוכנים למציאות העסקית, ונוצר פער בין מתחילים למפתחים מנוסים.

עם הפיתוח של כלים המאפשרים לך להרכיב מודל משלך ממודולים מוכנים - ולמיקרוסופט, גוגל ורבים אחרים כבר יש פתרונות כאלה - והאוטומציה של למידת מכונה, הפער הזה ילך ויתבטא עוד יותר. בעתיד, המקצוע ידרוש חוקרים רציניים שימציא אלגוריתמים חדשים, ועובדים בעלי כישורי הנדסה מפותחים שיטמיעו מודלים ויהפכו תהליכים לאוטומטיים. קורס אוזון מאסטרס בהנדסת נתונים נועד לפתח מיומנויות הנדסיות ויכולת להשתמש באלגוריתמים של למידת מכונה מבוזרת על ביג דאטה. אנחנו מנסים לצמצם את הפער בין מה שמדען נתונים יכול לעשות לבין מה שהוא צריך להיות מסוגל לעשות בפועל.

- למה למתמטיקאי עם דיפלומה צריך ללכת ללמוד עסקים?

- קהילת מדעי הנתונים הרוסית הבינה שמיומנות וניסיון מומרים מהר מאוד לכסף, לכן, ברגע שלמומחה יש ניסיון מעשי, העלות שלו מתחילה לגדול מהר מאוד, האנשים המיומנים ביותר יקרים מאוד - וזה נכון ברגע הנוכחי של שוק הפיתוח.

חלק גדול מתפקידו של מדען נתונים הוא להיכנס לנתונים, להבין מה מסתתר שם, להתייעץ עם האנשים שאחראים על התהליכים העסקיים ולהפיק את הנתונים האלה - ורק אז להשתמש בהם לבניית מודלים. כדי להתחיל לעבוד עם ביג דאטה, חשוב ביותר להיות בעלי מיומנויות הנדסיות - זה מקל הרבה יותר להימנע מפינות חדות, מהן יש רבות במדעי הנתונים.

סיפור טיפוסי: כתבת שאילתה ב-SQL שמבוצעת באמצעות מסגרת Hive הפועלת על נתונים גדולים. הבקשה מעובדת תוך עשר דקות, במקרה הגרוע ביותר - תוך שעה או שעתיים, ולעתים קרובות, כשאתה מקבל הורדות של הנתונים האלה, אתה מבין ששכחת לקחת בחשבון גורם כלשהו או מידע נוסף. עליך לשלוח שוב את הבקשה ולהמתין דקות ושעות אלה. אם אתה גאון יעילות, תיקח על משימה אחרת, אבל כפי שמראה בפועל, יש לנו מעט גאוני יעילות, ואנשים רק מחכים. לכן, בקורסים נקדיש זמן רב ליעילות בעבודה על מנת לכתוב בהתחלה שאילתות שעובדות לא שעתיים אלא מספר דקות. מיומנות זו מכפילה את הפרודוקטיביות, ואיתה את הערך של מומחה.

- במה שונה אוזון מאסטרס מקורסים אחרים?

— אוזון מאסטרס נלמד על ידי עובדי אוזון, והמשימות מבוססות על מקרים עסקיים אמיתיים שנפתרים בחברות. למעשה, מלבד היעדר כישורים הנדסיים, לאדם שלמד מדעי נתונים באוניברסיטה יש בעיה נוספת: המשימה של עסק מנוסחת בשפת העסקים, ומטרתה די פשוטה: להרוויח יותר כסף. ומתמטיקאי יודע היטב איך לייעל מדדים מתמטיים - אבל קשה למצוא אינדיקטור שיתאם עם מדד עסקי. ואתם צריכים להבין שאתם פותרים בעיה עסקית, ויחד עם העסק לגבש מדדים שניתן לבצע אופטימיזציה מתמטית. מיומנות זו נרכשת באמצעות מקרים אמיתיים, והם ניתנים על ידי אוזון.
וגם אם נתעלם מהמקרים, בית הספר נלמד על ידי מתרגלים רבים שפותרים בעיות עסקיות בחברות אמיתיות. כתוצאה מכך, הגישה להוראה עצמה עדיין מכוונת יותר לתרגול. לפחות בקורס שלי אנסה להעביר את המיקוד לאופן השימוש בכלים, אילו גישות קיימות וכו'. יחד עם התלמידים נבין שלכל משימה יש את הכלי שלה, ולכל כלי יש את תחום היישום שלו.

- תוכנית ההכשרה המפורסמת ביותר לניתוח נתונים, כמובן, היא ShAD - מה בדיוק ההבדל ממנה?

— ברור ש-SHAD ו-Ozon Masters, בנוסף לתפקיד החינוכי, פותרים את הבעיה המקומית של הכשרת כוח אדם. בוגרי SHAD מובילים מגויסים בעיקר ל-Yandex, אבל הקאץ' הוא של-Yandex, בשל הספציפיות שלה - והיא גדולה ונוצרה כשהיו מעט כלים טובים לעבודה עם ביג דאטה - יש תשתית וכלים משלה לעבודה עם דאטה. , כלומר, תצטרך לשלוט בהם. לאוזון מאסטרס יש מסר אחר - אם שלטת בהצלחה בתוכנית ואוזון או אחת מ-99% מהחברות האחרות מזמינה אותך לעבוד, יהיה הרבה יותר קל להתחיל להועיל לעסק; מערך המיומנויות שנרכש במסגרת Ozon Masters יספיק רק כדי להתחיל לעבוד.

- הקורס נמשך שנתיים. למה אתה צריך להשקיע כל כך הרבה זמן על זה?

- שאלה טובה. זה לוקח הרבה זמן, כי מבחינת תוכן ורמת המורים, מדובר בתכנית מאסטר אינטגרלית שדורשת הרבה זמן לשלוט, כולל שיעורי בית.

מנקודת המבט שלי בקורס, ציפייה מסטודנט להשקיע 2-3 שעות בשבוע על מטלות היא נפוצה. ראשית, משימות מבוצעות על אשכול הדרכה, וכל אשכול משותף מרמז שמספר אנשים משתמשים בו בו זמנית. כלומר, תצטרך להמתין עד שהמשימה תתחיל לבצע; ייתכן שחלק מהמשאבים ייבחרו ויועברו לתור בעדיפות גבוהה יותר. מצד שני, כל עבודה עם ביג דאטה לוקחת המון זמן.

אם יש לך שאלות נוספות על התוכנית, עבודה עם נתונים גדולים או מיומנויות הנדסיות, Ozon Masters מקיים יום פתוח מקוון ביום שבת, 25 באפריל בשעה 12:00. אנחנו נפגשים עם מורים ותלמידים ב זום ו - YouTube.

מקור: www.habr.com