הכישורים המבוקשים ביותר במקצוע מהנדס נתונים

על פי סטטיסטיקה 2019, מהנדס נתונים הוא כיום מקצוע שהביקוש שלו גדל מהר יותר מכל מקצוע אחר. מהנדס נתונים ממלא תפקיד קריטי בארגון - יצירה ותחזוקה של צינורות ומסדי נתונים המשמשים לעיבוד, טרנספורמציה ואחסון נתונים. אילו כישורים צריכים קודם כל נציגי מקצוע זה? האם הרשימה שונה ממה שנדרש ממדעני נתונים? על כל זה תלמד מהמאמר שלי.

ניתחתי משרות פנויות לתפקיד מהנדס נתונים כפי שהם בינואר 2020 כדי להבין אילו מיומנויות טכנולוגיות הפופולריות ביותר. אחר כך השוויתי את התוצאות עם נתונים סטטיסטיים על משרות פנויות לתפקיד מדען נתונים - והופיעו כמה הבדלים מעניינים.

בלי הרבה הקדמה, להלן עשר הטכנולוגיות המובילות המוזכרות לרוב בפרסומי דרושים:

אזכור טכנולוגיות במשרות פנויות לתפקיד מהנדס נתונים בשנת 2020

בוא נעשה את זה נכון.

אחריות מהנדס נתונים

כיום יש חשיבות רבה לעבודה שמהנדסי נתונים עושים עבור ארגונים – אלו הם האנשים שאחראים על אחסון המידע והבאתו לצורה כזו שעובדים אחרים יוכלו לעבוד איתו. מהנדסי נתונים בונים צינורות להזרמת או אצווה של נתונים ממקורות מרובים. לאחר מכן, צינורות מבצעים פעולות חילוץ, טרנספורמציה וטעינה (במילים אחרות, תהליכי ETL), מה שהופך את הנתונים למתאים יותר לשימוש נוסף. לאחר מכן, הנתונים מועברים לאנליסטים ומדעני נתונים לעיבוד מעמיק יותר. לבסוף, הנתונים מסיימים את דרכם במרכזי מחוונים, דוחות ומודלים של למידת מכונה.

חיפשתי מידע שיאפשר לי להסיק מהן הטכנולוגיות המבוקשות ביותר בעבודתו של מהנדס נתונים כרגע.

שיטות

אספתי מידע משלושה אתרי חיפוש עבודה - פשוט, אכן и מִפלֶצֶת ובחן אילו מילות מפתח נתקלו בשילוב עם "מהנדס נתונים" בטקסטים של משרות פנויות המיועדות לתושבי ארה"ב. למשימה זו השתמשתי בשתי ספריות Python - בקשות и מרק יפה. בין מילות המפתח כללתי הן את אלו שנכללו ברשימה הקודמת לניתוח משרות פנויות לתפקיד מדען נתונים, והן את אלו שבחרתי ידנית תוך כדי קריאת הצעות עבודה למהנדסי נתונים. לינקדאין לא נכללה ברשימת המקורות, מכיוון שנאסרתי שם לאחר הניסיון האחרון שלי לאסוף נתונים.

עבור כל מילת מפתח חישבתי את אחוז הכניסות ממספר הטקסטים הכולל בכל אתר בנפרד, ולאחר מכן חישבתי את הממוצע עבור שלושת המקורות.

ממצאים

להלן שלושים המונחים של הנדסת נתונים טכניים עם הציונים הגבוהים ביותר בכל שלושת אתרי העבודה.

והנה אותם מספרים, אך מוצגים בצורת טבלה:

בוא נלך לפי הסדר.

סקירת תוצאות

גם SQL וגם Python מופיעים ביותר משני שלישים מהמשרות הנבדקות. שתי הטכנולוגיות הללו הן שהגיוניות ללמוד תחילה. פיתון היא שפת תכנות פופולרית מאוד המשמשת לעבודה עם נתונים, יצירת אתרים וכתיבת סקריפטים. SQL ראשי תיבות של Structured Query Language; הוא כולל תקן המיושם על ידי קבוצת שפות ומשמש לאחזור נתונים מבסיסי נתונים יחסיים. הוא הופיע לפני זמן רב והוכיח את עצמו כעמיד ביותר.

ספארק מוזכר בכמחצית מהמשרות הפנויות. אפאצ 'י ספארק הוא "מנוע ניתוח נתונים גדול מאוחד עם מודולים מובנים לסטרימינג, SQL, למידת מכונה ועיבוד גרפים." זה פופולרי במיוחד בקרב מי שעובד עם מסדי נתונים גדולים.

AWS מופיע בכ-45% ממשרות דרושים. זוהי פלטפורמת מחשוב ענן המיוצרת על ידי אמזון; יש לה את נתח השוק הגדול ביותר מבין כל פלטפורמות הענן.
בהמשך מגיעים Java ו-Hadoop - קצת יותר מ-40% לאחיהם. Java היא שפה מדוברת נרחבת, שנבחנת בקרב סקר מפתחי Stack Overflow 2019 זכה במקום העשירי מבין השפות שגורמות זוועה בקרב מתכנתים. לעומת זאת, פייתון הייתה השפה השנייה הכי אהובה. שפת Java מנוהלת על ידי Oracle, וכל מה שאתה צריך לדעת עליה ניתן להבין מצילום מסך זה של העמוד הרשמי מינואר 2020.

זה כמו לרכוב במכונת זמן
אפאצ'י חאופ משתמש במודל התכנות MapReduce עם אשכולות שרתים ל-Big Data. כעת המודל הזה נטוש יותר ויותר.

לאחר מכן אנו רואים את Hive, Scala, Kafka ו-NoSQL - כל אחת מהטכנולוגיות הללו מוזכרת ברבע מהמשרות הפנויות שהוגשו. Apache Hive היא תוכנת מחסן נתונים ש"מקלה על קריאה, כתיבה וניהול של מערכי נתונים גדולים השוכנים בחנויות מבוזרות באמצעות SQL." סולם – שפת תכנות שנמצאת בשימוש פעיל בעבודה עם נתונים גדולים. בפרט, ספארק נוצר בסקאלה. בדירוג השפות שחוששות כבר שהוזכר, סקאלה מדורגת במקום האחת עשרה. אפאצ'י קפקא – פלטפורמה מבוזרת לעיבוד הודעות סטרימינג. פופולרי מאוד כאמצעי להזרמת נתונים.

מסדי נתונים של NoSQL בניגוד ל-SQL. הם נבדלים בכך שהם לא יחסיים, לא מובנים וניתנים להרחבה אופקית. NoSQL צבר פופולריות מסוימת, אבל נראה שהטירוף לגישה, אפילו עד כדי נבואות שהיא תחליף את SQL כפרדיגמת האחסון השלטת, נגמר.

השוואה למונחים במשרות פנויות של מדעני נתונים

להלן שלושים מונחים טכנולוגיים הנפוצים ביותר בקרב מעסיקים בתחום מדעי הנתונים. השגתי רשימה זו באותו אופן כפי שתואר לעיל עבור הנדסת נתונים.

אזכורים של טכנולוגיה במשרות פנויות לתפקיד מדען נתונים ב-2020

אם מדברים על המספר הכולל, בהשוואה לגיוס שנחשב בעבר, היו 28% יותר משרות פנויות (12 לעומת 013). בואו נראה אילו טכנולוגיות פחות נפוצות במשרות פנויות עבור מדעני נתונים מאשר עבור מהנדסי נתונים.

פופולרי יותר בהנדסת נתונים

הגרף שלהלן מציג מילות מפתח עם הבדל ממוצע של יותר מ-10% או פחות מ-10%.

ההבדלים הגדולים ביותר בתדירות מילות המפתח בין מהנדס נתונים ומדען נתונים

AWS מציגה את העלייה המשמעותית ביותר: בהנדסת נתונים היא מופיעה ב-25% באופן קבוע יותר מאשר ב-Data Science (כ-45% ו-20% מסך המשרות הפנויות, בהתאמה). ההבדל מורגש!

לפניכם אותם נתונים במצגת מעט שונה - בגרף, התוצאות עבור אותה מילת מפתח במשרות הפנויות לתפקיד מהנדס נתונים ומדען נתונים ממוקמות זו לצד זו.

ההבדלים הגדולים ביותר בתדירות מילות המפתח בין מהנדס נתונים ומדען נתונים

הקפיצה הגדולה הבאה שציינתי הייתה ב-Spark - מהנדס נתונים צריך לעבוד לעתים קרובות עם ביג דאטה. קפקא גם עלה ב-20%, כלומר פי 15 כמעט בהשוואה לתוצאה עבור משרות פנויות של מדעני נתונים. העברת נתונים היא אחת מהאחריות המרכזיות של מהנדס נתונים. לבסוף, מספר האזכורים היה גבוה ב-XNUMX% בתחום הנדסת הנתונים עבור Java, NoSQL, Redshift, SQL ו-Hadoop.

פחות פופולרי בהנדסת נתונים

עכשיו בואו נראה אילו טכנולוגיות פחות פופולריות במשרות פנויות של מהנדס נתונים.
הירידה החדה ביותר בהשוואה למגזר מדעי הנתונים חלה בו R: שם הוא הופיע בכ-56% מהמשרות הפנויות, כאן - רק ב-17%. מרשימים. R היא שפת תכנות המועדפת על ידי מדענים וסטטיסטיקאים, והיא השפה השמינית הכי מפחידה בעולם.

SAS נמצא גם במשרות פנויות לתפקיד מהנדס נתונים בתדירות נמוכה משמעותית - ההבדל הוא 14%. SAS היא שפה קניינית המיועדת לעבודה עם נתונים סטטיסטיים ונתונים. נקודה מעניינת: אם לשפוט לפי התוצאות המחקר שלי על משרות פנויות עבור מדעני נתונים, הוא איבד הרבה קרקע לאחרונה - יותר מכל טכנולוגיה אחרת.

מבוקש הן בהנדסת נתונים והן במדעי הנתונים

יש לציין ששמונה מתוך עשרת העמדות הראשונות בשתי הסטים זהות. SQL, Python, Spark, AWS, Java, Hadoop, Hive ו-Scala נכנסו לעשירייה הראשונה הן בתעשיות הנדסת הנתונים והן בתעשיות מדעי הנתונים. בגרף למטה ניתן לראות את חמש עשרה הטכנולוגיות הפופולריות ביותר בקרב מעסיקי מהנדסי נתונים, ולצידן שיעור המשרות הפנויות שלהם עבור מדעני נתונים.

המלצות

אם אתה רוצה להיכנס להנדסת נתונים, הייתי ממליץ לך לשלוט בטכנולוגיות הבאות - אני מפרט אותן לפי סדר עדיפות משוער.

למד SQL. אני נוטה לכיוון PostgreSQL כי זה קוד פתוח, פופולרי מאוד בקהילה, ונמצא בשלב צמיחה. ניתן ללמוד כיצד להשתמש בשפה מהספר My Memorable SQL - גרסת הפיילוט שלו זמינה כאן.

מאסטר פייתון, גם אם לא ברמה הכי הארדקור. My Memorable Python תוכנן במיוחד למתחילים. ניתן לרכוש אותו ב אמזון בעברית, עותק אלקטרוני או פיזי, לבחירתך, או הורדה בפורמט pdf או epub באתר זה.

לאחר שתכיר את Python, המשך ל- pandas, ספריית Python המשמשת לניקוי ועיבוד נתונים. אם אתם שואפים לעבוד בחברה שדורשת יכולת כתיבה ב-Python (וזו רובם), אתם יכולים להיות בטוחים שידע בפנדות יונח כברירת מחדל. כרגע אני מסיים מדריך מבוא לעבודה עם פנדות - אתה יכול להירשםכדי לא לפספס את רגע השחרור.

מאסטר AWS. אם אתה רוצה להיות מהנדס נתונים, אתה לא יכול בלי פלטפורמת ענן במחסן, ו-AWS הוא הפופולרי שבהם. הקורסים עזרו לי מאוד אקדמיית לינוקסכאשר למדתי הנדסת נתונים ב-Google Cloud, אני חושב שיהיו להם גם חומרים טובים ב-AWS.

אם כבר השלמתם את כל הרשימה הזו וברצונכם לצמוח עוד יותר בעיני המעסיקים כמהנדס נתונים, אני מציע להוסיף את Apache Spark לעבודה עם ביג דאטה. למרות שהמחקר שלי על משרות פנויות של מדעני נתונים הראה ירידה בעניין, בקרב מהנדסי נתונים זה עדיין מופיע כמעט בכל מקום פנוי שני.

לבסוף

אני מקווה שמצאת את הסקירה הכללית הזו של הטכנולוגיות המבוקשות ביותר למהנדסי נתונים שימושית. אם אתה תוהה איך מסתדרות משרות אנליסטים, קרא מאמר אחר שלי. הנדסה שמחה!

מקור: www.habr.com