מי הם מהנדסי נתונים ואיך הופכים לכזה?

שוב שלום! הכותרת של המאמר מדברת בעד עצמה. לקראת תחילת הקורס מהנדס נתונים אנו מציעים לך להבין מי הם מהנדסי נתונים. יש הרבה קישורים שימושיים במאמר. קריאה שמחה.

מדריך פשוט כיצד לתפוס את גל הנדסת נתונים ולא לתת לו לגרור אותך לתהום.

נראה שכולם רוצים להיות מדעני נתונים בימים אלה. אבל מה עם הנדסת נתונים? בעיקרו של דבר, זהו סוג של הכלאה של מנתח נתונים ומדען נתונים; מהנדס נתונים אחראי בדרך כלל על ניהול זרימות עבודה, עיבוד צינורות ותהליכי ETL. בשל חשיבותן של פונקציות אלו, זהו כרגע עוד ז'רגון מקצועי פופולרי שצובר תאוצה באופן אקטיבי.

משכורות גבוהות וביקוש עצום הם רק חלק קטן ממה שהופך את המשרה הזו לאטרקטיבית במיוחד! אם אתה רוצה להצטרף לשורות הגיבורים, אף פעם לא מאוחר מדי להתחיל ללמוד. בפוסט הזה, אספתי את כל המידע הדרוש כדי לעזור לך לעשות את הצעדים הראשונים שלך.

אז בואו נתחיל!

מהי הנדסת נתונים?

בכנות, אין הסבר טוב מזה:

"מדען יכול לגלות כוכב חדש, אבל הוא לא יכול ליצור אחד. הוא יצטרך לבקש ממהנדס שיעשה את זה בשבילו".

-גורדון לינדזי גלג

לפיכך, תפקידו של מהנדס נתונים הוא די משמעותי.

כפי שהשם מרמז, הנדסת נתונים עוסקת בנתונים, כלומר מסירה, אחסון ועיבוד שלהם. בהתאם לכך, המשימה העיקרית של המהנדסים היא לספק תשתית אמינה לנתונים. אם נסתכל על היררכיית ה-AI של הצרכים, הנדסת נתונים תופסת את 2-3 השלבים הראשונים: איסוף, תנועה ואחסון, הכנת נתונים.

מה עושה מהנדס נתונים?

עם הופעת הביג דאטה, היקף האחריות השתנה באופן דרמטי. אם בעבר מומחים אלו כתבו שאילתות SQL גדולות ונתונים מזוקקים באמצעות כלים כגון Informatica ETL, Pentaho ETL, Talend, כעת הדרישות למהנדסי נתונים גדלו.

לרוב החברות עם משרות פנויות פתוחות לתפקיד מהנדס נתונים יש את הדרישות הבאות:

• ידע מצוין ב-SQL וב-Python.
• ניסיון עם פלטפורמות ענן, במיוחד Amazon Web Services.
• עדיפות לידע ב-Java/Scala.
• הבנה טובה של מסדי נתונים של SQL ו-NoSQL (דוגמנות נתונים, אחסון נתונים).

זכור, אלו הם רק הדברים החיוניים. מרשימה זו, ניתן להניח שמהנדסי נתונים הם מומחים בתחום פיתוח תוכנה ו-backend.
לדוגמה, אם חברה מתחילה לייצר כמות גדולה של נתונים ממקורות שונים, המשימה שלך כמהנדס נתונים היא לארגן את איסוף המידע, העיבוד והאחסון שלו.

רשימת הכלים המשמשים במקרה זה עשויה להיות שונה, הכל תלוי בנפח הנתונים הללו, מהירות קבלתם והטרוגניות. רוב החברות לא עוסקות בכלל ב-Big Data, אז בתור מאגר מרכזי, מה שנקרא מחסן נתונים, אתה יכול להשתמש במסד נתונים SQL (PostgreSQL, MySQL וכו') עם סט קטן של סקריפטים שמזין את הנתונים לתוך המחסן.

לענקיות IT כמו גוגל, אמזון, פייסבוק או דרופבוקס יש דרישות גבוהות יותר: ידע ב-Python, Java או Scala.

• ניסיון עם ביג דאטה: Hadoop, Spark, Kafka.
• הכרת אלגוריתמים ומבני נתונים.
• הבנת היסודות של מערכות מבוזרות.
• ניסיון בכלים להדמיית נתונים כגון Tableau או ElasticSearch - יתרון.

כלומר, ישנו מעבר ברור לכיוון ביג דאטה, כלומר בעיבודם בעומסים גבוהים. לחברות אלו דרישות מוגברות לסובלנות תקלות במערכת.

מהנדסי נתונים נגד מדעני נתונים

אוקיי, זו הייתה השוואה פשוטה ומצחיקה (שום דבר אישי), אבל במציאות זה הרבה יותר מסובך.

ראשית, כדאי שתדעו שיש הרבה אי בהירות בתיחום התפקידים והכישורים של מדען נתונים ומהנדס נתונים. כלומר, אתה יכול בקלות להתבלבל לגבי הכישורים הדרושים כדי להיות מהנדס נתונים מצליח. כמובן, יש מיומנויות מסוימות החופפות לשני התפקידים. אבל יש גם מספר כישורים מנוגדים בתכלית.

מדעי הנתונים הם עסק רציני, אבל אנחנו מתקדמים לעבר עולם של מדעי נתונים פונקציונליים שבו מתרגלים מסוגלים לבצע ניתוחים משלהם. כדי לאפשר צינורות נתונים ומבני נתונים משולבים, אתה צריך מהנדסי נתונים, לא מדעני נתונים.

האם מהנדס נתונים מבוקש יותר מאשר מדען נתונים?

- כן, כי לפני שאתה יכול להכין עוגת גזר, אתה צריך קודם לאסוף, לקלף ולהצטייד בגזר!

מהנדס נתונים מבין בתכנות טוב יותר מכל מדען נתונים, אבל כשזה מגיע לסטטיסטיקה, ההפך הוא הנכון.

אבל הנה היתרון של מהנדס נתונים:

בלעדיו, הערך של מודל אב הטיפוס, לרוב מורכב מחתיכת קוד איכותי נורא בקובץ Python, המתקבל ממדען נתונים ומייצר איכשהו תוצאה, שואף לאפס.

ללא מהנדס נתונים, הקוד הזה לעולם לא יהפוך לפרויקט ושום בעיה עסקית לא תיפתר ביעילות. מהנדס הנתונים מנסה להפוך את כל זה למוצר.

מידע בסיסי שעל מהנדס נתונים לדעת

לכן, אם העבודה הזו מוציאה מכם את האור ואתם מתלהבים – תוכלו ללמוד אותה, תוכלו לשלוט בכל המיומנויות הנדרשות ולהפוך לכוכב רוק אמיתי בתחום הנדסת הנתונים. וכן, אתה יכול לעשות זאת גם ללא כישורי תכנות או ידע טכני אחר. זה קשה, אבל אפשרי!

מהם הצעדים הראשונים?

צריך שיהיה לך מושג כללי מה זה מה.

קודם כל, הנדסת נתונים מתייחסת למדעי המחשב. ליתר דיוק, עליך להבין אלגוריתמים ומבני נתונים יעילים. שנית, מאחר שמהנדסי נתונים עובדים עם נתונים, יש צורך להבין את העקרונות של מסדי נתונים ואת המבנים העומדים בבסיסם.

לדוגמה, מסדי נתונים רגילים של B-tree SQL מבוססים על מבנה הנתונים של B-Tree, כמו גם, במאגרים מבוזרים מודרניים, LSM-Tree ושינויים אחרים של טבלאות hash.

*שלבים אלה מבוססים על מאמר נהדר עדיליה חשטמובה. אז, אם אתה יודע רוסית, תמכו בסופר הזה וקרא הפוסט שלו.

1. אלגוריתמים ומבני נתונים

שימוש במבנה הנתונים הנכון יכול לשפר משמעותית את הביצועים של אלגוריתם. באופן אידיאלי, כולנו צריכים ללמוד על מבני נתונים ואלגוריתמים בבתי הספר שלנו, אבל זה מכוסה רק לעתים רחוקות. בכל מקרה, אף פעם לא מאוחר מדי להכיר.
אז הנה הקורסים החינמיים האהובים עלי ללימוד מבני נתונים ואלגוריתמים:

• מפשוט למורכב: מבני נתונים (Udemy)
• אלגוריתמים, חלק א' (קורסרה)
• אלגוריתמים, חלק ב' (קורסרה)

בנוסף, אל תשכח את העבודה הקלאסית של תומס קורמן על אלגוריתמים - מבוא לאלגוריתמים. זוהי הפניה המושלמת כאשר אתה צריך לרענן את הזיכרון שלך.

• כדי לשפר את הכישורים שלך, השתמש Leetcode.

אתה יכול גם לצלול לתוך עולם מסדי הנתונים עם סרטונים מדהימים מאוניברסיטת קרנגי מלון ביוטיוב:

• מבוא למערכות מסדי נתונים.
• מערכות מסדי נתונים מתקדמות.

2. למד SQL

כל החיים שלנו הם נתונים. וכדי לחלץ את הנתונים האלה ממסד הנתונים, אתה צריך "לדבר" איתו באותה שפה.

SQL (Structured Query Language) היא שפת התקשורת בתחום הנתונים. בלי קשר למה שמישהו אומר, SQL חי, חי ויחיה הרבה מאוד זמן.

אם הייתם בפיתוח זמן רב, בוודאי שמתם לב ששמועות על המוות הקרוב של SQL צצות מעת לעת. השפה פותחה בתחילת שנות ה-70 ועדיין פופולרית מאוד בקרב אנליסטים, מפתחים ופשוט חובבי.
ללא ידע ב-SQL אין מה לעשות בהנדסת נתונים מכיוון שבהכרח תצטרך ליצור שאילתות כדי לאחזר נתונים. כל מחסני הביג דאטה המודרניים תומכים ב-SQL:

• האדום של אמזון
• HP ורטיקה
• אורקל
• שרת SQL

... ורבים אחרים.

כדי לנתח שכבה גדולה של נתונים המאוחסנים במערכות מבוזרות כמו HDFS, הומצאו מנועי SQL: Apache Hive, Impala וכו'. תראה, זה לא הולך לשום מקום.

איך ללמוד SQL? פשוט תעשה את זה בפועל.

לשם כך, הייתי ממליץ לבדוק הדרכה מצוינת, שהיא, אגב, בחינם ניתוח מצבים.

1. SQL בינוני
2. צירוף נתונים ב-SQL

מה שמייחד את הקורסים האלה הוא שיש להם סביבה אינטראקטיבית שבה אתה יכול לכתוב ולהריץ שאילתות SQL ישירות בדפדפן שלך. מַשׁאָב SQL מודרני לא יהיה מיותר. ואתה יכול ליישם את הידע הזה משימות Leetcode בסעיף מאגרי מידע.

3. תכנות בפייתון וב-Java/Scala

למה כדאי ללמוד את שפת התכנות Python, כבר כתבתי במאמר Python לעומת R. בחירת הכלי הטוב ביותר עבור AI, ML ו-Data Science. כשמדובר ב-Java ו-Scala, רוב הכלים לאחסון ועיבוד כמויות אדירות של נתונים כתובים בשפות אלו. לדוגמה:

• אפאצ'י קפקא (סקאלה)
• Hadoop, HDFS (Java)
• אפאצ'י ספארק (סקאלה)
• אפאצ'י קסנדרה (ג'אווה)
• HBase (Java)
• Apache Hive (Java)

כדי להבין איך הכלים האלה עובדים, אתה צריך לדעת את השפות שבהן הם כתובים. הגישה הפונקציונלית של Scala מאפשרת לך לפתור ביעילות בעיות עיבוד נתונים מקבילות. פייתון, למרבה הצער, לא יכול להתפאר במהירות ובעיבוד מקביל. באופן כללי, ידע במספר שפות ופרדיגמות תכנות טובות לרוחב הגישות לפתרון בעיות.

כדי לצלול לתוך שפת סקאלה, אתה יכול לקרוא תכנות בסקאלה ממחבר השפה. טוויטר פרסמה גם מדריך מבוא טוב - בית ספר סקאלה.

לגבי פייתון, אני מאמין פייתון שוטף הספר הטוב ביותר ברמה הבינונית.

4. כלים לעבודה עם ביג דאטה

להלן רשימה של הכלים הפופולריים ביותר בעולם הביג דאטה:

• אפאצ 'י ספארק
• אפאצ'י קפקא
• Apache Hadoop (HDFS, HBase, Hive)
• אפאצ'ה קסנדרה

אתה יכול למצוא מידע נוסף על בניית בלוקי נתונים גדולים במדהים הזה סביבה אינטראקטיבית. הכלים הפופולריים ביותר הם ספארק וקפקא. בהחלט כדאי ללמוד אותם, רצוי להבין איך הם עובדים מבפנים. ג'יי קרפס (מחבר שותף של קפקא) פרסם יצירה מונומנטלית ב-2013 היומן: מה שכל מפתח תוכנה צריך לדעת על הפשטת צבירת נתונים בזמן אמתאגב, הרעיונות המרכזיים מתלמוד זה שימשו ליצירת אפאצ'י קפקא.

• היכרות עם Hadoop יכולה להיות המדריך המלא לשליטה ב-hadoop (חינם).
• המדריך המקיף ביותר לאפצ'י ספארק עבורי הוא - ניצוץ: המדריך השלם.

5. פלטפורמות ענן

ידע בפלטפורמת ענן אחת לפחות נמצא ברשימת הדרישות הבסיסיות למועמדים לתפקיד מהנדס נתונים. מעסיקים מעדיפים את שירותי האינטרנט של אמזון, כאשר פלטפורמת הענן של גוגל במקום השני ו-Microsoft Azure מסיימת את שלושת הראשונים.

עליך להיות בעל ידע טוב באמזון EC2, AWS Lambda, Amazon S3, DynamoDB.

6. מערכות מבוזרות

עבודה עם נתונים גדולים מרמזת על נוכחות של אשכולות של מחשבים הפועלים באופן עצמאי, שהתקשורת ביניהם מתבצעת ברשת. ככל שהאשכול גדול יותר, כך גדלה ההסתברות לכשל של הצמתים האיברים שלו. כדי להיות מדען נתונים גדול, אתה צריך להבין את הבעיות ואת הפתרונות הקיימים עבור מערכות מבוזרות. אזור זה ישן ומורכב.

אנדרו טננבאום נחשב לחלוץ בתחום זה. למי שלא מפחד מתאוריה אני ממליץ על ספרו "מערכות מבוזרות", זה אולי נראה מרתיע למתחילים, אבל זה באמת יעזור לך לחדד את הכישורים שלך.

אני שוקל עיצוב יישומים עתירי נתונים מאת מרטין קלפמן ספר ההיכרות הטוב ביותר. דרך אגב, למרטין יש נפלא בלוג. עבודתו תסייע בשיטתיות של ידע על בניית תשתית מודרנית לאחסון ועיבוד ביג דאטה.
למי שאוהב לצפות בסרטונים יש קורס ביוטיוב מערכות מחשוב מבוזרות.

7. צינורות נתונים

צינורות נתונים הם משהו שאי אפשר לחיות בלעדיו כמהנדס נתונים.

רוב הזמן, מהנדס נתונים בונה מה שנקרא צינור נתונים, כלומר הוא יוצר תהליך להעברת נתונים ממקום אחד לאחר. אלה יכולים להיות סקריפטים מותאמים אישית שעוברים ל-API של שירות חיצוני או מבצעים שאילתת SQL, מגדילים את הנתונים ומכניסים אותם לחנות מרכזית (מחסן נתונים) או למאגר נתונים לא מובנה (אגמי נתונים).

לסיכום: רשימת הבדיקה הבסיסית למהנדס נתונים

לסיכום, נדרשת הבנה טובה של הדברים הבאים:

• מערכות מידע;
• פיתוח תוכנה (Agile, DevOps, Design Techniques, SOA);
• מערכות מבוזרות ותכנות מקביל;
• יסודות מסד הנתונים - תכנון, עיצוב, תפעול ופתרון תקלות;
• עיצוב ניסויים - מבחני A/B להוכחת מושגים, קביעת מהימנות, ביצועי מערכת ופיתוח נתיבים אמינים למתן פתרונות טובים במהירות.

אלו הן רק חלק מהדרישות כדי להיות מהנדס נתונים, אז למד ולהבין מערכות נתונים, מערכות מידע, מסירה/פריסה/אינטגרציה מתמשכת, שפות תכנות ונושאים אחרים במדעי המחשב (לא בכל תחומי המקצוע).

ולבסוף, הדבר האחרון אך החשוב ביותר שאני רוצה לומר.

הדרך להפוך להנדסת נתונים אינה פשוטה כפי שהיא עשויה להיראות. הוא לא סולח, הוא מתסכל, ואתה חייב להיות מוכן לזה. כמה רגעים במסע הזה עשויים לדחוף אותך לוותר. אבל זו עבודה אמיתית ותהליך למידה.

רק אל תכסה אותו מההתחלה. כל העניין בטיול הוא ללמוד כמה שיותר ולהיות מוכן לאתגרים חדשים.
הנה תמונה נהדרת שנתקלתי בה שממחישה היטב את הנקודה הזו:

וכן, זכרו להימנע משחיקה ומנוחה. זה גם מאוד חשוב. בהצלחה!

מה דעתכם על הכתבה, חברים? אנו מזמינים אותך סמינר מקוון חינם, שיתקיים היום בשעה 20.00. במהלך הוובינר, נדון כיצד לבנות מערכת עיבוד נתונים יעילה וניתנת להרחבה עבור חברה קטנה או סטארטאפ בעלות מינימלית. כתרגול, נכיר את כלי עיבוד הנתונים של Google Cloud. נתראה!

מקור: www.habr.com