תכנית הרמה לקבלת המקצוע מהנדס נתונים

בשמונה השנים האחרונות אני עובד כמנהל פרויקטים (אני לא כותב קוד בעבודה), מה שמטבע הדברים משפיע לרעה על ה-backend הטכנולוגי שלי. החלטתי לסגור את הפער הטכנולוגי שלי ולקבל את המקצוע של מהנדס נתונים. מיומנות הליבה של מהנדס נתונים היא היכולת לתכנן, לבנות ולתחזק מחסני נתונים.

הכנתי תוכנית אימונים, אני חושב שהיא תהיה שימושית לא רק בשבילי. התוכנית מתמקדת בקורסי לימוד עצמי. ניתנת עדיפות לקורסים בחינם ברוסית.

סעיפים:

• אלגוריתמים ומבני נתונים. קטע מפתח. למד את זה וגם כל השאר יסתדר. חשוב לשים יד על הקוד ולהשתמש במבנים ובאלגוריתמים הבסיסיים.
• מאגרי מידע ומחסני נתונים, בינה עסקית. אנו עוברים מאלגוריתמים לאחסון ועיבוד נתונים.
• Hadoop וביג דאטה. כאשר מסד הנתונים אינו כלול בכונן הקשיח, או כאשר יש צורך לנתח את הנתונים, אך אקסל אינו יכול יותר לטעון אותם, מתחילים נתונים גדולים. לדעתי, יש להמשיך לסעיף זה רק לאחר עיון מעמיק בשני הקודמים.

אלגוריתמים ומבני נתונים

בתוכנית שלי כללתי לימוד Python, חזרה על היסודות של מתמטיקה ואלגוריתמיזציה.

• תכנות ב- Python
• Python: יסודות ויישומים
• אלגברה ליניארית
• ליקבז על מתמטיקה בדידה
• אלגוריתמים: תיאוריה ופרקטיקה. שיטות
• אלגוריתמים: תיאוריה ופרקטיקה. מבני מידע

מאגרי מידע ומחסני נתונים, בינה עסקית

• ספר: מרטין קלפמן - יישומים טעונים מאוד. תכנות, קנה מידה, תמיכה. הספר מתאר כיצד פועלים מודלים שונים של נתונים, יישום שלהם מבפנים, מגבלות ובחירות בהתאם למשימה.
• מבוא למאגרי מידע
• צלול לתוך DBMS
• מבוא למאגרי מידע לא יחסיים

נושאים הקשורים לבניית מחסני נתונים, קוביות ETL, OLAP תלויים מאוד בכלים, ולכן אני לא נותן קישורים לקורסים במסמך זה. רצוי ללמוד מערכות כאלו כאשר עובדים על פרויקט ספציפי בחברה ספציפית. להכרות עם ETL, אתה יכול לנסות כישרון או זרימת אוויר.

לדעתי, חשוב ללמוד את מתודולוגיית העיצוב המודרנית של Data Vault קישור 1, קישור 2. והדרך הטובה ביותר ללמוד את זה היא לקחת את זה וליישם את זה עם דוגמה פשוטה. ישנן מספר דוגמאות ליישום Data Vault ב-GitHub קשר. ספר מחסן הנתונים המודרני: עיצוב מחסן הנתונים הזריז עם כספת הנתונים מאת הנס הולטגרן.

כדי להכיר את הכלים של Business Intelligence למשתמשי קצה, אתה יכול להשתמש במעצב החינמי של דוחות, לוחות מחוונים, מחסני נתונים קטנים Power BI Desktop. חומרים חינוכיים: קישור 1, קישור 2.

Hadoop וביג דאטה

• עליך להתחיל ביישום עצמאי של MapReduce ללא ספריות של צד שלישי. זה יאפשר הבנה טובה יותר של יישומי ריבוי הליכיים בעתיד. מתוארת דוגמה מצוינת ב- Python כאן.
• Hadoop. מערכת לעיבוד כמויות גדולות של נתונים.
• מבוא להנדסת ביג דאטה

מסקנה

לא כל מה שלומדים אפשר ליישם בעבודה. לכן, אתה צריך פרויקט סיום בו תנסה ליישם ידע חדש.

אין נושאים הקשורים לניתוח נתונים ולמידת מכונה בתוכנית. זה מתייחס יותר למקצוע מדען הנתונים. אין גם נושאים הקשורים לעננים של AWS, Azure. נושאים אלה תלויים מאוד בבחירת הפלטפורמה.

שאלות לקהילה:
עד כמה תוכנית הפילוס שלי מתאימה? מה להסיר או להוסיף?
על איזה פרויקט היית ממליץ בתור תזה?

מקור: www.habr.com