ניתוח ביג דאטה - מציאות וסיכויים ברוסיה ובעולם

היום רק אנשים שאין להם קשרים חיצוניים עם העולם החיצון לא שמעו על ביג דאטה. ב-Habré, הנושא של ניתוח Big Data ונושאים קשורים פופולרי. אבל עבור מומחים שאינם מומחים שירצו להתמסר לחקר ביג דאטה, לא תמיד ברור אילו סיכויים יש לתחום הזה, היכן ניתן ליישם ניתוח ביג דאטה ועל מה אנליסט טוב יכול לסמוך. בואו ננסה להבין את זה.

כמות המידע שנוצר על ידי בני אדם גדלה מדי שנה. עד 2020, כמות הנתונים המאוחסנים תגדל ל-40-44 זטה-בייט (1 ZB ~ 1 מיליארד GB). עד 2025 - עד כ-400 זטה-בייט. בהתאם לכך, ניהול נתונים מובנים ובלתי מובנים באמצעות טכנולוגיות מודרניות הוא תחום שהולך ונהיה חשוב יותר ויותר. גם חברות בודדות וגם מדינות שלמות מתעניינים בביג דאטה.

אגב, במהלך הדיון על תנופת המידע ושיטות עיבוד הנתונים שנוצרו על ידי אדם עלה המונח Big Data. הוא האמין כי הוא הוצע לראשונה בשנת 2008 על ידי עורך כתב העת Nature, קליפורד לינץ'.

מאז, שוק הביג דאטה גדל מדי שנה בכמה עשרות אחוזים. והמגמה הזו, לפי מומחים, תימשך. כך, על פי הערכות החברה פרוסט וסאליבן בשנת 2021, סך השוק העולמי לניתוח ביג דאטה יגדל ל-67,2 מיליארד דולר. הצמיחה השנתית תהיה כ-35,9%.

למה אנחנו צריכים ניתוח ביג דאטה?

זה מאפשר לך לזהות מידע בעל ערך רב ממערכי נתונים מובנים או לא מובנים. הודות לכך, עסק יכול, למשל, לזהות מגמות, לחזות את ביצועי הייצור ולייעל את העלויות שלו. ברור שכדי להוזיל עלויות חברות מוכנות ליישם את הפתרונות העדכניים ביותר.

טכנולוגיות ושיטות ניתוח המשמשות לניתוח ביג דאטה:

• כריית מידע;
• מיקור המונים;
• ערבוב ושילוב נתונים;
• למידת מכונה;
• רשתות עצביות מלאכותיות;
• זיהוי תבנית;
• ניתוח חיזוי;
• דוגמנות סימולציה;
• ניתוח מרחבי;
• ניתוח סטטיסטי;
• הדמיה של נתונים אנליטיים.

ניתוח ביג דאטה בעולם

ניתוח ביג דאטה נמצא כיום בשימוש על ידי יותר מ-50% מהחברות ברחבי העולם. למרות העובדה שבשנת 2015 נתון זה עמד על 17% בלבד. ביג דאטה נמצא בשימוש הפעיל ביותר על ידי חברות הפועלות במגזרי התקשורת והשירותים הפיננסיים. ואז יש חברות שמתמחות בטכנולוגיית בריאות. שימוש מינימלי ב-Big Data Analytics בחברות חינוך: ברוב המקרים, נציגי תחום זה הודיעו על כוונתם להשתמש בטכנולוגיה בעתיד הקרוב.

בארצות הברית נעשה שימוש פעיל ביותר ב-Big Data Analytics: יותר מ-55% מהחברות ממגוון תחומים עובדות עם טכנולוגיה זו. באירופה ובאסיה, הביקוש לניתוח ביג דאטה אינו נמוך בהרבה - כ-53%.

ומה עם רוסיה?

לפי אנליסטים של הבינתחומי, רוסיה היא השוק האזורי הגדול ביותר עבור פתרונות ניתוח Big Data. צמיחת השוק של פתרונות כאלה במרכז ומזרח אירופה פעילה למדי, נתון זה גדל ב-11% מדי שנה. עד 2022 הוא יגיע ל-5,4 מיליארד דולר במונחים כמותיים.

במובנים רבים, התפתחות מהירה זו של השוק נובעת מהצמיחה של אזור זה ברוסיה. בשנת 2018, ההכנסות ממכירת פתרונות רלוונטיים בפדרציה הרוסית הסתכמו ב-40% מסך ההשקעה בטכנולוגיות עיבוד Big Data באזור כולו.

בפדרציה הרוסית, חברות מהמגזר הבנקאי והציבורי, תעשיית הטלקומוניקציה והתעשייה מוציאות הכי הרבה על עיבוד ביג דאטה.

מה עושה אנליסט ביג דאטה וכמה הוא מרוויח ברוסיה?

מנתח ביג דאטה אחראי לבחינת כמויות עצומות של מידע, הן מובנה למחצה והן לא מובנית. עבור ארגונים בנקאיים מדובר בעסקאות, עבור מפעילים – שיחות ותעבורה, בקמעונאות – ביקורים ורכישות של לקוחות. כאמור, ניתוח ביג דאטה מאפשר לנו לגלות קשרים בין גורמים שונים ב"היסטוריית המידע הגולמי", למשל, תהליך ייצור או תגובה כימית. על בסיס נתוני הניתוח מפותחות גישות ופתרונות חדשים במגוון תחומים - מייצור ועד רפואה.

מיומנויות הנדרשות לאנליסט ביג דאטה:

• היכולת להבין במהירות את המאפיינים באזור שעבורו מתבצע הניתוח, ולהתעמק בהיבטים של האזור הרצוי. זה יכול להיות קמעונאות, תעשיית נפט וגז, רפואה וכו'.
• הכרת שיטות ניתוח נתונים סטטיסטיים, בניית מודלים מתמטיים (רשתות עצביות, רשתות בייסיאניות, אשכולות, רגרסיה, ניתוחי גורמים, שונות וקורלציה ועוד).
• להיות מסוגל לחלץ נתונים ממקורות שונים, להפוך אותם לניתוח ולטעון אותם למסד נתונים אנליטי.
• בעל שליטה ב-SQL.
• ידיעת אנגלית ברמה מספקת לקריאת תיעוד טכני בקלות.
• הכרת Python (לפחות הבסיס), Bash (קשה מאוד להסתדר בלעדיו בתהליך העבודה), בנוסף רצוי להכיר את היסודות של Java ו-Scala (דרוש לשימוש פעיל ב-Spark, אחד המסגרות הפופולריות ביותר לעבודה עם נתונים גדולים).
• יכולת עבודה עם Hadoop.

ובכן, כמה מרוויח אנליסט ביג דאטה?

מומחי ביג דאטה נמצאים כעת במחסור; הביקוש עולה על ההיצע. הסיבה לכך היא שהעסקים מגיעים להבנה: פיתוח דורש טכנולוגיות חדשות, ופיתוח טכנולוגי דורש מומחים.

אז, מדען נתונים וניתוח נתונים בארה"ב נכנס לשלושת המקצועות הטובים ביותר של 3 לפי סוכנות הגיוס Glassdoor. השכר הממוצע של מומחים אלה באמריקה מתחיל מ-100 אלף דולר לשנה.

ברוסיה, מומחי למידת מכונה מקבלים בין 130 ל-300 אלף רובל לחודש, מנתחי ביג דאטה - בין 73 ל-200 אלף רובל לחודש. הכל תלוי בניסיון ובכישורים. כמובן שיש משרות פנויות בשכר נמוך יותר, ואחרות בעלות גבוהה יותר. דרישה מקסימלית למנתחי ביג דאטה במוסקבה ובסנט פטרסבורג. מוסקבה, וזה לא מפתיע, מהווה כ-50% מהמשרות הפנויות הפעילות (לפי hh.ru). הרבה פחות ביקוש במינסק ובקייב. ראוי לציין שחלק מהמשרות הפנויות מציעות שעות גמישות ועבודה מרחוק. אבל באופן כללי, חברות זקוקות למומחים שעובדים במשרד.

עם הזמן, אנו יכולים לצפות לעלייה בביקוש לאנליסטים של Big Data ונציגים של התמחויות קשורות. כאמור, המחסור בכוח אדם במגזר הטכנולוגי לא בוטל. אבל, כמובן, כדי להיות מנתח ביג דאטה, אתה צריך ללמוד ולעבוד, לשפר הן את המיומנויות המפורטות לעיל והן נוספות. אחת ההזדמנויות להתחיל את דרכו של מנתח Big Data היא הירשם לקורס מ-Geekbrains ונסה את כוחך בעבודה עם נתונים גדולים.

מקור: www.habr.com