דעיכת עידן הביג דאטה

סופרים זרים רבים מסכימים שעידן הביג דאטה הגיע לסיומו. ובמקרה הזה, המונח Big Data מתייחס לטכנולוגיות המבוססות על Hadoop. מחברים רבים יכולים אפילו לציין בביטחון את התאריך שבו Big Data עזב את העולם הזה ותאריך זה הוא 05.06.2019/XNUMX/XNUMX.

מה קרה ביום המשמעותי הזה?

ביום זה, MAPR הבטיחה להשעות את עבודתה אם לא תמצא כספים להמשך הפעלה. MAPR נרכשה מאוחר יותר על ידי HP באוגוסט 2019. אבל אם נחזור ליוני, אי אפשר שלא לציין את הטרגדיה של התקופה הזו עבור שוק הביג דאטה. החודש חלה קריסה במחירי המניות של CLOUDERA, שחקנית מובילה בשוק, שהתמזגה עם ה-HORTOWORKS הכרונית לא רווחית בינואר של אותה שנה. הקריסה הייתה משמעותית למדי והסתכמה ב-43%; בסופו של דבר השווי של CLOUDERA ירד מ-4,1 ל-1,4 מיליארד דולר.

אי אפשר שלא לומר שמאז דצמבר 2014 מסתובבות שמועות על בועה בתחום הטכנולוגיות המבוססות על Hadoop, אבל היא החזיקה בגבורה כמעט חמש שנים נוספות. שמועות אלו התבססו על סירובה של גוגל, החברה שממנה נוצרה טכנולוגיית Hadoop, מהמצאתה. אבל הטכנולוגיה השתרשה במהלך המעבר של חברות לכלי עיבוד ענן והפיתוח המהיר של בינה מלאכותית. לכן, במבט לאחור, אנו יכולים לומר בביטחון שהמוות היה צפוי.

כך, עידן הביג דאטה הגיע לסיומו, אבל בתהליך העבודה על ביג דאטה, חברות הבינו את כל הניואנסים של העבודה עליו, את היתרונות שביג דאטה יכול להביא לעסקים, וגם למדו להשתמש במלאכותי אינטליגנציה להפקת ערך מנתונים גולמיים.

ככל שתהיה מעניינת יותר השאלה מה יחליף את הטכנולוגיה הזו וכיצד טכנולוגיות האנליטיקה יתפתחו עוד יותר.

אנליטיקה מוגברת

במהלך האירועים המתוארים, חברות העוסקות בתחום ניתוח הנתונים לא ישבו בשקט. מה ניתן לשפוט על סמך מידע על עסקאות שהתרחשו ב-2019. השנה בוצעה העסקה הגדולה ביותר בשוק - רכישת הפלטפורמה האנליטית Tableau על ידי Salesforce תמורת 15,7 מיליארד דולר. עסקה קטנה יותר התרחשה בין גוגל ללוקר. וכמובן, אי אפשר שלא לשים לב לרכישת Qlik של פלטפורמת הביג דאטה Attunity.

מובילי שוק ה-BI ומומחי גרטנר מכריזים על שינוי מונומנטלי בגישות לניתוח נתונים; שינוי זה יהרוס לחלוטין את שוק ה-BI ויוביל להחלפת ה-BI ב-AI. בהקשר זה יש לציין כי הקיצור AI אינו "בינה מלאכותית" אלא "אינטליגנציה מוגברת". בואו נסתכל מקרוב על מה שעומד מאחורי המילים "Augmented Analytics".

אנליטיקה מוגברת, כמו מציאות רבודה, מבוססת על מספר הנחות כלליות:

• היכולת לתקשר באמצעות NLP (עיבוד שפה טבעית), כלומר. בשפה אנושית;
• השימוש בבינה מלאכותית, המשמעות היא שהנתונים יעובדו מראש על ידי בינה מכונה;
• וכמובן, המלצות העומדות לרשות המשתמש במערכת, אשר נוצרו על ידי בינה מלאכותית.

לטענת יצרני הפלטפורמות האנליטיות, השימוש בהן יהיה זמין למשתמשים שאינם בעלי כישורים מיוחדים, כגון ידע ב-SQL או שפת סקריפטים דומה, שאינם בעלי הכשרה סטטיסטית או מתמטית, שאינם בעלי ידע בשפות פופולריות. מתמחה בעיבוד נתונים וספריות מתאימות. אנשים כאלה, הנקראים "מדעני מידע אזרחי", חייבים להיות בעלי כישורים עסקיים יוצאי דופן בלבד. המשימה שלהם היא ללכוד תובנות עסקיות מהטיפים והתחזיות שהבינה המלאכותית תיתן להם, והם יכולים לחדד את הניחושים שלהם באמצעות NLP.

בתיאור התהליך של משתמשים בעבודה עם מערכות מכיתה זו, אפשר לדמיין את התמונה הבאה. אדם שמגיע לעבודה ומפעיל את האפליקציה המתאימה, בנוסף לסט הרגיל של דוחות ודשבורדים שניתן לנתח באמצעות גישות סטנדרטיות (מיון, קיבוץ, ביצוע פעולות אריתמטיות), רואה עצות והמלצות מסוימות, כמו: "ב כדי להשיג KPI, מספר מכירות, עליך להחיל הנחה על מוצרים מקטגוריית "גינון". בנוסף, אדם יכול ליצור קשר עם מסנג'ר ארגוני: סקייפ, סלאק וכו'. יכול לשאול את הרובוט שאלות, באמצעות טקסט או קול: "תן לי את חמשת הלקוחות הרווחיים ביותר." לאחר שקיבל את המענה המתאים, עליו לקבל את ההחלטה הטובה ביותר על סמך ניסיונו העסקי ולהביא רווח לחברה.

אם תיקחו צעד אחורה ותסתכלו על הרכב המידע המנותח, ובשלב זה, מוצרי אנליטיקה מוגדלים יכולים להקל על חייהם של אנשים. באופן אידיאלי, ההנחה היא שהמשתמש יצטרך רק להפנות את המוצר האנליטי למקורות המידע הרצוי, והתוכנית עצמה תדאג ליצירת מודל נתונים, קישור טבלאות ומשימות דומות.

כל זה צריך, קודם כל, להבטיח את ה"דמוקרטיזציה" של הנתונים, כלומר. כל אדם יכול לנתח את כל מערך המידע העומד לרשות החברה. תהליך קבלת ההחלטות חייב להיתמך בשיטות ניתוח סטטיסטי. זמן הגישה לנתונים צריך להיות מינימלי, כך שאין צורך לכתוב סקריפטים ושאילתות SQL. וכמובן, אתה יכול לחסוך כסף על מומחי Data Science בתשלום גבוה.

באופן היפותטי, הטכנולוגיה מציעה סיכויים יפים מאוד לעסקים.

מה מחליף ביג דאטה?

אבל, למעשה, התחלתי את המאמר שלי עם ביג דאטה. ולא יכולתי לפתח את הנושא הזה בלי סיור קצר לכלי BI מודרניים, שהבסיס להם הוא לרוב ביג דאטה. גורלם של ביג דאטה נחרץ כעת בבירור, וזוהי טכנולוגיית הענן. התמקדתי בעסקאות שנעשו עם ספקי BI במטרה להדגים שכעת לכל מערכת אנליטית יש אחסון בענן מאחוריה, ולשירותי ענן יש BI כחזית.

לא לשכוח עמודי תווך כאלה בתחום מסדי הנתונים כמו ORACLE ו-Microsoft, יש צורך לציין את כיוון הפיתוח העסקי הנבחר שלהם וזה הענן. ניתן למצוא את כל השירותים המוצעים בענן, אך חלק משירותי הענן אינם זמינים עוד במקום. הם עשו עבודה משמעותית על השימוש במודלים של למידת מכונה, יצרו ספריות זמינות למשתמשים והגדירו ממשקים כדי להקל על העבודה עם מודלים מבחירתם ועד קביעת שעת ההתחלה.

יתרון חשוב נוסף של שימוש בשירותי ענן, המושמע על ידי היצרנים, הוא הזמינות של מערכי נתונים כמעט בלתי מוגבלים בכל נושא עבור מודלים להדרכה.

עם זאת, נשאלת השאלה: עד כמה טכנולוגיות הענן ישתרשו בארצנו?

מקור: www.habr.com