לפני כמעט שנה, Splunk נעלם ברוסיה. מאמר זה הוא בעיקרו סקירה. מדובר על נתוני מכונה, ועל נישת שוק, ועל דוגמה להחלפת ייבוא שהתרחשה ללא סיסמאות רועשות - פשוט כי השוק דרש זאת. באופן בלעדי - גרסת המחבר לסיבה לעזיבתו של Splunk מרוסיה, אבל ייתכן שהכל היה שונה לחלוטין.
הרבה טקסט, 15 אלף תוויםזמן קריאה כ.
10 דקות.
מה זה נתוני מכונה?
למרות שרבים מאיתנו שומעים את המונח "ביג דאטה" לעתים קרובות יותר, נדבר על נתוני מכונה, כלומר. נתונים שנוצרו דיגיטלית ממגוון רחב של מקורות. והעניין הוא לא בצמצום תחום הנושא, אלא בדייקנות ההגדרה.
נתוני מכונה הם כל מידע שנוצר על ידי מכשירים דיגיטליים. אלה כוללים יומנים משרתים ארגוניים ומכשירי רשת, נתונים מחיישנים של מערכות תעשייתיות ומכשירי IoT, הודעות למייל ארגוני, פעילות בשרת אינטרנט, רישומים של עובדים שמתחברים ויוצאים מחשבונותיהם, עסקאות פיננסיות בצורה דיגיטלית, שיחות ל שירות התמיכה של החברה ועוד הרבה הרבה יותר.
חשוב שבין מסרים טכניים גרידא בנתוני מכונה יש כמות עצומה של מידע המשקף את התהליכים העסקיים של הארגון - האינטראקציה של העסק עם צדדיו ומתווכים שלו (בנקים, חברות ביטוח ושירותים, רשויות רגולטוריות). סטטיסטיקה על פעילות עובדים ברשת הארגונית ובמהלך תנועה פיזית ברחבי המיזם, תנועת סחורות במחסן, ביקוש ומשך השירותים וכו'. - כל זה גם נתוני מכונה.
לאחר מכן, עולה רעיון: ניתוח נתוני מכונה כדי לזהות צווארי בקבוק במערכות IT ובעסקים, ייעול איכות שירות הלקוחות, מציאת נקודות תורפה באבטחת המידע של הארגון ועקבות אחר פעולות הרמאים.
האתגר בשימוש בנתוני מכונה הוא שהם מגיעים במספר מדהים של פורמטים.
הרעיון נכון, אבל קשה ליישום. האתגר עם נתוני מכונה הוא שהם מגיעים במגוון מסחרר של פורמטים, וכלי ניטור וניתוח מסורתיים אינם מיועדים להתמודד עם המגוון, המהירות, הנפח או השונות של הנתונים הללו.
התחלנו עם מערכות SIEM וניתוח עסקי וסיימנו עם פתרונות Splunk
כשהחל חקר הישימות של נתוני מכונה לפני כ-10 שנים, החלו להופיע בשוק פתרונות תוכנה לעיבודם וניתוחם. במאמץ ליצור את הכלים הטובים ביותר בכיתה שלהם, מפתחים החלו לצמצם את תחום הנושא של ניתוח נתוני מכונה.
כך צצו מערכות SIEM (Security Information and Event Management) והגיעו לרמת בגרות גבוהה. מדובר במוצרי תוכנה בתחום אבטחת המידע (IS). הם מנטרים מערכות מידע בזמן אמת, אוספים ומנתחים נתוני מכונה הקשורים לאבטחת מידע. היקף מערכות SIEM כולל שרתים, התקני רשת, חיישנים, מכשירים שולחניים וסלולריים, כלי אבטחת מידע, תשתית מערכות ויישומים.
ענף נוסף של ניתוח נתוני מכונה הפך למערכות ניטור מצב תשתיות IT. השלישית היא מערכות בינה עסקית (BI, Business intelligence), המנתחות תהליכים עסקיים על בסיס מערך נתונים הקשורים לפעילות העסקית של הארגון.
מה שטוב הוא שנעשתה התקדמות משמעותית בכל אחד מהענפים המפורטים של ניתוח נתוני מכונה והוצאו לשוק פתרונות ומוצרים ראויים. מה שלא כל כך נהדר הוא שהשילוב של מערכות הטרוגניות לניטור תשתיות IT, רישום ומניעה של אירועי אבטחת מידע וניתוח תהליכים עסקיים התברר כעניין מורכב למדי, שמזכיר לפעמים "חציית קיפוד ונחש".
כאשר בעיה זו הוכרה על ידי השוק, ספקים שונים כיוונו את המאמצים של המפתחים שלהם ליצור מערכת אוניברסלית לניתוח נתוני מכונות. כלומר, מערכת שבעצמה תוכל לענות גם על השאלה של ה-CIO – "למה יש לי עומס שרתים כל כך לא אחיד", וגם על שאלת המנכ"ל – "איזה מהתהליכים העסקיים של הארגון מוביל אותנו לרווח ואיזה מוביל אותנו פְּשִׁיטַת רֶגֶל."
באופן כללי, השוק מסכים שהפתרון האוניברסלי המוצלח ביותר לניתוח נתוני מכונות הוצע על ידי חברת Splunk האמריקאית.
כך קרה שהפתרון האוניברסלי המוצלח ביותר לניתוח נתוני מכונות הוצע על ידי חברת Splunk האמריקאית. למרות העובדה של-Splunk יש מתחרים כמו IBM, BMC Software, Microsoft, Quest Software, כמו גם אפשרויות להטמעת אנליטיקה על מחסנית ELK בקוד פתוח. אבל הפתרונות של Splunk הם שהפכו למובילי שוק. - מוצר עם הפונקציונליות הרחבה ביותר הפך לסטנדרט התעשייה דה פקטו עבור מערכות ניתוח נתונים מורכבות של מכונות עבור ארגונים גדולים.
השוק קיבל את מוצרי Splunk בעיקר בשל השילוב המצוין שלהם בין קלות התקנה, גמישות בתצורה ומגוון כלים אנליטיים. ל-Splunk יש מערכת אקולוגית משלו הנקראת . כאן, מפתחים ולקוחות שהם חלק מקהילת Splunk מפרסמים תוספות שונות, תוספות טכנולוגיות ואפליקציות שפותרות בעיות שונות. למשל, אפשר להוריד שם אפליקציות שאחת מהן אוספת לוגים ממכשירי סיסקו, השנייה ממכשירי רשת מיצרן אחר וכו'. אינטראקציה זו מועילה הן למפתחים והן ללקוחות.
תצוגה כללית של מסך Splunkbase. מקור: Splunk
תקריב של דוגמאות לתוספות ואפליקציות ב-Splunkbase. מספר ההורדות מצוין כמדד של פופולריות. מקור: Splunk
אם נעמיק קצת יותר באקוסיסטם של Splunkbase, נוכל להסביר את ההבדלים – אפליקציה שונה מתוספת בכך שלאפליקציה יש ממשק גרפי. אלו הם פאנלים ויזואליים, לוחות מחוונים (דיאלים), טפסים, דיאגרמות המאפשרים לראות אנליטיקה על נושא המופנה למערכת בממשק גרפי. המשתמש יכול לבנות חיפושים וניתוחים המבוססים על מגוון פרמטרים, להיכנס כמה שיותר עמוק לתוך משבצת הזמן של האירועים שהתרחשו כדי לזהות את הסיבות למה שקרה.
ההיסטוריה של Splunk ברוסיה היא בהירה, אך קצרת מועד
מוצר עשיר בפונקציונליות כמו Splunk לא יכול היה לחמוק מתשומת הלב של ה-CIO של חברות רוסיות גדולות. אחרי הכל, ככל שהארגון גדול יותר, כך קשה יותר לנהל אותו ולזהות גורמים המשפיעים על היעילות העסקית, על יציבות תשתיות ה-IT וכלי אבטחת מידע.
מצגת סקירה של פתרון Splunk Enterprise (). מקור: VolgaBlob
Splunk הגיע לרוסיה בתחילת 2013 והחל לבנות רשת שותפים לפי התוכנית הקלאסית - מפיץ רישיונות (RRC) ושותפי יישום (VolgaBlob, TS Solution, Talmer). בהתחשב בכך שעלות רישיונות Splunk היא די גבוהה, והספק היה ממוקד בלקוחות מעסקים גדולים (וכולם נגדם), מספר השותפים היה קטן.
VolgaBlob הפך לאחד השותפים הראשונים שהחלו לעבוד עם פתרונות Splunk. ניסיון של 10 השנים הקודמות בפיתוח, התאמה אישית והטמעה של כלי אבטחת מידע היה מאוד שימושי.
"היינו שחקן די בוגר בשוק אבטחת הסייבר, אבל Splunk הפך לתגלית אמיתית (!) ולסיכוי מרגש חדש עבורנו. התחלנו לפתח את המומחיות שלנו בתחום ניתוח תהליכים עסקיים, כולל בממשק עם אבטחת מידע, לבנות מערך מחברים טכניים ויישומים שלנו באקוסיסטם של Splunk ולהציע את הכל במסגרת של מקרי משתמש מלאים ספציפיים עבור פדרלי- חברות ברמה", משתף את רשמיו , מנכ"ל VolgaBlob.
עד שנת 2018, שבה הושלמו המספר הגדול ביותר של פרויקטים המבוססים על Splunk Enterprise ברוסיה, לקוחות המשתמשים ב-Splunk כבר כללו מותגים כמו Rosneft ו-SUEK, Sberbank ו-Tinkoff Bank, MTS, Moscow Exchange ו-Megafon. שיא האירועים היה כנס Splunk Discovery Day Moscow 0, מרשים מבחינת מספר המשתתפים ורמת הדיווחים, ב-2018 באוקטובר 2018. אולם מלא ומנהלי מערכות מידע מחברות רבות. מי מהמשתתפים יכול היה לדמיין שרק 3 חודשים לאחר מכן יהיו מצבי רוח שונים לגמרי בשוק.
תמונות מכנס Splunk Discovery Day Moscow 2018. מקור:
ב-19 בפברואר 2019, Splunk הודיעה על נסיגת החירום שלה מהשוק הרוסי, באופן בלתי צפוי עבור קהילת ה-IT שלנו. שותפים ולקוחות שנותרו מבולבלים יכלו לקרוא רק דבר לא מובן . בו, היציאה מרוסיה הוסברה במעורפל על ידי "סיבות השקעה". כל הניסיונות של השותפים להשיג הסברים מובנים יותר עלו בתוהו.
לא רק שותפי Splunk חוו תחושות לא נעימות, אלא גם לקוחות שפתאום ניתקה להם גישה לחשבונות שלהם. כאשר, לאחר מספר ימים, התשוקות שככו מעט (), Splunk אמר שלקוחות עם רישיונות פעילים יכולים להשתמש בחשבונות שלהם עד שיפוג תוקף הרישיונות שלהם, ושותפים יכולים להמשיך לשרת אותם על אחריותם בלבד, אך ללא סיוע מהספק.
גרסת המחבר על יציאתו של ספלאנק מרוסיה, אך ייתכן שהכל לא היה כך
בקטע הזה יהיה לנו אנטי-גיבור, יש אפילו שניים מהם, שניהם מ-Splunk - דאג מריט (מנכ"ל) וקארי פיילין (CMO, מנהלת שיווק ראשית).
לחברות אמריקאיות ציבוריות יש חלק נפלא באתר האינטרנט שלהן שבו הן נדרשות לחשוף את מצבן העסקי למשקיעים. משם תוכלו לגלות את הדברים הבאים: 19.02.2019/XNUMX/XNUMX, כאשר Splunk (SPLK, NASDAQ) פרסמה הודעה על עזיבת רוסיה, זה היה יום העבודה הראשון של קארי פיילין, CMO - היא בדיוק התקבלה לעבודה. אבל ההחלטה לעזוב את הפדרציה הרוסית כנראה התקבלה קצת קודם לכן. ככל הנראה, היו התייעצויות איתה, משא ומתן עוד לפני היום הראשון הרשמי של העבודה וקיצוץ בעלויות בעת עזיבת הפדרציה הרוסית הייתה הצעתה ל"רעיונות שיווקיים טריים", כמקובל בראיונות עם מנהלים בכירים.
ייתכן שהמנכ"ל, דאג מריט, אישר את הרעיון, וסמנכ"ל הכספים דאז של Splunk, שסיים את כהונתו באותו רגע ועזב את החברה, כנראה לא התנגד (במאי 2019 הם שכרו סמנכ"ל כספים חדש ).
כל מי שמשקיע בשוק האמריקאי, הדבר הראשון שיעשה הוא להסתכל כיצד הגיבו מניות Splunk לנסיגתן מהשוק הרוסי? התשובה היא לא דרך, ניטרלית (ראה תרשים). הירידה שלאחר מכן במניות מאז ה-1 במרץ 2019 קשורה לסיסקו - גורם מבפנים נכתב כי לכאורה הן נמכרו להן או לא (ולא נמכרו עד היום).
גרף יומי של מניות SPLK לאביב 2019. מקור: Tradingview
הגרף מראה שהסיבה המוצהרת רשמית לעזיבת הפדרציה הרוסית לגבי "אופטימיזציה למשקיעים" לא הייתה תירוץ של 100%, אבל לפחות נכונה חלקית. אפשר להבין את ההיגיון שלהם - עקומת הצמיחה של המניות באותה תקופה הייתה מרשימה (ואין בכך שום הצדקה לשוק הרוסי - הפד הוא שהזרים את שוק המניות האמריקאי בנזילות). יחד עם זאת, בקנה מידה של Splunk, העסקים בפדרציה הרוסית נראו רק דרך מיקרוסקופ (למרות כל המאמצים של שותפים בפדרציה הרוסית), ויש הרבה מהומה ובכל רגע אתה יכול ליפול תחת חלוקת סנקציות (שבתחילת 2019 הייתה סיכון ממשי).
דוגמה למוצר חלופי לאחר עלים של Splunk
למרות שלא היה ל-Splunk מתחרה ישיר בצורת פתרון מסחרי בשוק שלנו, מפתחים רוסים עשו ניסיונות ליצור אנלוגי שמתאים להם על בסיס פרויקטי הקוד הפתוח של ELK. זה נעשה בעיקר בחברות בינוניות שלא יכלו להרשות לעצמן לקנות את Splunk. אבל הנוהג לא הפך לנפוץ, כי מוצרים שנכתבו בעצמם נתמכים בהתלהבות של עובדים ספציפיים, ולאחר עזיבתם הם ננטשים.
יש גרסה מסחרית ל-ELK, אבל בפדרציה הרוסית יש לה ביקוש מינימלי ומתחרה במידה רבה בתוכנה חופשית.
הוא ראשי תיבות של שלושה פרויקטי קוד פתוח Elasticsearch, Logstash ו-Kibana. כאן Elasticsearch הוא חיפוש וניתוח, Logstash מעבד נתוני מכונה מכמה מקורות בו-זמנית, ו-Kibana הוא פרויקט ליצירת כלים להמחשת תוצאות מ- Elasticsearch ו-Logstash. למרות ש-ELK לא נועדה מלכתחילה לנתח נתוני מכונה, היא שימשה עד מהרה לעיבוד יומנים עם חותמת זמן.
המחבר אינו מתחייב לדבר על גורלן של כל חברות ה-IT בפדרציה הרוסית הקשורים ליישום Splunk, אך ישנו סיפור מעיד כיצד אירועי 2019 הפכו את העסק של VolgaBlob, שותף Splunk.
לוולגאלוב, כמו שותפים אחרים לשעבר של Splunk, צצו שתי נישות שוק לאחר שהספק עזב. הראשון הוא להמשיך ולשרת לקוחות עם רישיונות קיימים בפלטפורמת Splunk (וביניהם יש חברות עם רישיונות נצחיים), השני הוא לתת ללקוחות שרוצים לעבור לפלטפורמה אחרת אלטרנטיבה המבוססת על מוצר קוד פתוח.
כידוע, כל משבר מביא לא רק הפסדים, אלא גם הזדמנויות חדשות. VolgaBlob מצא את עצמו במצב קשה מאוד, מכיוון שהטמעה והתאמה אישית של מקרי שימוש ב-Splunk היו מקור ההזמנות המשמעותי שלהם, וכמובן, ההכנסה. במקום לסגור את העסק או לעבור לנישות אחרות, הם איגדו מחדש את הצוות, שכרו מפתחים חדשים והחלו להעביר את פיתוח האפליקציות שלהם מפלטפורמת Splunk ל-ELK.
"במהלך שנות הנוכחות של Splunk בשוק הרוסי, יצרנו מערך יישומים קנייני משלנו עבור Splunk, אשר קראנו להם Smart Monitor. הוא מכיל את התכונות הפופולריות ביותר בקרב לקוחות רוסים. כשהספק עזב לפתע, נעזרנו בראיית הנולד שהוצגה אז וברצון לגוון בנושאי בחירת פלטפורמה לעבודה עם נתוני מכונה", אומר אלכסנדר סקקונוב.
כאילו מגיב לעזיבתו של הספק "... אולי יהיו בעלי מלאכה שיעשו אלטרנטיבה", הצליחה VolgaBlob תוך זמן קצר ליישם סט כלים אנליטיים של Smart Monitor, שפותחו בעבר עבור Splunk, אך כעת בפלטפורמת ELK. הפתרון החדש נקרא . אין לו מערכת אקולוגית משלו של יישומים ממפתחים עצמאיים אחרים. אבל יש לא מעט מודולי איסוף וניתוח נתונים שנבחרו על סמך מקרי שימוש מלקוחות קיימים, כלומר. מבוקש בשוק הרוסי.
Smart Monitor קוד פתוח הוצג בכנס לראשונה , שנערך ב-13 בנובמבר 2019 במוסקבה. השם הוא רצון להציע מוצר חלופי ולחשוף את הקלפים בנושא שמדאיג מאות חברות ברוסיה שהשתמשו בעבר ב-Splunk.
המחבר אינו רואה לנכון להעתיק לכאן חומרים מהכנס. מומחים העוסקים בתחום ניתוח נתוני מכונה ילמדו פרטים על המוצר המחליף את Splunk בדפי VB-Trend 2019. ולכל השאר, כולל המחבר, אנחנו יכולים פשוט לשמוח עבור המפתחים הרוסים.
מקור: www.habr.com
