Գրեթե մեկ տարի առաջ Ռուսաստանում անհետացել է Սպլանկը։ Այս հոդվածը հիմնականում վերանայում է: Խոսքը գնում է մեքենայական տվյալների, շուկայական տեղամասի և ներմուծման փոխարինման օրինակի մասին, որը տեղի է ունեցել առանց բարձր կարգախոսների, պարզապես այն պատճառով, որ շուկան դա պահանջում էր: Բացառապես - Ռուսաստանից Սպլունկի հեռանալու պատճառի հեղինակային տարբերակը, բայց հնարավոր է, որ ամեն ինչ բոլորովին այլ էր:
Շատ տեքստ, 15 հազար նիշԸնթերցանության ժամանակը մոտ.
10 րոպե
Ի՞նչ է մեքենայի տվյալները:
Թեև մեզանից շատերը շատ ավելի հաճախ են լսում «Մեծ տվյալներ» տերմինը, մենք կխոսենք մեքենայական տվյալների մասին, այսինքն՝ թվային եղանակով գեներացված տվյալների՝ տարբեր աղբյուրներից: Եվ խոսքը ոչ թե առարկայական տարածքը նեղացնելու, այլ սահմանման ճշգրտության մեջ է։
Մեքենայի տվյալները թվային սարքերի կողմից ստեղծվող ցանկացած տվյալ է: Դրանք ներառում են կորպորատիվ սերվերների և ցանցային սարքերի տեղեկամատյաններ, արդյունաբերական համակարգերի և IoT սարքերի սենսորների տվյալները, կորպորատիվ էլ.
Կարևոր է, որ մեքենայական տվյալների մեջ զուտ տեխնիկական հաղորդագրությունների մեջ կա կազմակերպության բիզնես գործընթացներն արտացոլող տեղեկատվության հսկայական քանակություն՝ բիզնեսի փոխազդեցությունը իր գործընկերների և միջնորդների հետ (բանկեր, ապահովագրական և սպասարկման ընկերություններ, կարգավորող մարմիններ): Աշխատակիցների գործունեության վիճակագրությունը կորպորատիվ ցանցում և ձեռնարկության շուրջ ֆիզիկական տեղաշարժի ժամանակ, պահեստով ապրանքների տեղաշարժը, ծառայությունների պահանջարկը և տևողությունը և այլն, այս ամենը նաև մեքենայական տվյալներ են:
Հաջորդը, առաջանում է գաղափար. վերլուծել մեքենայի տվյալները՝ ՏՏ համակարգերում և բիզնեսում խոչընդոտները հայտնաբերելու, հաճախորդների սպասարկման որակը օպտիմալացնելու, ձեռնարկության տեղեկատվական անվտանգության խոցելիության և խարդախների գործողությունների հետքեր գտնելու համար:
Մեքենայի տվյալների օգտագործման խնդիրն այն է, որ այն գալիս է անհավատալի թվով ձևաչափերով:
Գաղափարը ճիշտ է, բայց դժվար իրագործելի։ Մեքենայի տվյալների օգտագործման խնդիրն այն է, որ այն գալիս է ձևաչափերի գլխապտույտ զանգվածով, և ավանդական մոնիտորինգի և վերլուծության գործիքները նախատեսված չեն այդ տվյալների բազմազանությունը, արագությունը, ծավալը կամ փոփոխականությունը կարգավորելու համար:
Մենք սկսեցինք SIEM համակարգերից և բիզնես վերլուծությունից և ավարտեցինք Splunk լուծումներով
Երբ մոտ 10 տարի առաջ սկսվեց մեքենաների տվյալների կիրառելիության ուսումնասիրությունը, շուկայում սկսեցին հայտնվել դրանց մշակման և վերլուծության ծրագրային լուծումներ: Փորձելով ստեղծել իրենց դասի լավագույն գործիքները, մշակողները սկսեցին նեղացնել մեքենայական տվյալների վերլուծության առարկայական տարածքը:
Ահա թե ինչպես են առաջացել SIEM (Անվտանգության տեղեկատվության և իրադարձությունների կառավարում) համակարգերը և հասել հասունության բարձր մակարդակի: Սրանք տեղեկատվական անվտանգության (IS) ոլորտում ծրագրային արտադրանք են: Նրանք իրական ժամանակում վերահսկում են տեղեկատվական համակարգերը, հավաքում և վերլուծում են մեքենայական տվյալները՝ կապված տեղեկատվական անվտանգության հետ: SIEM համակարգերի շրջանակը ներառում է սերվերներ, ցանցային սարքեր, սենսորներ, աշխատասեղան և շարժական սարքեր, տեղեկատվական անվտանգության գործիքներ, համակարգի և հավելվածի ենթակառուցվածք:
Մեքենայի տվյալների վերլուծության մեկ այլ ճյուղ դարձավ ՏՏ ենթակառուցվածքի վիճակի մոնիտորինգի համակարգերը: Երրորդը բիզնես ինտելեկտի համակարգերն են (BI, Business Intelligence), որոնք վերլուծում են բիզնես գործընթացները՝ հիմնվելով ձեռնարկության բիզնես գործունեության հետ կապված տվյալների զանգվածի վրա:
Լավն այն է, որ զգալի առաջընթաց է արձանագրվել մեքենայական տվյալների վերլուծության նշված ճյուղերից յուրաքանչյուրում, և շուկա են հանվել արժանի լուծումներ և ապրանքներ: Այն, ինչ այնքան էլ հիանալի չէ, այն է, որ ՏՏ ենթակառուցվածքի մոնիտորինգի, տեղեկատվական անվտանգության միջադեպերի գրանցման և կանխարգելման, բիզնես գործընթացների վերլուծության համար տարասեռ համակարգերի ինտեգրումը բավականին բարդ խնդիր է, որը երբեմն հիշեցնում է «ոզնի ու օձի խաչմերուկ»:
Երբ այս խնդիրը ճանաչվեց շուկայի կողմից, տարբեր վաճառողներ ուղղեցին իրենց մշակողների ջանքերը՝ ստեղծելու մեքենայի տվյալների վերլուծության ունիվերսալ համակարգ: Այսինքն՝ մի համակարգ, որը միայնակ կկարողանա պատասխանել CIO-ի հարցին՝ «Ինչու ես ունեմ այդքան անհավասար սերվերի ծանրաբեռնվածություն», և գործադիր տնօրենի հարցին՝ «Ձեռնարկության բիզնես գործընթացներից որո՞նք են մեզ տանում դեպի շահույթ, և որոնք են մեզ տանում դեպի սնանկ»:
Ընդհանուր առմամբ, շուկան համաձայն է, որ մեքենաների տվյալների վերլուծության ամենահաջող ունիվերսալ լուծումն առաջարկել է ամերիկյան Splunk ընկերությունը։
Այնպես ստացվեց, որ մեքենաների տվյալների վերլուծության ամենահաջող ունիվերսալ լուծումն առաջարկեց ամերիկյան Splunk ընկերությունը։ Չնայած այն հանգամանքին, որ Splunk-ն ունի մրցակիցներ, ինչպիսիք են IBM-ը, BMC Software-ը, Microsoft-ը, Quest Software-ը, ինչպես նաև բաց կոդով ELK stack-ում վերլուծություններ իրականացնելու տարբերակներ: Բայց հենց Splunk-ի լուծումներն են դարձել շուկայի առաջատարներ: — Ամենալայն ֆունկցիոնալությամբ արտադրանքը դարձել է խոշոր ձեռնարկությունների համար մեքենայական տվյալների վերլուծության բարդ համակարգերի դե ֆակտո արդյունաբերական ստանդարտ:
Շուկան ընդունել է Splunk-ի արտադրանքը հիմնականում տեղադրման հեշտության, կազմաձևման ճկունության և մի շարք վերլուծական գործիքների հիանալի համակցության համար: Splunk-ն ունի իր սեփական էկոհամակարգը, որը կոչվում է . Այստեղ Splunk համայնքի մաս կազմող մշակողները և հաճախորդները տեղադրում են տարբեր հավելումներ, տեխնոլոգիական հավելումներ և հավելվածներ, որոնք լուծում են տարբեր խնդիրներ: Օրինակ, այնտեղ կարող եք ներբեռնել հավելվածներ, որոնցից մեկը հավաքում է տեղեկամատյաններ Cisco սարքերից, երկրորդը՝ մեկ այլ արտադրողի ցանցային սարքերից և այլն։ Այս փոխազդեցությունը օգուտ է տալիս ինչպես մշակողներին, այնպես էլ հաճախորդներին։
Splunkbase էկրանի ընդհանուր տեսքը: Աղբյուր՝ Splunk
Splunkbase-ում հավելումների և հավելվածների օրինակներ մոտիկից: Ներբեռնումների քանակը նշվում է որպես ժողովրդականության ցուցանիշ: Աղբյուր՝ Splunk
Եթե մենք մի փոքր խորանանք Splunkbase էկոհամակարգի մեջ, կարող ենք բացատրել տարբերությունները. հավելվածը տարբերվում է հավելումից նրանով, որ հավելվածն ունի գրաֆիկական ինտերֆեյս: Սրանք վիզուալ վահանակներ են, վահանակներ (հավաքիչներ), ձևաթղթեր, դիագրամներ, որոնք թույլ են տալիս համակարգին ուղղված խնդրի վերաբերյալ վերլուծություն տեսնել գրաֆիկական ինտերֆեյսի միջոցով: Օգտագործողը կարող է ստեղծել որոնումներ և վերլուծություններ՝ հիմնվելով տարբեր պարամետրերի վրա՝ հնարավորինս խորանալով տեղի ունեցած իրադարձությունների ժամանակային հատվածում՝ պարզելու տեղի ունեցածի պատճառները:
Ռուսաստանում Splunk-ի պատմությունը վառ է, բայց կարճատև
Splunk-ի նման ֆունկցիոնալությամբ հարուստ արտադրանքը չէր կարող վրիպել ռուսական խոշոր ընկերությունների CIO-ի ուշադրությունից: Ի վերջո, որքան մեծ է ձեռնարկությունը, այնքան ավելի դժվար է այն կառավարելը և բացահայտել բիզնեսի արդյունավետության, ՏՏ ենթակառուցվածքի կայունության և տեղեկատվական անվտանգության գործիքների վրա ազդող գործոնները:
Splunk Enterprise լուծման համառոտ ներկայացում () Աղբյուր՝ VolgaBlob
Splunk-ը Ռուսաստան եկավ 2013-ի վերջին և սկսեց գործընկեր ցանց կառուցել դասական սխեմայի համաձայն՝ լիցենզիայի դիստրիբյուտոր (RRC) և իրականացման գործընկերներ (VolgaBlob, TS Solution, Talmer): Հաշվի առնելով, որ Splunk լիցենզիաների արժեքը բավականին բարձր է, և վաճառողը կենտրոնացած էր խոշոր բիզնեսի հաճախորդների վրա (և նրանք բոլորը դեմ են), գործընկերների թիվը փոքր էր:
VolgaBlob-ը դարձավ առաջին գործընկերներից մեկը, ով սկսեց աշխատել Splunk լուծումներով: Տեղեկատվական անվտանգության գործիքների մշակման, հարմարեցման և ներդրման նախորդ 10 տարվա փորձը շատ օգտակար էր:
«Մենք բավականին հասուն խաղացող էինք կիբերանվտանգության շուկայում, բայց Splunk-ը դարձավ իսկական հայտնագործություն (!) և նոր հուզիչ հեռանկար մեզ համար: Մենք սկսեցինք զարգացնել մեր փորձը բիզնես գործընթացների վերլուծության ոլորտում, ներառյալ տեղեկատվական անվտանգության ինտերֆեյսը, ստեղծել մեր տեխնիկական միակցիչներ և հավելվածներ Splunk էկոհամակարգում և առաջարկել այն ամենը, ինչ դաշնային ընկերությունների համար: , VolgaBlob-ի գործադիր տնօրեն.
Մինչև 2018 թվականը, որում Splunk Enterprise-ի վրա հիմնված ամենամեծ թվով նախագծերն ավարտվեցին Ռուսաստանում, Splunk-ի օգտագործող հաճախորդներն արդեն ներառում էին այնպիսի ապրանքանիշեր, ինչպիսիք են Rosneft-ը և SUEK-ը, Sberbank-ը և Tinkoff Bank-ը, MTS-ը, Moscow Exchange-ը և Megafon-ը: Միջոցառումների գագաթնակետը Splunk Discovery Day Moscow 0 կոնֆերանսն էր, որը տպավորիչ էր մասնակիցների քանակով և շնորհանդեսների մակարդակով, 2018 թվականի հոկտեմբերի 2018-ին: Լեփ-լեցուն դահլիճ և բազմաթիվ ընկերությունների CIO-ներ: Այնուհետև մասնակիցներից ով կարող էր պատկերացնել, որ ընդամենը 3 ամիս անց շուկայում բոլորովին այլ տրամադրություններ են լինելու։
Լուսանկարներ Splunk Discovery Day Moscow 2018 կոնֆերանսից: Աղբյուր.
19 թվականի փետրվարի 2019-ին Splunk-ը հայտարարեց իր շտապ դուրս գալու մասին ռուսական շուկայից՝ անսպասելիորեն մեր ՏՏ համայնքի համար: Գործընկերներն ու հաճախորդները, ովքեր մնացել էին շփոթված, կարող էին կարդալ միայն անհասկանալի . Դրանում Ռուսաստանից հեռանալը անորոշ կերպով բացատրվում էր «ներդրումային պատճառներով»։ Ավելի հասկանալի բացատրություններ ստանալու գործընկերների բոլոր փորձերն ապարդյուն անցան։
Տհաճ սենսացիաներ են ապրել ոչ միայն Splunk-ի գործընկերները, այլ նաև հաճախորդները, որոնց մուտքն անսպասելիորեն անջատվել է: Երբ մի քանի օր անց կրքերը մի փոքր հանդարտվեցին (Splunk-ն ասաց, որ ակտիվ լիցենզիա ունեցող հաճախորդները կարող են օգտագործել իրենց հաշիվները մինչև լիցենզիաների ժամկետի ավարտը, և գործընկերները կարող են շարունակել սպասարկել դրանք իրենց ռիսկով, բայց առանց վաճառողի օգնության:
Ռուսաստանից Սպլունկի հեռանալու մասին հեղինակային վարկածը, սակայն հնարավոր է, որ ամեն ինչ այդպես չի եղել
Այս բաժնում մենք կունենանք հակահերոս, նրանք նույնիսկ երկուսն են, երկուսն էլ Splunk-ից՝ Դագ Մերիթը (գործադիր տնօրեն) և Քերի Փեյլինը (CMO, գլխավոր մարքեթինգի տնօրեն):
Ամերիկյան հանրային ընկերություններն ունեն իրենց կայքի հիանալի բաժին, որտեղ նրանցից պահանջվում է բացահայտել իրենց բիզնեսի իրավիճակը ներդրողներին: Այնտեղից կարող եք պարզել հետևյալը. 19.02.2019, երբ Splunk-ը (SPLK, NASDAQ) հրապարակեց հաղորդագրություն Ռուսաստանից հեռանալու մասին, դա Քերի Փեյլինի, CMO-ի առաջին աշխատանքային օրն էր, նա նոր էր աշխատանքի ընդունվել: Բայց Ռուսաստանի Դաշնությունից դուրս գալու որոշումը հավանաբար մի փոքր ավելի վաղ է կայացվել։ Ամենայն հավանականությամբ, նրա հետ խորհրդակցություններ են եղել, բանակցություններ նույնիսկ աշխատանքային պաշտոնական առաջին օրվանից առաջ և ծախսերի կրճատումը Ռուսաստանի Դաշնությունից հեռանալիս նրա առաջարկն էր «մարքեթինգային թարմ գաղափարների» համար, ինչպես ընդունված է թոփ մենեջերների հետ հարցազրույցներում:
Գործադիր տնօրեն Դագ Մերիթը, հնարավոր է, հավանություն է տվել գաղափարին, իսկ Splunk-ի այն ժամանակվա ֆինանսական տնօրենը (գլխավոր ֆինանսական տնօրեն), ով այդ պահին ավարտում էր իր պաշտոնավարումը և հեռանում ընկերությունը, ըստ երևույթին չառարկեց (2019թ. մայիսին նրանք վարձեցին նոր ֆինանսական տնօրեն):
Յուրաքանչյուր ոք, ով ներդրումներ է անում ամերիկյան շուկայում, առաջին բանը, որ նա կանի, այն է, թե ինչպես են Splunk-ի բաժնետոմսերը արձագանքել ռուսական շուկայից իրենց դուրս գալուն: Պատասխանը ոչ մի կերպ է, չեզոք (տե՛ս գծապատկերը): 1 թվականի մարտի 2019-ից բաժնետոմսերի հետագա անկումը կապված է Cisco-ի հետ. ինսայդերը նետվեց նրանով, որ դրանք իբր կամ վաճառվել են իրենց, կամ ոչ (և մինչ օրս չեն վաճառվել):
SPLK-ի բաժնետոմսերի ամենօրյա աղյուսակը 2019 թվականի գարնանը: Աղբյուրը՝ Tradingview
Գրաֆիկը ցույց է տալիս, որ «ներդրողների համար օպտիմալացման» մասին Ռուսաստանի Դաշնությունից հեռանալու պաշտոնապես հայտարարված պատճառը 100% արդարացում չէր, բայց գոնե մասամբ ճիշտ էր։ Դուք կարող եք հասկանալ նրանց տրամաբանությունը. բաժնետոմսերի աճի կորը այն ժամանակ տպավորիչ էր (և դրանում ոչ մի արժանիք չկա ռուսական շուկայի համար. դա Fed-ն էր, որը մղեց ամերիկյան ֆոնդային շուկան իրացվելիությամբ): Միևնույն ժամանակ, Splunk-ի մասշտաբով Ռուսաստանի Դաշնությունում բիզնեսը տեսանելի էր միայն մանրադիտակով (չնայած Ռուսաստանի Դաշնության գործընկերների բոլոր ջանքերին), և մեծ աղմուկ կա և ցանկացած պահի կարող եք ընկնել պատժամիջոցների բաշխման տակ (ինչը 2019-ի սկզբին շատ իրական ռիսկ էր):
Splunk-ի տերեւներից հետո փոխարինող արտադրանքի օրինակ
Թեև Splunk-ը մեր շուկայում առևտրային լուծման տեսքով ուղղակի մրցակից չուներ, ռուս ծրագրավորողները փորձեցին ստեղծել իրենց համապատասխան անալոգը՝ հիմնվելով ELK բաց կոդով նախագծերի վրա: Դա արվում էր հիմնականում միջին չափի ընկերություններում, որոնք չէին կարող իրենց թույլ տալ գնել Splunk-ը: Բայց պրակտիկան լայն տարածում չի գտել, քանի որ ինքնագրված արտադրանքը սատարվում է կոնկրետ աշխատակիցների ոգևորությամբ, իսկ նրանց հեռանալուց հետո դրանք լքվում են։
ELK-ի համար կա կոմերցիոն տարբերակ, բայց Ռուսաստանի Դաշնությունում այն նվազագույն պահանջարկ ունի և մեծապես մրցակցում է անվճար ծրագրերի հետ։
Elasticsearch, Logstash և Kibana երեք բաց կոդով նախագծերի հապավումն է: Այստեղ Elasticsearch-ը որոնում և վերլուծություն է, Logstash-ը մշակում է մեքենաների տվյալները միաժամանակ մի քանի աղբյուրներից, իսկ Kibana-ն Elasticsearch-ից և Logstash-ից արդյունքները պատկերացնելու գործիքներ ստեղծելու նախագիծ է: Թեև ELK-ն ի սկզբանե ուղղված չէր մեքենայական տվյալների վերլուծությանը, այն շուտով օգտագործվեց ժամանակի վրա դրոշմված տեղեկամատյանները մշակելու համար:
Հեղինակը չի պարտավորվում խոսել Ռուսաստանի Դաշնության բոլոր ՏՏ ընկերությունների ճակատագրի մասին, որոնք կապված են Splunk-ի ներդրման հետ, սակայն կա մի ցուցիչ պատմություն, թե ինչպես 2019 թվականի իրադարձությունները դարձրին Splunk-ի գործընկեր VolgaBlob-ի բիզնեսը:
Volgablob-ը, ինչպես Splunk-ի մյուս նախկին գործընկերները, վաճառողի հեռանալուց հետո ի հայտ եկան երկու շուկայական նիշեր: Առաջինը՝ շարունակել սպասարկել Splunk հարթակում առկա լիցենզիաներով հաճախորդներին (և դրանց թվում կան հավերժական լիցենզիաներ ունեցող ընկերություններ), երկրորդը՝ այլ հարթակ տեղափոխել ցանկացող հաճախորդներին այլընտրանք տալ բաց կոդով արտադրանքի վրա:
Ինչպես գիտեք, ցանկացած ճգնաժամ ոչ միայն կորուստներ է բերում, այլեւ նոր հնարավորություններ։ VolgaBlob-ը հայտնվեց շատ բարդ իրավիճակում, քանի որ Splunk-ում օգտագործման դեպքերի իրականացումն ու հարմարեցումը նրանց պատվերների և, բնականաբար, եկամուտների նշանակալի աղբյուրն էր: Բիզնեսը փակելու կամ այլ խորշեր տեղափոխվելու փոխարեն նրանք վերախմբավորեցին թիմը, վարձեցին նոր մշակողների և սկսեցին իրենց հավելվածների մշակումը Splunk հարթակից տեղափոխել ELK:
«Ռուսական շուկայում Splunk-ի ներկայության տարիների ընթացքում մենք ստեղծել ենք Splunk հավելվածների մեր սեփական հավաքածուն, որը մենք անվանել ենք Smart Monitor: Այն պարունակում է ռուս հաճախորդների շրջանում ամենատարածված հատկանիշները: Երբ վաճառողը հանկարծակի հեռացավ, մեզ օգնեց ժամանակին ցուցաբերած հեռատեսությունը և դիվերսիֆիկացնելու ցանկությունը մեքենայի տվյալների հետ աշխատելու հարցում», - ասում է Alexanderkunov-ը:
Ասես արձագանքում է մինչև վաճառողի հեռանալը «... Գուցե կլինեն արհեստավորներ, ովքեր այլընտրանք կստեղծեն», VolgaBlob-ին հաջողվեց արագորեն կիրառել Smart Monitor վերլուծական գործիքների մի շարք, որոնք նախկինում մշակվել էին Splunk-ի համար, բայց այժմ ELK հարթակում: Նոր լուծումը կոչվեց . Այն չունի այլ անկախ մշակողների հավելվածների սեփական էկոհամակարգը: Բայց կան բավականին շատ տվյալների հավաքագրման և վերլուծության մոդուլներ, որոնք ընտրված են գոյություն ունեցող հաճախորդների օգտագործման դեպքերի հիման վրա, այսինքն՝ պահանջարկ ունենալով ռուսական շուկայում:
Համաժողովում առաջին անգամ ներկայացվեց Smart Monitor Open Source-ը , տեղի է ունեցել 13 թվականի նոյեմբերի 2019-ին Մոսկվայում։ Անունը փոխարինող ապրանք առաջարկելու և քարտերը բացահայտելու ցանկություն է, որն անհանգստացնում է Ռուսաստանի հարյուրավոր ընկերությունների, որոնք նախկինում օգտագործել են Splunk-ը:
Հեղինակը կոռեկտ չի համարում կոնֆերանսից նյութեր արտագրել այստեղ։ Մեքենայի տվյալների վերլուծության ոլորտում աշխատող մասնագետները Splunk-ին փոխարինող արտադրանքի մասին մանրամասներ կսովորեն VB-Trend 2019-ի էջերում: Իսկ մնացած բոլորի համար, ներառյալ հեղինակը, մենք կարող ենք պարզապես ուրախ լինել ռուս մշակողների համար:
Source: www.habr.com
