Година без Splunk - како американската компанија го промени пазарот за анализа на машински податоци во Руската Федерација и кого остави зад себе

Пред речиси една година, Сплунк исчезна во Русија. Оваа статија е во голема мера преглед. Станува збор за машински податоци, и за пазарна ниша, и за пример за замена на увозот што се случи без гласни слогани - едноставно затоа што тоа го бараше пазарот. Ексклузивно - верзијата на авторот за причината за заминувањето на Сплунк од Русија, но можно е сè да беше сосема поинаку.

Многу текст, 15 илјади карактериВреме на читање прибл.
10 мин.

Што се машински податоци?

Иако многумина од нас многу почесто го слушаат терминот „големи податоци“, ние ќе зборуваме за податоци за машината, т.е. дигитално генерирани податоци од широк спектар на извори. И поентата не е во стеснувањето на предметната област, туку во точноста на дефиницијата.

Машински податоци се сите податоци генерирани од дигитални уреди. Тие вклучуваат дневници од корпоративни сервери и мрежни уреди, податоци од сензори на индустриски системи и IoT уреди, пораки до корпоративна е-пошта, активност на веб-сервер, евиденција на вработени кои влегуваат и излегуваат од нивните сметки, финансиски трансакции во дигитална форма, повици до услугата за поддршка на компанијата и многу, многу повеќе.

Важно е меѓу чисто техничките пораки во машинските податоци да има огромна количина на информации што ги одразуваат деловните процеси на организацијата - интеракцијата на бизнисот со нејзините договорни страни и посредници (банки, осигурителни и услужни компании, регулаторни органи). Статистика за активноста на вработените во корпоративната мрежа и при физичко движење низ претпријатието, движење на стоки низ складиштето, побарувачка и времетраење на услугите итн. - сето ова е исто така машински податоци.

Следно, се појавува идеја: анализирајте ги податоците од машината за да ги идентификувате тесните грла во ИТ системите и бизнисот, да го оптимизирате квалитетот на услугите на клиентите, да пронајдете слабости во безбедноста на информациите на претпријатието и траги од постапките на измамниците.

Предизвикот со користење на машински податоци е тоа што доаѓа во неверојатен број формати.

Идејата е точна, но тешка за спроведување. Предизвикот со машинските податоци е што тие доаѓаат во вртоглава низа формати, а традиционалните алатки за следење и анализа не се дизајнирани да се справуваат со разновидноста, брзината, волуменот или варијабилноста на тие податоци.

Почнавме со SIEM системи и деловна аналитика и завршивме со решенијата Splunk

Кога започна проучувањето на применливоста на машинските податоци пред околу 10 години, на пазарот почнаа да се појавуваат софтверски решенија за нивна обработка и анализа. Во обид да ги создадат најдобрите алатки во својата класа, програмерите почнаа да ја стеснуваат предметната област на анализа на машински податоци.

Така се појавија системите SIEM (Безбедносни информации и управување со настани) и достигнаа високо ниво на зрелост. Станува збор за софтверски производи од областа на информациската безбедност (ИС). Тие ги следат информациските системи во реално време, собираат и анализираат машински податоци поврзани со безбедноста на информациите. Опсегот на SIEM системите вклучува сервери, мрежни уреди, сензори, десктоп и мобилни уреди, алатки за безбедност на информации, системска и апликациска инфраструктура.

Друга гранка на машинската анализа на податоци станаа системи за следење на состојбата на ИТ инфраструктурата. Третиот се системи за деловна интелигенција (БИ, деловна интелигенција), кои ги анализираат деловните процеси врз основа на низа податоци поврзани со деловната активност на претпријатието.

Она што е добро е што е постигнат значителен напредок во секоја од наведените гранки на машинска анализа на податоци и достојни решенија и производи се донесени на пазарот. Она што не е толку одлично е тоа што интеграцијата на хетерогени системи за следење на ИТ инфраструктурата, снимање и спречување инциденти со безбедноста на информациите и анализа на деловните процеси се покажа како доста сложена работа, понекогаш потсетувајќи на „вкрстување еж и змија“.

Кога овој проблем стана препознаен од пазарот, различни продавачи ги насочија напорите на нивните развивачи да создадат универзален систем за анализа на податоците од машината. Односно, систем кој сам ќе може да одговори и на прашањето на ЦИО – „Зошто имам толку нерамномерно оптоварување на серверот“, и на прашањето на извршниот директор – „Кој од деловните процеси на претпријатието нè води до профит, а кои нè водат до стечај“.

Генерално, пазарот се согласува дека најуспешното универзално решение за анализа на машински податоци го понуди американската компанија Splunk.

Така се случи најуспешното универзално решение за анализа на машински податоци да го понуди американската компанија Splunk. И покрај фактот дека Splunk има конкуренти како што се IBM, BMC Software, Microsoft, Quest Software, како и опции за имплементација на аналитика на стекот ELK со отворен код. Но, решенијата од Splunk беа тие што станаа лидери на пазарот. Splunk Enterprise — производ со најширока функционалност стана де факто индустриски стандард за сложени системи за анализа на машински податоци за големи претпријатија.

Пазарот ги прифати производите на Splunk првенствено поради нивната одлична комбинација на леснотија на инсталација, флексибилност на конфигурацијата и разновидни аналитички алатки. Splunk има свој екосистем наречен Splunkbase. Овде, програмерите и клиентите кои се дел од заедницата Splunk објавуваат различни додатоци, додатоци за технологија и апликации кои решаваат различни проблеми. На пример, таму можете да преземате апликации, од кои едната собира дневници од уредите на Cisco, втората од мрежни уреди од друг производител итн. Оваа интеракција им користи и на програмерите и на клиентите.

Општ приказ на екранот Splunkbase. Извор: Splunk

Одблиску на примери на додатоци и апликации во Splunkbase. Бројот на преземања е означен како метрика на популарност. Извор: Splunk

Ако навлеземе малку подлабоко во екосистемот Splunkbase, можеме да ги објасниме разликите - апликацијата се разликува од додатокот по тоа што апликацијата има графички интерфејс. Тоа се визуелни панели, контролни табли (бирање), форми, дијаграми кои ви дозволуваат да видите аналитика за проблем адресиран до системот во графички интерфејс. Корисникот може да изгради пребарувања и аналитика врз основа на различни параметри, навлегувајќи колку што е можно подлабоко во временскиот дел на настаните што се случиле за да се идентификуваат причините за она што се случило.

Историјата на Splunk во Русија е светла, но краткотрајна

Производот богат со функционалност како Splunk не можеше да го избегне вниманието на ЦИО на големите руски компании. На крајот на краиштата, колку е поголемо претпријатието, толку е потешко да се управува со него и да се идентификуваат факторите кои влијаат на деловната ефикасност, стабилноста на ИТ инфраструктурата и алатките за безбедност на информациите.

Презентација на Splunk Enterprise решението (https://www.volgablob.ru/ru/solutions/splunk). Извор: VolgaBlob

Splunk дојде во Русија на крајот на 2013 година и почна да гради партнерска мрежа според класичната шема - дистрибутер на лиценца (RRC) и партнери за имплементација (VolgaBlob, TS Solution, Talmer). Имајќи предвид дека цената на лиценците за Splunk е доста висока, а продавачот беше фокусиран на клиенти од големи бизниси (и сите се против нив), бројот на партнери беше мал.

VolgaBlob стана еден од првите партнери кои почнаа да работат со решенијата Splunk. Претходните 10 години искуство во развојот, прилагодувањето и имплементацијата на алатките за безбедност на информациите беа многу корисни.

„Бевме доста зрел играч на пазарот за сајбер безбедност, но Splunk стана вистинско откритие (!) и нова возбудлива перспектива за нас. Почнавме да ја развиваме нашата експертиза во областа на анализа на деловните процеси, вклучително и во интерфејсот со безбедноста на информациите, да изградиме сет од нашите технички конектори и апликации во екосистемот Splunk и да го нудиме сето тоа во рамките на специфични комплетни кориснички случаи за федерални компании на ниво“, ги споделува своите впечатоци Александар Скакунов, извршен директор на VolgaBlob.

До 2018 година, во која најголемиот број проекти базирани на Splunk Enterprise беа завршени во Русија, клиентите што користат Splunk веќе вклучуваа брендови како Роснефт и SUEK, Sberbank и Tinkoff Bank, MTS, Moscow Exchange и Megafon. Кулминација на настаните беше конференцијата Splunk Discovery Day Moscow 0, импресивна по бројот на учесници и нивото на извештаи, на 2018 октомври 2018 година. Полна сала и директори на директори од многу компании. Кој од учесниците тогаш можеше да замисли дека само 3 месеци подоцна ќе има сосема различни расположенија на пазарот.

Фотографии од конференцијата Splunk Discovery Day Moscow 2018. Извор: avleonov.com

На 19 февруари 2019 година, Splunk го објави своето итно повлекување од рускиот пазар, неочекувано за нашата ИТ заедница. Партнерите и клиентите кои останаа збунети можеа да прочитаат само неразбирливо соопштение за печатот на веб-страницата на продавачот. Во него, заминувањето од Русија беше нејасно објаснето со „инвестициски причини“. Сите обиди на партнерите да добијат поразбирливи објаснувања биле залудни.

Не само партнерите на Splunk доживеале непријатни сензации, туку и клиентите на кои одеднаш им бил прекинат пристапот до нивните сметки. Кога по неколку дена страстите малку стивнаа (види повеќе детали за Хабре), Splunk рече дека клиентите со активни лиценци можат да ги користат нивните сметки додека не им истечат лиценците, а партнерите можат да продолжат да ги опслужуваат на сопствен ризик, но без помош од продавачот.

Верзијата на авторот за заминувањето на Сплунк од Русија, но можно е се да не било така

Во овој дел ќе имаме анти-херој, има дури двајца, и двајцата од Splunk - Даг Мерит (CEO) и Кери Пејлин (CMO, главен маркетинг директор).

Јавните американски компании имаат прекрасен дел од нивната веб-страница каде од нив се бара да ја откријат својата деловна ситуација на инвеститорите. Од таму можете да го дознаете следново: 19.02.2019 година, кога Splunk (SPLK, NASDAQ) објави соопштение за напуштање на Русија, тоа беше првиот работен ден на Кери Пејлин, CMO - таа штотуку беше ангажирана. Но, одлуката за напуштање на Руската Федерација веројатно е донесена малку порано. Најверојатно, имало консултации со неа, преговори уште пред официјалниот прв работен ден и намалување на трошоците при напуштањето на Руската Федерација беше нејзиниот предлог за „свежи маркетинг идеи“, како што е вообичаено на интервјуата со врвните менаџери.

Извршниот директор, Даг Мерит, можеби ја одобрил идејата, а тогашниот CFO (главен финансиски директор) на Splunk, кој го финализираше својот мандат во тој момент и ја напушташе компанијата, очигледно не се спротивстави (во мај 2019 година вработија нов CFO ).

Првото нешто што ќе го направи секој кој инвестира на американскиот пазар е да погледне како акциите на Splunk реагираа на нивното излегување од рускиот пазар? Одговорот не е начин, неутрален (види графикон). Последователниот пад на акциите од 1 март 2019 година е поврзан со Cisco - инсајдерски беше фрлен во тоа што тие наводно или биле продадени на нив или не (и не се продадени до ден-денес).

Дневен графикон на акции на SPLK за пролет 2019 година. Извор: Tradingview

Графиконот покажува дека официјално наведената причина за напуштање на Руската Федерација за „оптимизација за инвеститорите“ не беше 100% изговор, но барем делумно вистинита. Можете да ја разберете нивната логика - кривата на раст на акциите во тоа време беше импресивна (и нема никаква заслуга во тоа за рускиот пазар - Банката на федерални резерви беше таа што ја пумпаше американската берза со ликвидност). Во исто време, на скалата на Splunk, бизнисот во Руската Федерација беше видлив само преку микроскоп (и покрај сите напори на партнерите во Руската Федерација), а има многу гужва и во секој момент може да паднете под Дистрибуцијата на санкции (што на почетокот на 2019 година беше многу реален ризик).

Пример за производ за замена по листовите Splunk

Иако Splunk немаше директен конкурент во форма на комерцијално решение на нашиот пазар, руските програмери направија обиди да создадат аналог што ќе им одговара врз основа на проектите со отворен код на ELK. Ова беше направено главно во средни компании кои не можеа да си дозволат да купат Splunk. Но, практиката не стана широко распространета, бидејќи Производите кои сами се пишуваат се поддржани од ентузијазмот на одредени вработени, а по нивното заминување се напуштаат.

Постои комерцијална верзија за Elk, но во Руската Федерација е во минимална побарувачка и во голема мерка се натпреварува со слободен софтвер.

ELK е акроним за три проекти со отворен код Elasticsearch, Logstash и Kibana. Овде Elasticsearch е пребарување и аналитика, Logstash обработува машински податоци од повеќе извори истовремено, а Kibana е проект за создавање алатки за визуелизација на резултатите од Elasticsearch и Logstash. Иако Елк првично не беше насочена кон анализирање на податоците за машината, наскоро се користеше за обработка на трупци со временски печат.

Авторот не се обврзува да зборува за судбината на сите ИТ компании во Руската Федерација поврзани со имплементацијата на Splunk, но има индикативна приказна за тоа како настаните од 2019 година го претворија бизнисот на VolgaBlob, партнер на Splunk.

Волгаблоб, како и другите поранешни партнери на Splunk, имаше две пазарни ниши кои се појавија по заминувањето на продавачот. Првата е да продолжиме да им служиме на клиентите со постоечки лиценци на платформата Splunk (а меѓу нив има и компании со вечни лиценци), втората е да им дадеме на клиентите кои сакаат да мигрираат на друга платформа алтернатива базирана на производ со отворен код.

Како што знаете, секоја криза носи не само загуби, туку и нови можности. VolgaBlob се најде во многу тешка ситуација, бидејќи имплементацијата и прилагодувањето на случаите за употреба на Splunk беа нивниот значаен извор на нарачки и, природно, приход. Наместо да го затворат бизнисот или да се преселат во други ниши, тие го регрупираа тимот, ангажираа нови програмери и почнаа да го преместуваат нивниот развој на апликации од платформата Splunk на ELK.

„Во текот на годините на присуство на Splunk на рускиот пазар, создадовме сопствен сет на апликации за Splunk, кои ги нарековме Smart Monitor. Ги содржи најпопуларните карактеристики кај руските клиенти. Кога продавачот ненадејно си замина, ни помогна тогашната предвидливост и желбата за диверзификација во однос на изборот на платформа за работа со машински податоци“, вели Александар Скакунов.

Како да одговара на коментар од Хабр до заминувањето на продавачот „... Можеби ќе има занаетчии кои ќе направат алтернатива“, VolgaBlob успеа за кратко време да имплементира сет на аналитички алатки Smart Monitor, претходно развиени за Splunk, но сега на платформата ELK. Се викаше новото решение Паметен монитор со отворен код. Нема сопствен екосистем на апликации од други независни програмери. Но, има неколку модули за собирање податоци и аналитика избрани врз основа на случаи на употреба од постоечки клиенти, т.е. на побарувачката на рускиот пазар.

На конференцијата за прв пат беше претставен Smart Monitor Open Source VB-Trend 2019: План > Б, одржана на 13 ноември 2019 година во Москва. Името е желба да се понуди производ за замена и да се откријат картичките на тема што загрижува стотици компании во Русија кои претходно користеле Splunk.

Авторот не смета дека е коректно овде да се препишуваат материјали од конференцијата. Специјалисти кои работат во областа на анализа на машински податоци ќе дознаат детали за производот што го заменува Splunk на страниците на VB-Trend 2019. И за сите други, вклучувајќи го и авторот, можеме едноставно да бидеме среќни за руските програмери.

Извор: www.habr.com