Prije skoro godinu dana Splunk je nestao u Rusiji. Ovaj članak je uglavnom pregled. Riječ je i o mašinskim podacima, i o tržišnoj niši, i o primjeru supstitucije uvoza koja se desila bez glasnih slogana – jednostavno zato što je tržište to zahtijevalo. Ekskluzivno - autorska verzija razloga Splunkovog odlaska iz Rusije, ali moguće je da je sve bilo potpuno drugačije.
Mnogo teksta, 15 hiljada karakteraVrijeme čitanja cca.
10 min
Šta su mašinski podaci?
Iako mnogi od nas mnogo češće čuju pojam “Big Data”, govorit ćemo o mašinskim podacima, tj. digitalno generisani podaci iz širokog spektra izvora. I poenta nije u sužavanju predmetne oblasti, već u tačnosti definicije.
Podaci o stroju su svi podaci generirani digitalnim uređajima. To uključuje zapise sa korporativnih servera i mrežnih uređaja, podatke sa senzora industrijskih sistema i IoT uređaja, poruke na korporativnu e-poštu, aktivnosti na web serveru, evidenciju zaposlenih koji se prijavljuju i odjavljuju sa svojih naloga, finansijske transakcije u digitalnom obliku, pozive na usluga podrške kompanije i još mnogo, mnogo više.
Važno je da se među čisto tehničkim porukama u mašinskim podacima nalazi ogromna količina informacija koje odražavaju poslovne procese organizacije - interakciju preduzeća sa svojim partnerima i posrednicima (banke, osiguravajuće i uslužne kompanije, regulatorna tijela). Statistika aktivnosti zaposlenih u korporativnoj mreži i tokom fizičkog kretanja po preduzeću, kretanja robe kroz skladište, potražnje i trajanja usluga itd. - sve ovo su takođe mašinski podaci.
Zatim se nameće ideja: analizirati mašinske podatke da bi se identifikovala uska grla u IT sistemima i poslovanju, optimizovala kvalitet usluge za korisnike, pronašla ranjivosti u informacionoj bezbednosti preduzeća i tragove akcija prevaranata.
Izazov s korištenjem mašinskih podataka je to što oni dolaze u nevjerovatnom broju formata.
Ideja je tačna, ali teška za implementaciju. Izazov sa mašinskim podacima je u tome što dolaze u vrtoglavom nizu formata, a tradicionalni alati za praćenje i analizu nisu dizajnirani da obrađuju raznolikost, brzinu, volumen ili varijabilnost tih podataka.
Počeli smo sa SIEM sistemima i poslovnom analitikom, a završili sa Splunk rješenjima
Kada je prije 10-ak godina počelo proučavanje primjenjivosti mašinskih podataka, na tržištu su se počela pojavljivati softverska rješenja za njihovu obradu i analizu. U nastojanju da stvore najbolje alate u svojoj klasi, programeri su počeli da sužavaju predmetnu oblast analize mašinskih podataka.
Tako su nastali SIEM (Security Information and Event Management) sistemi koji su dostigli visok nivo zrelosti. Riječ je o softverskim proizvodima iz oblasti informacione sigurnosti (IS). Oni prate informacione sisteme u realnom vremenu, prikupljaju i analiziraju mašinske podatke koji se odnose na bezbednost informacija. Opseg SIEM sistema uključuje servere, mrežne uređaje, senzore, desktop i mobilne uređaje, alate za sigurnost informacija, infrastrukturu sistema i aplikacija.
Druga grana analize mašinskih podataka postali su sistemi za praćenje stanja IT infrastrukture. Treći su sistemi poslovne inteligencije (BI, Business intelligence), koji analiziraju poslovne procese na osnovu niza podataka vezanih za poslovnu aktivnost preduzeća.
Ono što je dobro je da je napravljen značajan napredak u svakoj od navedenih grana analize mašinskih podataka i da su na tržište izneta dostojna rešenja i proizvodi. Ono što nije tako sjajno je to što se integracija heterogenih sistema za praćenje IT infrastrukture, snimanje i prevenciju incidenata u informacijskoj sigurnosti i analizu poslovnih procesa pokazala kao prilično složena stvar koja ponekad podsjeća na „ukrštanje ježa i zmije“.
Kada je ovaj problem postao prepoznat na tržištu, različiti dobavljači su usmjerili napore svojih programera da stvore univerzalni sistem za analizu mašinskih podataka. Odnosno, sistem koji bi jedini bio u stanju da odgovori i na pitanje CIO – „Zašto imam tako neravnomerno opterećenje servera“, i na pitanje generalnog direktora – „Koji od poslovnih procesa preduzeća nas vode do profita, a koji nas dovode do bankrot.”
Općenito, tržište se slaže da je najuspješnije univerzalno rješenje za analizu mašinskih podataka ponudila američka kompanija Splunk.
Desilo se da je najuspješnije univerzalno rješenje za analizu mašinskih podataka ponudila američka kompanija Splunk. Uprkos činjenici da Splunk ima konkurenciju kao što su IBM, BMC Software, Microsoft, Quest Software, kao i opcije za implementaciju analitike na open source ELK steku. Ali rješenja iz Splunk-a su postala tržišni lideri. — proizvod sa najširom funkcionalnošću postao je de facto industrijski standard za složene sisteme za analizu mašinskih podataka za velika preduzeća.
Tržište je prihvatilo Splunk proizvode prvenstveno zbog njihove odlične kombinacije lakoće instalacije, fleksibilnosti konfiguracije i raznih analitičkih alata. Splunk ima svoj vlastiti ekosistem tzv . Ovdje programeri i klijenti koji su dio Splunk zajednice objavljuju razne dodatke, tehnološke dodatke i aplikacije koje rješavaju različite probleme. Na primjer, tamo možete preuzeti aplikacije, od kojih jedna prikuplja zapise sa Cisco uređaja, druga sa mrežnih uređaja drugog proizvođača itd. Ova interakcija koristi i programerima i klijentima.
Opšti pogled na ekran Splunkbase. Izvor: Splunk
Krupni plan primjera dodataka i aplikacija u Splunkbaseu. Broj preuzimanja je naznačen kao metrika popularnosti. Izvor: Splunk
Ako zađemo malo dublje u Splunkbase ekosistem, možemo objasniti razlike – aplikacija se razlikuje od dodatka po tome što aplikacija ima grafičko sučelje. To su vizuelni paneli, kontrolne table (brojčanici), obrasci, dijagrami koji vam omogućavaju da vidite analitiku o problemu upućenom sistemu u grafičkom interfejsu. Korisnik može izgraditi pretrage i analitiku na osnovu različitih parametara, zalazeći što je dublje moguće u vremenski interval događaja koji su se dogodili kako bi identificirao uzroke onoga što se dogodilo.
Istorija Splunka u Rusiji je svetla, ali kratkog veka
Proizvod tako bogat funkcionalnošću kao što je Splunk nije mogao izbjeći pažnju CIO-a velikih ruskih kompanija. Na kraju krajeva, što je preduzeće veće, to je teže njime upravljati i identifikovati faktore koji utiču na efikasnost poslovanja, stabilnost IT infrastrukture i alate za bezbednost informacija.
Pregledna prezentacija Splunk Enterprise rješenja (). Izvor: VolgaBlob
Splunk je došao u Rusiju na prijelazu 2013. godine i započeo izgradnju partnerske mreže prema klasičnoj shemi - distributer licence (RRC) i implementacijski partneri (VolgaBlob, TS Solution, Talmer). S obzirom da je cijena Splunk licenci prilično visoka, a dobavljač je bio fokusiran na klijente iz velikih preduzeća (a svi su protiv njih), broj partnera je bio mali.
VolgaBlob je postao jedan od prvih partnera koji je počeo raditi sa Splunk rješenjima. Prethodnih 10 godina iskustva u razvoju, prilagođavanju i implementaciji alata za sigurnost informacija bilo je vrlo korisno.
“Bili smo prilično zreo igrač na tržištu sajber sigurnosti, ali Splunk je postao pravo otkriće (!) i nova uzbudljiva perspektiva za nas. Počeli smo da razvijamo našu ekspertizu u oblasti analize poslovnih procesa, uključujući na interfejsu sa sigurnošću informacija, gradimo skup naših tehničkih konektora i aplikacija u Splunk ekosistemu i nudimo sve to u okviru konkretnih kompletnih korisničkih slučajeva za federalne- kompanije na nivou“, prenosi svoje utiske , izvršni direktor VolgaBlob.
Do 2018. godine, u kojoj je najveći broj projekata baziranih na Splunk Enterpriseu završen u Rusiji, klijenti koji koriste Splunk već su uključivali brendove kao što su Rosneft i SUEK, Sberbank i Tinkoff banka, MTS, Moskovska berza i Megafon. Kulminacija događaja bila je konferencija Splunk Discovery Day Moscow 0, impresivna po broju učesnika i nivou izvještaja, 2018. oktobra 2018. Puna sala i CIO-ovi iz mnogih kompanija. Ko je od učesnika tada mogao zamisliti da će samo 3 mjeseca kasnije na tržištu biti potpuno drugačija raspoloženja.
Fotografije sa konferencije Splunk Discovery Day Moscow 2018. Izvor:
Splunk je 19. februara 2019. najavio hitno povlačenje sa ruskog tržišta, neočekivano za našu IT zajednicu. Partneri i klijenti koji su ostali zbunjeni mogli su pročitati samo nerazumljivo . U njemu je odlazak iz Rusije nejasno objašnjen „razlozima ulaganja“. Svi pokušaji partnera da dobiju razumljivija objašnjenja bili su uzaludni.
Neugodne senzacije nisu doživjeli samo Splunk partneri, već i klijenti kojima je iznenada ukinut pristup računima. Kada su se posle nekoliko dana strasti malo stišale (), Splunk je rekao da kupci s aktivnim licencama mogu koristiti svoje račune dok im licence ne isteku, a partneri mogu nastaviti da ih opslužuju na vlastiti rizik, ali bez pomoći dobavljača.
Autorova verzija o Splunkovom odlasku iz Rusije, ali moguće je da sve nije bilo tako
U ovoj sekciji ćemo imati antiheroja, čak ih je dvoje, oba iz Splunka - Doug Merritt (CEO) i Carrie Palin (CMO, Chief Marketing Officer).
Javne američke kompanije imaju prekrasan dio svoje web stranice gdje se od njih traži da otkriju svoju poslovnu situaciju investitorima. Odatle možete saznati sljedeće: 19.02.2019., kada je Splunk (SPLK, NASDAQ) objavio saopštenje o napuštanju Rusije, bio je to prvi radni dan Carrie Palin, CMO - upravo je primljena. Ali odluka o napuštanju Ruske Federacije vjerovatno je donesena nešto ranije. Najvjerovatnije je bilo konsultacija s njom, pregovora i prije zvaničnog prvog dana rada i smanjenja troškova pri odlasku iz Ruske Federacije bio je njen prijedlog za “svježe marketinške ideje”, kako je to uobičajeno na razgovorima s top menadžerima.
Generalni direktor, Doug Merritt, možda je odobrio ideju, a tadašnji finansijski direktor (glavni finansijski direktor) Splunka, koji je u tom trenutku završavao svoj mandat i napuštao kompaniju, očigledno se nije protivio (u maju 2019. zaposlili su novog finansijskog direktora ).
Svako ko ulaže na američko tržište, prvo će pogledati kako su akcije Splunka reagovale na njihovo povlačenje sa ruskog tržišta? Odgovor je nikako, neutralan (vidi grafikon). Naknadni pad dionica od 1. marta 2019. godine povezan je sa Cisco-om - ubačen je insajder da su im one navodno ili prodate ili ne (i nisu prodate do danas).
Dnevni grafikon dionica SPLK-a za proljeće 2019. Izvor: Tradingview
Grafikon pokazuje da službeno naveden razlog za napuštanje Ruske Federacije o „optimizaciji za investitore“ nije bio 100% izgovor, već barem djelimično istinit. Možete razumjeti njihovu logiku - krivulja rasta dionica u to vrijeme bila je impresivna (a za rusko tržište u tome nema nikakve koristi - upravo je Fed napumpao američko tržište dionica likvidnošću). U isto vrijeme, na skali Splunk-a, poslovanje u Ruskoj Federaciji bilo je vidljivo samo kroz mikroskop (uprkos svim naporima partnera u Ruskoj Federaciji), a tu je puno gužve i u svakom trenutku možete pasti pod raspodjele sankcija (što je početkom 2019. predstavljalo vrlo realan rizik).
Primjer zamjenskog proizvoda nakon što Splunk ode
Iako Splunk nije imao direktnog konkurenta u obliku komercijalnog rješenja na našem tržištu, ruski programeri su pokušali stvoriti analog koji im odgovara na temelju projekata otvorenog koda ELK. To se uglavnom radilo u kompanijama srednje veličine koje nisu mogle priuštiti kupovinu Splunka. Ali praksa nije postala raširena, jer samostalno pisani proizvodi su potpomognuti entuzijazmom pojedinih zaposlenika, a nakon njihovog odlaska napuštaju se.
Postoji komercijalna verzija za ELK, ali u Ruskoj Federaciji je minimalna potražnja i u velikoj mjeri se takmiči sa slobodnim softverom.
je akronim za tri open source projekta Elasticsearch, Logstash i Kibana. Ovdje Elasticsearch predstavlja pretragu i analitiku, Logstash obrađuje mašinske podatke iz nekoliko izvora istovremeno, a Kibana je projekat za kreiranje alata za vizualizaciju rezultata iz Elasticsearch-a i Logstash-a. Iako ELK u početku nije bio usmjeren na analizu mašinskih podataka, ubrzo je korišten za obradu vremenskih zapisa.
Autor se ne obavezuje da govori o sudbini svih IT kompanija u Ruskoj Federaciji vezanih za implementaciju Splunka, ali je indikativna priča o tome kako su događaji iz 2019. godine preokrenuli poslovanje VolgaBloba, partnera Splunka.
Volgablob je, kao i drugi bivši Splunk partneri, imao dvije tržišne niše koje su se pojavile nakon što je prodavač otišao. Prvi je da se nastavi pružati usluge kupcima sa postojećim licencama na platformi Splunk (a među njima ima kompanija sa trajnim licencama), drugi je da se kupcima koji žele da pređu na drugu platformu ponudi alternativa bazirana na proizvodu otvorenog koda.
Kao što znate, svaka kriza donosi ne samo gubitke, već i nove prilike. VolgaBlob se našao u vrlo teškoj situaciji, jer im je implementacija i prilagođavanje slučajeva korištenja na Splunk-u bio značajan izvor narudžbi i, naravno, prihoda. Umjesto da zatvore posao ili pređu u druge niše, pregrupisali su tim, unajmili nove programere i počeli premeštati razvoj svojih aplikacija sa Splunk platforme na ELK.
“Tokom godina Splunk-ovog prisustva na ruskom tržištu, kreirali smo vlastiti vlasnički skup aplikacija za Splunk, koji smo nazvali Smart Monitor. Sadrži najpopularnije karakteristike među ruskim klijentima. Kada je prodavac iznenada otišao, pomogla nam je tada pokazana dalekovidnost i želja za diverzifikacijom u pitanjima izbora platforme za rad sa mašinskim podacima“, kaže Aleksandar Skakunov.
Kao da odgovara do odlaska dobavljača “... Možda će se naći majstori koji će napraviti alternativu”, VolgaBlob je uspio brzo implementirati set analitičkih alata Smart Monitor, koji je ranije razvijen za Splunk, ali sada na ELK platformi. Novo rješenje je nazvano . Nema vlastiti ekosistem aplikacija drugih nezavisnih programera. Ali postoji dosta modula za prikupljanje podataka i analitiku odabranih na osnovu slučajeva korištenja postojećih klijenata, tj. potražnje na ruskom tržištu.
Smart Monitor Open Source je prvi put predstavljen na konferenciji , održan 13. novembra 2019. godine u Moskvi. Naziv je želja da se ponudi zamjenski proizvod i otkriju kartice na temu koja brine stotine kompanija u Rusiji koje su ranije koristile Splunk.
Autor ne smatra ispravnim kopirati materijale sa konferencije ovdje. Stručnjaci koji rade u oblasti analize mašinskih podataka saznaće detalje o proizvodu koji zamenjuje Splunk na stranicama VB-Trend 2019. A za sve ostale, uključujući i autora, možemo jednostavno biti srećni zbog ruskih programera.
izvor: www.habr.com
