Ovaj rujan Broadcom (bivši CA) predstavio je novu verziju 20.2 svog rješenja DX Operations Intelligence (DX OI). Na tržištu se ovaj proizvod pozicionira kao sistem praćenja u punom opsegu. Sistem je sposoban primati i objedinjavati podatke iz sustava praćenja različitih domena (mreža, infrastruktura, aplikacije, baze podataka) i CA i drugih proizvođača, uključujući open source rješenja (Zabbix, Prometheus i druga).

Osnovna funkcija DX OI je stvaranje potpune modela resursa i usluga (RSM) na temelju konfiguracionih jedinica (KE), koje pune inventarnu bazu prilikom integracije s vanjskim sistemima. U DX OI implementirane su funkcije strojnog učenja i umjetne inteligencije (ML i AI) na podacima koji dolaze u platformu, što omogućava procjenu/prognoziranje vjerojatnosti kvara određene KE i stupanj utjecaja kvara na poslovnu uslugu, koja se temelji na određenoj KE. Osim toga, DX OI je jedinstvena tačka prikupljanja događaja praćenja i, sukladno tome, integracije s sustavom Service Desk, što je neosporna prednost korištenja sistema u jedinstvenim centrima praćenja smjenama organizacija. U ovom članku detaljnije ćemo opisati funkcionalnosti sistema i prikazati interfejse korisnika i administratora.

Arhitektura rješenja DX OI

DX platforma ima mikroslužbenu arhitekturu, instalira se i radi pod upravljanjem Kubernetes ili OpenShift. Na sljedećem crtežu prikazani su sastavnici rješenja, koji se mogu koristiti kao samostalni alati za praćenje ili se mogu zamijeniti već postojećim sistemima praćenja sličnih funkcija (na crtežu su primjeri takvih sistema) i kasnije se povezati s DX OI krovom. Na shemi ispod:

• Praćenje mobilnih aplikacija u DX App Experience Analytics;
• Praćenje performansi aplikacija u DX APM;
• Praćenje infrastrukture u DX Infrastructure Manager;
• Praćenje mrežnih uređaja u DX NetOps Manager.

DX sastavnice rade pod upravljanjem Kubernetes klastera i skaliraju se jednostavnim pokretanjem novih POD-ova. Ispod je prikazana visoka razina sheme rješenja.

Administracija, skaliranje i ažuriranje DX platforme vrši se u administracijskoj konzoli. Iz jedne konzole moguće je upravljati multitenantnom arhitekturom koja može obuhvatiti više poduzeća ili više poslovnih jedinica unutar tvrtke. U ovom modelu svako poduzeće može biti pojedinačno konfigurirano kao zakupac sa svojim vlastitim skupom postavki.

Administracijska konzola je web alat za upravljanje operacijama i sustavom, koji administratorima pruža konzistentno ujednačeno sučelje za obavljanje zadataka upravljanja klastra monitoringa.

Novi tenanti za poslovne jedinice ili poduzeća unutar tvrtke raspoređuju se u nekoliko minuta. Ovo pruža prednost ako želite imati jedinstveni sustav monitoringa, ali pri tom na razini platforme (a ne prava pristupa) ograničiti objekte monitoringa među odjelima.

Resursno-uslužni modeli i monitoring poslovnih usluga

DX OI ima ugrađene mehanizme za kreiranje usluga i razvoj klasičnih RSM-a s definiranjem logike utjecaja i težina među komponentama usluge. Također postoje mehanizmi za izvoz RSM-a iz vanjske CMDB. Na slici ispod prikazan je ugrađeni editor RSM-a (obratite pažnju na težine veza).

DX OI pruža cjelovitu sliku ključnih pokazatelja performansi poslovnih ili IT usluga s detaljima, uključujući dostupnost usluga i predikciju rizika od neuspjeha. Alat također može dati uvid u utjecaj problema s performansama ili promjene u strukturi IT komponenti (aplikacija ili infrastrukture) na poslovnu uslugu. Na slici ispod interaktivna kontrolna ploča koja prikazuje stanje svih usluga.

Razmotrimo detalje na primjeru usluge Digital Banking. Klikom na naziv usluge prelazimo u detaljni RSM usluge. Vidimo da status usluge Digital Banking ovisi o stanju infrastrukturalnih i transakcijskih podusluga s različitim težinama. Rad s težinama i njihovo prikazivanje je zanimljiva prednost DX OI.

Topologija je važan element operativnog monitoringa poduzeća, omogućuje operaterima i inženjerima da analiziraju međusobne odnose između komponenti, pronađu uzrok i utjecaj.

DX OI Topology Viewer je usluga koja koristi topološke podatke poslane iz domena sustava praćenja koji prikupljaju podatke izravno s objekata praćenja. Alat je namijenjen pretraživanju u više slojeva skladišta topologije i prikazivanju karte odnosa koja ovisi o kontekstu. Za istraživanje problema možete preći na problematičnu poduslugu Backend Banking i vidjeti topologiju i problematične komponente. Također, za svaku komponentu možete analizirati alarmne poruke i metrike performansi.

Prilikom analize transakcijskih komponenti Payments (korisničkih transakcija) možemo pratiti vrijednosti poslovnih KPI-a koji se također uzimaju u obzir pri izračunu statusa dostupnosti i zdravlja usluge. Primjer poslovnog KPI-a prikazan je u nastavku:

Analitika događaja (Alarm Analytics)

Algoritamsko smanjenje šuma putem klasterizacije alarma

Jedna od ključnih funkcija DX OI pri obradi događaja je klasterizacija. Mehanizam radi na svim obavijestima koje dolaze u sustav kako bi identificirao obrasce temeljem različitih konteksta i grupirao ih. Ovi klasteri su samostalno učeći, ne trebaju se ručno konfigurirati.

Tako klasterizacija omogućuje korisnicima da udruže i grupiraju ogromnu količinu događaja i analiziraju samo one koji imaju zajednički kontekst. Na primjer, skup događaja koji predstavljaju incident koji utječe na rad aplikacija ili centra za obradu podataka. Situacije se stvaraju korištenjem algoritama klasterizacije temeljenih na strojnome učenju, koji koriste vremensku korelaciju, topološku povezanost i obradu prirodnog jezika (native language) za analizu. U nastavku su prikazani primjeri vizualizacije klasternih grupa poruka, takozvani Situations Alarms, i Evidence Timeline, koji prikazuju glavne parametre grupiranja i proces smanjenja broja šumovitih događaja.

Analiza korijenskih problema i korelacija alarma

U modernom hibridnom okruženju korisnička transakcija može obuhvatiti više sustava koji se koriste dinamički. Kao rezultat, može se generirati više upozorenja iz različitih sustava, ali povezanih s istim problemom ili incidentom. DX OI koristi patente mehanizme za suzbijanje suvišnih i dupliciranih upozorenja te korelaciju povezanih upozorenja za poboljšanje otkrivanja kritičnih problema i brže rješavanje.

Razmotrit ćemo primjer kada u sustav dolaze brojne hitne poruke o različitim objektima (KE) koje se temelje na jednoj usluzi. Ako to utječe na dostupnost i funkcionalnost usluge, sustav će generirati servisnu hitnu situaciju (Service Alarm), označiti i naznačiti vjerojatni uzrok (problematični KE i hitna poruka o KE) koji je pridonio smanjenju performansi ili kvaru usluge. Na slici ispod prikazana je vizualizacija hitne situacije za uslugu Webex.

DX OI omogućava rad s događajima putem intuitivnih radnji u web sučelju sustava. Korisnici mogu ručno dodijeliti događaje odgovornoj osobi za rješavanje problema, poništavati/potvrđivati upozorenja, stvarati zahtjeve ili slati obavijesti putem e-pošte, pokretati automatizirane scenarije za rješavanje hitnih situacija (Remediation Workflow, o tome malo kasnije). Tako DX OI omogućava operaterima dežurstva da se fokusiraju na korijenu hitnu poruku te olakšavaju proces sortiranja poruka na klasterske skupine.

Strojni algoritmi za obradu metrika i analizu podataka o performansama

Strojno učenje omogućava praćenje, agregiranje i vizualizaciju ključnih pokazatelja performansi tijekom bilo kojeg određenog vremenskog razdoblja, što korisniku daje sljedeće prednosti:

• Otkrivanje uskih grla i anomalija u performansama;
• Usporedba nekoliko pokazatelja za iste uređaje, sučelja ili mreže;
• Usporedba istih pokazatelja na više objekata;
• Usporedba različitih pokazatelja za jedan ili više objekata;
• Usporedba višedimenzionalnih metrike na nekoliko objekata.

Za analizu metrika koje dolaze u sustav, DX OI koristi funkcije strojne analitike s matematičkim algoritmima, što pomaže u smanjenju vremena potrebnog za postavljanje statičkih pragova i generiranje upozorenja u slučaju anomalija.

Rezultat primjene matematičkih algoritama je izgradnja takozvanih vjerojatnosnih raspodjela vrijednosti metrike (Rijetke, Vjerojatne, Središnje, Srednje, Stvarne). Na prikazanim slikama iznad i ispod prikazani su vjerojatnosni rasporedi.

Na dva gornja grafa prikazani su sljedeći podaci:

• Stvarni podaci (Actual). Stvarni podaci prikazani su na grafu kao neprekidna crna linija (bez alarma) ili crvena neprekidna linija (alarmno stanje). Linija se izračunava na temelju stvarnih podataka za metriku. Uspoređujući stvarne podatke s medijanom, možete brzo uočiti varijacije metrike. Kada dođe do događaja, crna linija mijenja se u obojenu neprekidnu liniju koja odgovara kritičnosti događaja i prikazuje oznake s odgovarajućom kritičnošću iznad grafa. Na primjer, crvena boja za kritičnu anomaliju, narančasta za značajnu anomaliju i žuta za manju anomaliju.
• Srednja vrijednost pokazatelja (Mean value). Srednja vrijednost ili prosjek za pokazatelj prikazana je na dijagramu sivom linijom. Srednja vrijednost se prikazuje kada nedostaju povijesni podaci.
• Medijan vrijednosti pokazatelja (Center value). Medijanska linija predstavlja sredinu raspona i prikazana je zelenom isprekidanom linijom. Zone najbliže ovoj liniji najbliže su tipičnim vrijednostima pokazatelja.
• Zajednički podaci (Common Value). Podaci zajedničke zone prate najbliže središnjoj liniji ili normi za vaš pokazatelj i prikazuju se kao tamnozelena traka. Analitički izračuni postavljaju zajedničku zonu jedan percentil iznad ili ispod norme.
• Vjerojatnosni podaci. Podaci vjerojatnosne zone prikazani su na grafu zelenom trakom. Sustav postavlja vjerojatnosnu zonu dva percentila iznad ili ispod norme.
• Rijetki podaci. Podaci o rijetkim zonama prikazani su na grafikonu u obliku svijetlozelene trake. Sustav smješta zonu s rijetkim vrijednostima metrike na tri percentila iznad ili ispod normale i signalizira ponašanje pokazatelja izvan normalnog raspona, a pritom sustav generira tzv. Anomaly Alert.

Anomalija je mjerenje ili događaj koji nije u skladu s normalnim pokazateljima metrike. Otkrivanje anomalija radi identifikacije problema i razumijevanja trendova u infrastrukturi i aplikacijama ključna je značajka DX OI. Otkrivanje anomalija omogućava prepoznavanje neobičnog ponašanja (na primjer, poslužitelj koji odgovara sporije nego obično ili neobična mrežna aktivnost uzrokovana provalom), kao i odgovarajuću reakciju (otvaranje incidenta, pokretanje automatskog skripta za sanaciju).

Funkcija otkrivanja anomalija DX OI pruža sljedeće prednosti:

• Nema potrebe za postavljanjem pragova. DX OI samostalno uspoređuje podatke i identificira anomalije.
• DX OI uključuje više od deset algoritama umjetne inteligencije i strojnog učenja, uključujući EWMA (Exponentially-Weighted—Moving-Average) i KDE (Kernel Density Estimation). Ovi algoritmi omogućavaju brzo analiziranje uzroka i predviđanje budućih vrijednosti metrike.

Prediktivna analitika i upozorenje na moguće kvarove

Predictive Insights je funkcija koja koristi mogućnosti strojno učenja za prepoznavanje obrazaca i trendova. Na temelju ovih trendova, sustav predviđa događaje koji se mogu dogoditi u budućnosti. Ova obavijest ukazuje na potrebu poduzimanja mjera prije nego što vrijednosti metrike premaše normalne vrijednosti, što bi moglo utjecati na kritične poslovne usluge. Predictive Insights su prikazane na slici ispod.

A ovo je vizualizacija prediktivnih upozorenja za određenu metriku.

Predviđanje opterećenja računalnih kapaciteta s funkcijom za postavljanje scenarija opterećenja

Funkcija planiranja kapaciteta Capacity Analytics pomaže u upravljanju IT resursima osiguravajući odgovarajuću veličinu resursa za zadovoljenje trenutnih i budućih poslovnih potreba. Možete optimizirati performanse i učinkovitost postojećih resursa, planirati i opravdati bilo kakva financijska ulaganja.

Funkcija Capacity Analytics u DX OI donosi sljedeće prednosti:

• Predviđanje kapaciteta u vršnim sezonama;
• Određivanje trenutka kada će biti potrebni dodatni resursi za osiguranje kvalitetnog funkcioniranja usluge;
• Nabava dodatnih resursa samo kada je to potrebno;
• Učinkovito upravljanje infrastrukturom i mrežama;
• Eliminacija suvišnih troškova za električnu energiju identificiranjem neiskorištenih resursa;
• Provedba procjene opterećenja resursa u slučaju planiranog povećanja potreba za uslugom ili resursom.

Na stranici Capacity Analytics DX OI (slika ispod) postoje sljedeći widgeti:

• Status kapaciteta resursa (Resource Capacity Status);
• Kontrolirane grupe/usluge (Monitored Groups/Services);
• Glavni potrošači resursa (Top Capacity Consumers).

Glavna stranica Capacity Analytics prikazuje komponente resursa koje su preopterećene i kojima se kapacitet približava kraju. Ova stranica pomaže administratorima platforme da pronađu prekomjerno korištene resurse i pomaže im da promijene veličinu i optimiziraju resurse. Status resursa može se analizirati na temelju kodova boja i njihovih odgovarajućih vrijednosti. Resursi se klasificiraju prema stupnju njihove opterećenosti na stranici statusa kapaciteta resursa. Možete kliknuti na svaku od boja kako biste vidjeli popis komponenti koje pripadaju odabranoj kategoriji. Nadalje, bit će prikazana toplinska karta sa svim objektima i prognozama za 12 mjeseci, što omogućava identifikaciju resursa koji će uskoro biti iscrpljeni.

Za svaku od metrike u Capacity Analytics možete odrediti filtre koje DX Operational Intelligence koristi za izradu prognoza (slika ispod).

Sljedeći filtri su dostupni:

• Metrija. Metrija koja će se koristiti za prognozu.
• Osnovano na. Odabir količine povijesnih podataka koji će se koristiti za izradu prognoza za budućnost. Ovo polje se koristi za usporedbu i analizu trendova posljednjeg mjeseca, trendova posljednja 3 mjeseca, trendova tijekom godine itd.
• Rast. Očekivana brzina rasta radnog opterećenja koju želite koristiti za modeliranje predikcije kapaciteta. Ovi podaci se mogu koristiti za predviđanje rasta iznad predikcija. Na primjer, očekuje se da će upotreba resursa rasti još 40 posto zbog otvaranja novog ureda.

Analiza logova

Funkcija analize logova DX OI pruža:

• prikupljanje, agregaciju logova iz različitih izvora (uključujući one prikupljene agentnim i bezagentnim metodama);
• parsiranje i normalizaciju podataka;
• analizu u skladu s postavljenim uvjetima i generaciju događaja;
• korelaciju događaja temeljenih na logovima, uključujući događaje dobivene putem nadgledanja IT infrastrukture;
• vizualizaciju podataka na temelju analize u DX Dashboards;
• zaključke o dostupnosti usluga na temelju analize podataka iz logova.

Prikupljanje logova bezagentnom metodom provodi se sustavom za Windows Event logs i Syslog. Agentnom metodom prikupljaju se tekstualni logovi.

Funkcija automatiziranog rješavanja incidenta (Remediation)

Automatizirane mjere za ispravljanje incidenta (Remediation Workflow) omogućuju rješavanje problema koji su uzrokovali generiranje događaja u DX OI. Na primjer, problem s opterećenjem CPU-a generira kriznu poruku, a proces ispravka (Remediation Workflow) rješava problem ponovnim pokretanjem poslužitelja na kojem je došlo do problema. Integracija između DX OI i sustava automatizacije omogućuje pokretanje procesa ispravka iz konzole događaja u DX Operational Intelligence i praćenje istih u konzoli sustava automatizacije.

Nakon integracije s sustavom automatizacije, možete pokretati automatske mjere za ispravljanje bilo kojeg incidenta u konzoli DX OI iz konteksta krizne poruke. Možete pregledati preporučene akcije zajedno s informacijama o postotku vjerodostojnosti (vjerojatnosti rješavanja situacije izvršavanjem akcije).

U početku, kada ne postoje statistike o rezultatima izvršavanja Remediation Workflow, mehanizam preporuka nudi potencijalne opcije na temelju pretrage, prema ključnim riječima, zatim se koriste rezultati strojnog učenja, a mehanizam počinje preporučivati način ispravka temeljen na heuristici. Kada počnete ocjenjivati rezultate dobivenih sugestija, točnost preporuka će se poboljšati.

Primjer povratnih informacija od korisnika: korisnik odabire željenu ili nepoželjenu ponuđenu akciju, a sustav uzima u obzir taj odabir za daljnje preporuke. Lajk/razlike:

Preporučene korektivne akcije za određeni alarm temelje se na kombinaciji povratnih informacija koja određuje je li akcija prihvaćena. DX OI dolazi s unaprijed pripremljenom integracijom s sustavom automatizacije Automic Automation.

Integracija DX OI sa sustavima trećih strana

Nećemo se detaljno zaustaviti na integraciji podataka iz izvornih monitora Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Umjesto toga, razmotrit ćemo kako se integriraju podaci iz sustava trećih strana i razmotriti primjer integracije s jednim od najpopularnijih sustava — Zabbix.

Za integraciju sa sustavima trećih strana koristi se komponenta DX Gateway. DX Gateway se sastoji od 3 komponente - On-Prem Gateway, RESTmon i Log Collector (Logstash). Možete instalirati sve 3 komponente ili samo onu koja vam je potrebna, mijenjajući zajedničku konfiguracijsku datoteku prilikom instalacije DX Gateway. Na slici ispod je arhitektura DX Gateway.

Razmotrite svrhu komponenti DX Gateway odvojeno.

On-Prem Gateway. To je sučelje koje prikuplja alarme s DX platforme i šalje događaje o neuspjesima u sustave trećih strana. On-Prem Gateway djeluje kao poler koji periodično prikuplja podatke o događajima iz DX OI koristeći API zahtjeve putem HTTPS protokola, a zatim šalje upozorenja na poslužitelj treće strane koji je integriran s DX platformom, koristeći webhooks.

DX Log Collector prihvaća syslog s mrežnih uređaja ili poslužitelja i učitava ih u OI. DX Log Collector omogućuje odvajanje softvera koji generira poruke, sustava koji ih pohranjuje i softvera koji ih izvještava i analizira. Svaka poruka se označava kodom objekta koji označava vrstu softvera koji generira poruku, a dodjeljuje joj se razina kritičnosti. U DX Dashboards to se sve može kasnije vidjeti.

DX RESTmon integrira se s proizvodima/uslugama trećih strana putem REST API-ja i prenosi podatke u OI. Na slici ispod je prikazana shema funkcioniranja DX RESTmon na primjeru integracije sa sustavima nadzora Solarwinds i SCOM.

Ključne funkcije DX RESTmon:

• Povezivanje s bilo kojim vanjskim izvorom podataka za primanje podataka:
  • PULL: povezivanje i preuzimanje podataka s javnih REST API-a;
  • PUSH: slanje podataka u RESTmon putem REST-a.
• Podrška za formate JSON i XML;
• Primanje metrika, upozorenja, grupa, topologije, inventarizacije i dnevnika;
• Gotovi konektori za različite alate/tehnologije, također je moguće razviti konektor za bilo koji izvor s otvorenim API-jem (popis dostupnih konektora prikazan je na slici ispod);
• Podrška za osnovnu autentifikaciju (po defaultu) prilikom pristupa Swagger sučelju i API-ju;
• Podrška za HTTPS (po defaultu) za sve dolazne i odlazne poruke;
• Podrška za dolazne i odlazne proxy-e;
• Snažne mogućnosti parsiranja teksta za dnevnike dobivene putem REST-a;
• Prilagodljivo parsiranje s RESTmon-om koje osigurava učinkovito analiziranje i vizualizaciju dnevnika;
• Podrška za vađenje informacija o grupama uređaja iz aplikacija za praćenje i učitavanje u OI za analizu i vizualizaciju;
• Podrška za usklađivanje s regularnim izrazima. To se može koristiti za parsiranje i usklađivanje poruka dnevnika dobivenih putem REST-a, kao i za generiranje ili zatvaranje događaja na temelju određenih uvjeta regularnog izraza.

Sada ćemo razmotriti proces postavljanja integracije DX OI sa Zabbixom putem DX RESTmon-a. Gotova integracija preuzima sljedeće podatke iz Zabbixa:

• podatke o inventaru;
• topologiju;
• probleme;
• metrike.

Budući da je konektor za Zabbix dostupan odmah, sve što treba učiniti za postavljanje integracije je ažurirati profil, navodeći IP adresu API servera Zabbixa i račun, a zatim učitati profil putem web-sučenju Swagger. Primjer na dvije sljedeće slike.

Nakon postavljanja integracije, analitičke funkcije DX OI opisane iznad bit će dostupne za podatke dolazne iz Zabbixa, a to su: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics i Remediation. Na slici ispod prikazan je primjer analize metrika izvedbe po objektima integriranim iz Zabbixa.

Zaključak

DX OI — suvremeni alat za analitiku koji će osigurati značajnu operativnu učinkovitost IT odjela, omogućiti brže i ispravne odluke za poboljšanje kvalitete IT usluga i poslovnih usluga kroz međudomensku kontekstualnu analizu. Za vlasnike aplikacija i poslovnih jedinica, DX OI izračunava pokazatelje dostupnosti i kvalitete usluga ne samo u kontekstu tehnoloških IT pokazatelja, već i poslovnih KPI-a, izvedenih iz transakcijske statistike krajnjih korisnika.

Ako želite saznati više o ovom rješenju, pošaljite zahtjev za demonstraciju ili probni projekt na način koji vama odgovara na našoj web stranici.

Izvor: habr.com