Tento september Broadcom (predtým CA) vydal novú verziu 20.2 svojho riešenia DX Operations Intelligence (DX OI). Na trhu je tento produkt umiestnený ako zastrešujúci monitorovací systém. Systém je schopný prijímať a kombinovať dáta z monitorovacích systémov rôznych domén (sieť, infraštruktúra, aplikácie, databázy) od CA aj od výrobcov tretích strán, vrátane open source riešení (Zabbix, Prometheus a iné).

Hlavnou funkciou DX OI je vytvorenie plnohodnotného modelu služieb zdrojov (RSM) založeného na konfiguračných položkách (CU), ktoré plnia databázu inventára pri integrácii so systémami tretích strán. DX OI implementuje funkcie strojového učenia a umelej inteligencie (ML a AI) nad dátami vstupujúcimi do platformy, čo vám umožňuje vyhodnotiť / predpovedať pravdepodobnosť zlyhania konkrétneho CI a mieru dopadu zlyhania na obchodnú službu na základe špecifický CI. Okrem toho je DX OI jednotným miestom zberu monitorovacích udalostí a teda integráciou so systémom Service Desk, čo je nespornou výhodou využitia systému v jednotných monitorovacích centrách pri pracovných zmenách organizácií. V tomto článku vám povieme viac o funkcionalite systému a ukážeme si používateľské a administrátorské rozhranie.

Architektúra riešenia DX OI

Platforma DX má architektúru mikroslužieb, nainštalovaný a spustený Kubernetes alebo OpenShift. Nasledujúci obrázok zobrazuje komponenty riešenia, ktoré je možné použiť ako nezávislé monitorovacie nástroje alebo ich možno nahradiť existujúcimi monitorovacími systémami s podobnými funkciami (príklady takýchto systémov sú na obrázku) a následne pripojiť k dáždniku DX OI. Na obrázku nižšie:

• Monitorovanie mobilných aplikácií v DX App Experience Analytics;
• Monitorovanie výkonu aplikácií v DX APM;
• Monitorovanie infraštruktúry v DX Infrastructure Manager;
• Monitorovanie sieťových zariadení v DX NetOps Manager.

Komponenty DX bežia na klastri Kubernetes a škálujú sa jednoduchým spustením nových zariadení POD. Nižšie je uvedený diagram riešenia najvyššej úrovne.

Správa, škálovanie a aktualizácia platformy DX sa vykonáva v administratívnej konzole. Z jedinej konzoly môžete spravovať architektúru viacerých nájomníkov, ktorá môže pokrývať viacero podnikov alebo viacero obchodných jednotiek v rámci spoločnosti. V tomto modeli môže byť každé zariadenie nakonfigurované individuálne ako nájomca s vlastnou sadou konfigurácií.

Administračná konzola je webový nástroj na správu operácií a systému, ktorý poskytuje správcom konzistentné, jednotné rozhranie na vykonávanie úloh monitorovania správy klastra.

Noví nájomcovia pre obchodné jednotky alebo podniky v rámci spoločnosti sú nasadení v priebehu niekoľkých minút. Je to výhoda, ak chcete mať jednotný monitorovací systém, no zároveň na úrovni platformy (a nie prístupových práv) vymedzovať monitorovacie objekty medzi oddeleniami.

Modely zdrojových služieb a monitorovanie obchodných služieb

DX OI má zabudované mechanizmy na vytváranie služieb a vývoj klasických PCM s nastavením logiky vplyvu a váh medzi komponentmi služieb. Existujú aj mechanizmy na export PCM z externého CMDB. Obrázok nižšie zobrazuje vstavaný editor PCM (všimnite si váhy odkazov).

DX OI poskytuje holistický pohľad na kľúčové ukazovatele výkonnosti pre obchodné alebo IT služby na granulárnej úrovni, vrátane dostupnosti služieb a predikcie rizika zlyhania. Nástroj môže tiež poskytnúť pohľad na vplyv problému s výkonom alebo zmeny v štruktúre komponentov IT (aplikácie alebo infraštruktúry) na obchodnú službu. Na obrázku nižšie je interaktívny panel, ktorý zobrazuje stav všetkých služieb.

Pozrime sa na podrobnosti na príklade služby digitálneho bankovníctva. Kliknutím na názov služby prejdeme na podrobný PCM služby. Vidíme, že stav služby digitálneho bankovníctva závisí od stavu infraštruktúry a transakčných podslužieb s rôznou váhou. Práca s váhami a ich zobrazovanie je zábavnou výhodou DX OI.

Topológia je dôležitým prvkom prevádzkového monitorovania podniku, ktorý umožňuje operátorom a inžinierom analyzovať vzťah medzi komponentmi, nájsť hlavnú príčinu a vplyv.

DX OI Topology Viewer je služba, ktorá využíva topologické údaje z doménových monitorovacích systémov, ktoré zbierajú údaje priamo z monitorovacích objektov. Nástroj je navrhnutý tak, aby prehľadával viacero vrstiev úložiska topológie a zobrazoval kontextovo špecifickú mapu vzťahov. Ak chcete preskúmať problémy, môžete prejsť na problematickú podslužbu Backend Banking a pozrieť si topológiu a problematické komponenty. Pre každý komponent je možné analyzovať aj poplašné správy a metriky výkonu.

Pri analýze transakčných komponentov Platieb (používateľských transakcií) môžeme sledovať obchodné hodnoty KPI, ktoré sa zohľadňujú aj pri výpočte stavu dostupnosti a stavu služby. Príklad obchodného KPI je uvedený nižšie:

Analýza udalostí (analytika alarmov)

Algoritmické zníženie šumu v dôsledku zhlukovania nehôd

Jednou z kľúčových vlastností DX OI pri spracovaní udalostí je klastrovanie. Mechanizmus funguje na všetkých upozorneniach prichádzajúcich do systému, aby identifikoval vzory založené na rôznych kontextoch a spojil ich do skupín. Tieto klastre sa učia sami a nie je potrebné ich konfigurovať manuálne.

Klastrovanie teda umožňuje používateľom kombinovať a zoskupovať veľké množstvo udalostí a analyzovať len tie, ktoré majú spoločný kontext. Napríklad súbor udalostí, ktoré predstavujú incident, ktorý ovplyvňuje aplikácie alebo dátové centrum. Situácie sa vytvárajú pomocou klastrovacích algoritmov založených na strojovom učení, ktoré na analýzu využívajú časovú koreláciu, topologický vzťah a spracovanie v prirodzenom jazyku. Na obrázkoch nižšie sú príklady vizualizácie zoskupených skupín správ, takzvané Situačné alarmy a Časová os dôkazov, ktoré zobrazujú hlavné parametre zoskupovania a proces znižovania počtu hlukových udalostí.

Analýza koreňového problému a náhodná korelácia

V dnešnom hybridnom prostredí môže používateľská transakcia ovplyvniť viacero systémov, ktoré sa používajú dynamicky. Výsledkom je, že viaceré výstrahy môžu byť generované z rôznych systémov, ktoré však súvisia s rovnakým problémom alebo incidentom. DX OI používa vlastné mechanizmy na potlačenie nadbytočných a duplicitných upozornení a koreláciu súvisiacich upozornení pre lepšiu detekciu kritických problémov a rýchlejšie riešenie.

Zoberme si príklad, keď systém prijíma množstvo núdzových správ pre rôzne objekty (KE), ktoré sú základom jednej služby. V prípade dopadu na dostupnosť a prevádzkyschopnosť služby systém vygeneruje servisný alarm (Service Alarm), označí a označí pravdepodobnú základnú príčinu (problém CI a alarmové hlásenie na CI), ktorá prispela k zníženiu výkonu resp. zlyhanie služby. Na obrázku nižšie je znázornená vizualizácia mimoriadnej situácie pre službu Webex.

DX OI vám umožňuje pracovať s udalosťami prostredníctvom intuitívnych akcií vo webovom rozhraní systému. Používatelia môžu manuálne priradiť udalosti zodpovednému zamestnancovi na riešenie problémov, resetovať/potvrdzovať upozornenia, vytvárať lístky alebo odosielať e-mailové upozornenia a spúšťať automatické skripty na vyriešenie núdzovej situácie (Pracovný postup nápravy, viac neskôr). Týmto spôsobom DX OI umožňuje operátorom na zavolanie zamerať sa na koreňovú alarmovú správu a tiež pomáha zefektívniť proces triedenia správ do klastrových polí.

Strojové algoritmy na spracovanie metrík a analýzu údajov o výkonnosti

Strojové učenie vám umožňuje sledovať, agregovať a vizualizovať kľúčové ukazovatele výkonnosti za dané časové obdobie, čo používateľovi poskytuje nasledujúce výhody:

• Detekcia úzkych miest a anomálií výkonu;
• Porovnanie niekoľkých indikátorov pre rovnaké zariadenia, rozhrania alebo siete;
• Porovnanie rovnakých ukazovateľov na viacerých objektoch;
• Porovnanie rôznych ukazovateľov pre jeden a niekoľko objektov;
• Porovnanie viacrozmerných metrík pre niekoľko objektov.

Na analýzu metrík vstupujúcich do systému využíva DX OI funkcie strojovej analýzy pomocou matematických algoritmov, čo pomáha skrátiť čas pri nastavovaní statických prahov a generovanie varovaní, keď sa vyskytnú anomálie.

Výsledkom aplikácie matematických algoritmov je konštrukcia tzv. pravdepodobnostných rozdelení metrických hodnôt (Rare, Probable, Center, Mean, Actual). Obrázky vyššie a nižšie zobrazujú rozdelenie pravdepodobnosti.

Dva vyššie uvedené grafy zobrazujú nasledujúce údaje:

• Aktuálne údaje (Aktuálne). Aktuálne údaje sa na grafe zobrazujú ako plná čierna čiara (bez alarmu) alebo farebná plná čiara (stav alarmu). Čiara sa vypočíta na základe skutočných údajov pre metriku. Porovnaním skutočných údajov a mediánu môžete rýchlo vidieť variácie v metrike. Keď nastane udalosť, čierna čiara sa zmení na farebnú plnú čiaru, ktorá zodpovedá kritickosti udalosti a nad grafom sa zobrazia ikony s príslušnou kritickosťou. Napríklad červená pre kritickú anomáliu, oranžová pre veľkú anomáliu a žltá pre menšiu anomáliu.
• Stredná hodnota ukazovateľa. Medián alebo priemer miery je v grafe zobrazený ako sivá čiara. Priemerná hodnota sa zobrazí, keď nie je dostatok historických údajov.
• Stredná hodnota ukazovateľa (Center value). Stredová čiara je stredom rozsahu a je zobrazená ako zelená bodkovaná čiara. Zóny najbližšie k tejto čiare sú najbližšie k typickým hodnotám indikátora.
• Spoločné údaje (Spoločná hodnota). Údaje celkovej zóny sledujú najbližšie k stredovej čiare alebo normálu pre vašu metriku a zobrazujú sa ako tmavozelený pruh. Analytické výpočty umiestňujú celkovú zónu o jeden percentil nad alebo pod normál.
• pravdepodobnostné údaje. Údaje pravdepodobnostnej zóny sú na grafe zobrazené ako zelený pruh. Systém umiestni zónu pravdepodobnosti na dva percentily nad alebo pod normál.
• Zriedkavé údaje. Údaje o vzácnych zónach sú na grafe zobrazené ako svetlozelený pruh. Systém umiestni zónu so zriedkavými metrickými hodnotami tri percentily nad alebo pod normu a signalizuje správanie indikátora mimo normálneho rozsahu, pričom systém generuje takzvané upozornenie na anomálie.

Anomália je meranie alebo udalosť, ktorá nie je konzistentná s bežnou výkonnosťou metriky. Detekcia anomálií na identifikáciu problémov a pochopenie trendov v infraštruktúre a aplikáciách je kľúčovou vlastnosťou DX OI. Detekcia anomálií vám umožňuje rozpoznať nezvyčajné správanie (napríklad server, ktorý reaguje pomalšie ako zvyčajne, alebo nezvyčajnú sieťovú aktivitu spôsobenú hacknutím) a zodpovedajúcim spôsobom reagovať (spustenie incidentu, spustenie automatického opravného skriptu).

Funkcia detekcie anomálií DX OI poskytuje nasledujúce výhody:

• Nie je potrebné nastavovať prahové hodnoty. DX OI bude nezávisle porovnávať údaje a identifikovať anomálie.
• DX OI obsahuje viac ako desať algoritmov umelej inteligencie a strojového učenia, vrátane EWMA (exponenciálne vážený pohybový priemer) a KDE (odhad hustoty jadra). Tieto algoritmy vám umožňujú vykonávať rýchlu analýzu základných príčin a predpovedať budúce metriky.

Prediktívna analýza a upozornenie na možné zlyhania

Predictive Insights je funkcia, ktorá využíva silu strojového učenia na identifikáciu vzorcov a trendov. Na základe týchto trendov systém predpovedá udalosti, ktoré môžu nastať v budúcnosti. Tieto správy naznačujú, že je potrebné podniknúť kroky predtým, ako sa metrické hodnoty odchýlia od normálnych hodnôt a ovplyvnia kritické obchodné služby. Prediktívne štatistiky sú znázornené na obrázku nižšie.

A toto je vizualizácia prediktívnych upozornení pre konkrétnu metriku.

Prognózovanie záťaže výpočtového výkonu s funkciou nastavenia scenárov záťaže

Funkcia kapacitného plánovania analýzy kapacity pomáha spravovať zdroje IT tým, že zaisťuje správnu veľkosť zdrojov, aby vyhovovali súčasným a budúcim obchodným potrebám. Budete vedieť optimalizovať výkonnosť a efektivitu existujúcich zdrojov, plánovať a zdôvodňovať akúkoľvek finančnú investíciu.

Funkcia Capacity Analytics v DX OI poskytuje nasledujúce výhody:

• Predpovedné kapacity počas hlavnej sezóny;
• Určenie momentu, kedy sú potrebné dodatočné zdroje na zabezpečenie vysokokvalitného fungovania služby;
• Nákup dodatočných zdrojov iba v prípade potreby;
• Efektívna správa infraštruktúry a siete;
• Eliminujte zbytočné náklady na energiu identifikáciou nedostatočne využívaných zdrojov;
• Vykonávanie hodnotení zaťaženia zdrojov v prípade plánovaného zvýšenia dopytu po službe alebo zdroji.

Stránka Capacity Analytics DX OI (obrázok nižšie) obsahuje nasledujúce widgety:

• Stav kapacity zdrojov;
• Kontrolované skupiny / služby (Monitorované skupiny / Služby);
• Veľkí spotrebitelia zdrojov (Top Capacity Consumers).

Hlavná stránka Capacity Analytics zobrazuje komponenty prostriedkov, ktoré sú nadmerne využívané a dochádza im kapacita. Táto stránka pomáha správcom platformy nájsť nadmerne používané zdroje a pomáha im meniť veľkosť a optimalizovať zdroje. Stav zdrojov možno analyzovať na základe farebných kódov a ich príslušných hodnôt. Prostriedky sú kategorizované podľa stupňa ich preťaženia na stránke stavu kapacity prostriedkov. Kliknutím na každú z farieb zobrazíte zoznam komponentov vo vybranej kategórii. Ďalej sa zobrazí tepelná mapa so všetkými objektmi a predpoveďami na 12 mesiacov, čo vám umožní identifikovať zdroje, ktoré sa čoskoro vyčerpajú.

Pre každú z metrík v Capacity Analytics môžete špecifikovať filtre, ktoré DX Operational Intelligence používa na vytváranie prognóz (obrázok nižšie).

K dispozícii sú nasledujúce filtre:

• Metrické. Metrika, ktorá sa má použiť na prognózu.
• Založený na. Výber množstva historických údajov, ktoré sa použijú na zostavenie prognóz do budúcnosti. Toto pole sa používa na porovnanie a analýzu trendov za posledný mesiac, trendy za posledné 3 mesiace, ročné trendy atď.
• Rast. Očakávaná rýchlosť rastu pracovného zaťaženia, ktoré chcete použiť na modelovanie prognózy kapacity. Tieto údaje možno použiť na predpovedanie rastu nad rámec prognóz. Očakáva sa napríklad, že využitie zdrojov vzrastie o ďalších 40 percent v dôsledku otvorenia novej kancelárie.

Log analýza

Funkcia analýzy protokolu DX OI poskytuje:

• zhromažďovanie a agregácia protokolov z rôznych zdrojov (vrátane tých, ktoré boli získané agentovými a neagentovými metódami);
• analýza a normalizácia údajov;
• analýza dodržiavania stanovených podmienok a generovanie udalostí;
• korelácia udalostí na základe protokolov vrátane udalostí prijatých ako výsledok monitorovania IT infraštruktúry;
• vizualizácia dát založená na analýze v DX Dashboardoch;
• závery o dostupnosti služby na základe analýzy údajov z protokolov.

Zber protokolov pomocou metódy bez agentov vykonáva systém pre protokoly udalostí Windows a Syslog. Spôsob zhromažďovania textových denníkov založený na agentoch.

Funkcia automatického núdzového riešenia (náprava)

Automatizované akcie na nápravu núdzového stavu (Remediation Workflow) vám umožňujú riešiť problémy, ktoré spôsobili vygenerovanie udalosti v DX OI. Napríklad, ak problém s využívaním CPU vygeneruje alarm, nápravný pracovný postup vyrieši problém reštartovaním servera, ktorý má problém. Integrácia medzi DX OI a automatizačným systémom umožňuje spúšťanie procesov nápravy z konzoly udalostí v DX Operational Intelligence a ich sledovanie v konzole automatizačného systému.

Po integrácii s automatickým systémom môžete spustiť automatické akcie na nápravu akejkoľvek alarmovej situácie v DX OI konzole z kontextu alarmovej správy. Môžete si zobraziť odporúčané akcie spolu s informáciami o percentách spoľahlivosti (pravdepodobnosť vyriešenia situácie vykonaním akcie).

Spočiatku, keď neexistujú žiadne štatistiky o výsledkoch nápravného pracovného toku, odporúčací nástroj navrhne kandidátov na základe vyhľadávania kľúčových slov, potom sa použijú výsledky strojového učenia a nástroj začne odporúčať heuristickú techniku ​​nápravy. Hneď ako začnete vyhodnocovať výsledky prijatých rád, presnosť odporúčaní sa zlepší.

Príklad spätnej väzby od používateľa: používateľ si vyberie, či sa mu navrhovaná akcia páči alebo nepáči a systém túto voľbu zohľadní pri ďalších odporúčaniach. Páči sa mi/nepáči sa mi:

Odporúčané nápravné opatrenia pre konkrétny alarm sú založené na kombinácii spätnej väzby, ktorá určuje, či je opatrenie prijateľné. DX OI prichádza s implicitnou integráciou s automatickou automatizáciou.

Integrácia DX OI so systémami tretích strán

Nebudeme sa podrobne zaoberať integráciou údajov z natívnych monitorovacích produktov spoločnosti Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Namiesto toho sa pozrime na to, ako sú integrované údaje zo systémov tretích strán a pozrime sa na príklad integrácie s jedným z najpopulárnejších systémov – Zabbix.

Pre integráciu so systémami tretích strán sa používa komponent DX Gateway. DX Gateway pozostáva z 3 komponentov – On-Prem Gateway, RESTmon a Log Collector (Logstash). Môžete nainštalovať všetky 3 komponenty alebo len ten, ktorý potrebujete, zmenou všeobecného konfiguračného súboru pri inštalácii DX Gateway. Obrázok nižšie zobrazuje architektúru brány DX.

Pozrime sa na účel komponentov brány DX samostatne.

On-Prem brána. Toto je rozhranie, ktoré zhromažďuje alarmy z platformy DX a odosiela alarmové udalosti do systémov tretích strán. Brána On-Prem funguje ako prieskumník, ktorý periodicky zhromažďuje údaje o udalostiach z DX OI pomocou HTTPS request API, potom posiela výstrahy na server tretej strany, ktorý je integrovaný s platformou DX pomocou webhookov.

DX zberateľ denníkov prijíma syslog zo sieťových zariadení alebo serverov a odosiela ich do OI. DX Log Collector vám umožňuje oddeliť softvér, ktorý generuje správy, systém, ktorý ich ukladá, a softvér, ktorý ich hlási a analyzuje. Každá správa je označená objektovým kódom označujúcim typ softvéru, ktorý správu generuje, a je jej priradená úroveň závažnosti. V DX Dashboards je potom možné toto všetko zobraziť.

DX RESTmon integruje sa s produktmi/službami tretích strán cez REST API a odovzdáva údaje do OI. Obrázok nižšie ukazuje fungovanie DX RESTmon na príklade integrácie s monitorovacími systémami Solarwinds a SCOM.

Kľúčové vlastnosti DX RESTmon:

• Ak chcete prijímať údaje, pripojte sa k ľubovoľnému zdroju údajov tretej strany:
  • PULL: pripojenie a načítanie údajov z verejných REST API;
  • PUSH: dátový tok do RESTmon cez REST.
• Podpora formátov JSON a XML;
• Prijímať metriky, výstrahy, skupiny, topológiu, inventár a denníky;
• Hotové konektory pre rôzne nástroje/technológie, taktiež je možné vyvinúť konektor na akýkoľvek zdroj s otvoreným API (zoznam krabicových konektorov je na obrázku nižšie);
• Podpora základnej autentifikácie (predvolené) pri prístupe k rozhraniu Swagger a API;
• podpora HTTPS (predvolená) pre všetky prichádzajúce a odchádzajúce správy;
• Podpora pre prichádzajúce a odchádzajúce proxy;
• Výkonné možnosti analýzy textu pre protokoly prijaté cez REST;
• Prispôsobiteľná analýza pomocou RESTmon pre efektívnu analýzu a vizualizáciu protokolov;
• Podpora získavania informácií o skupinách zariadení z monitorovacích aplikácií a sťahovania do OI na analýzu a vizualizáciu;
• Podpora zhody regulárnych výrazov. Toto možno použiť na analýzu a párovanie správ protokolu prijatých cez REST a na generovanie alebo zatvorenie udalostí na základe určitých podmienok regulárneho výrazu.

Teraz sa pozrime na proces nastavenia integrácie DX OI so Zabbixom cez DX RESTmon. Krabicová integrácia berie zo Zabbixu nasledujúce údaje:

• inventárne údaje;
• topológia;
• Problémy;
• metriky.

Keďže konektor pre Zabbix je k dispozícii hneď po vybalení, všetko, čo musíte urobiť, aby ste nastavili integráciu, je aktualizovať svoj profil pomocou IP adresy a účtu API servera Zabbix a potom nahrať profil cez webové rozhranie Swagger. Príklad na nasledujúcich dvoch obrázkoch.

Po nastavení integrácie budú analytické funkcie DX OI opísané vyššie k dispozícii pre údaje pochádzajúce zo Zabbixu, konkrétne: Analytika alarmov, Analytika výkonnosti, Prediktívne štatistiky, Analýza služieb a Náprava. Obrázok nižšie ukazuje príklad analýzy metrík výkonu pre objekty integrované zo Zabbixu.

Záver

DX OI je najmodernejší analytický nástroj, ktorý IT oddeleniam poskytne významnú prevádzkovú efektivitu a umožní vám robiť rýchlejšie a správnejšie rozhodnutia na zlepšenie kvality IT služieb a podnikových služieb prostredníctvom medzidoménovej kontextovej analýzy. Pre vlastníkov aplikácií a obchodné jednotky vypočíta DX OI dostupnosť a kvalitu služieb nielen v kontexte metrík IT technológií, ale aj obchodných KPI odvodených z transakčných štatistík koncových používateľov.

Ak sa chcete o tomto riešení dozvedieť viac, požiadajte o demo alebo pilotnú verziu spôsobom pohodlným pre vás na našej webovej stránke.

Zdroj: hab.com