I denne september udgav Broadcom (tidligere CA) en ny version 20.2 af deres løsning DX Operations Intelligence (DX OI). På markedet positioneres dette produkt som et omfattende overvågningssystem. Systemet er i stand til at indsamle og kombinere data fra overvågningssystemer på tværs af forskellige domæner (netværk, infrastruktur, applikationer, databaser), både fra CA og tredjepartsproducenter, herunder open source-løsninger (Zabbix, Prometheus og andre).

Den primære funktion ved DX OI er at skabe en fuldgyldig ressourcestyringsmodel (RSM) baseret på konfigurationsenheder (KE), der fylder inventarbasis ved integration med tredjepartssystemer. DX OI implementerer funktioner til maskinlæring og kunstig intelligens (ML og AI) over de data, der modtages på platformen, hvilket gør det muligt at vurdere/prognostisere sandsynligheden for fejl i en specifik KE og graden af indflydelse af fejlen på den forretningsservice, der er baseret på den specifikke KE. Desuden fungerer DX OI som et samlet punkt for indsamling af overvågningsbegivenheder og dermed integration med Service Desk-systemet, hvilket er en ubestridelig fordel ved at bruge systemet i enhedernes overvågningscentre med vakante skift i organisationer. I denne artikel vil vi uddybe systemets funktionalitet og vise bruger- og administratorgrænseflader.

Arkkitekturen af løsningen DX OI

DX-platformen har en mikrotjeneste-arkitektur, og installeres og fungerer under administration af Kubernetes eller OpenShift. På det følgende billede ses komponenterne i løsningen, som kan bruges som selvstændige overvågningsværktøjer eller kan udskiftes med eksisterende overvågningssystemer med lignende funktioner (på billedet er eksempler på sådanne systemer) og derefter tilsluttes DX OI-dæksystemet. På diagrammet nedenfor:

• Overvågning af mobilapplikationer i DX App Experience Analytics;
• Overvågning af applikationsydelse i DX APM;
• Overvågning af infrastruktur i DX Infrastructure Manager;
• Overvågning af netværksenheder i DX NetOps Manager.

DX-komponenterne fungerer under kontrol af Kubernetes-klusteret og skaleres let ved simpel starten af nye PODs. Nedenfor er en overordnet skitse af løsningen.

Administration, skalering og opdatering af DX-platformen udføres i administrationskonsollen. Fra én konsol kan man styre en multitenant-arkitektur, der kan omfatte flere virksomheder eller flere forretningsenheder inden for virksomheden. I denne model kan hver virksomhed konfigureres individuelt som lejer med sit eget sæt af konfigurationer.

Administrationskonsollen er et webværktøj til at styre operationer og systemet, som giver administratorer en ensartet, samlet grænseflade til udførelse af opgaver relateret til cluster-overvågning.

Nye lejere for forretningsenheder eller virksomheder i selskabet implementeres på få minutter. Dette giver en fordel, hvis du ønsker at have et enkelt overvågningssystem, men samtidig adskille overvågningsobjekter mellem afdelingerne på platformniveau (og ikke adgangsniveau).

Ressource-service-modeller og overvågning af forretningsservices

DX OI har indbyggede mekanismer til at oprette tjenester og udvikle klassiske RSM'er med tildeling af indflydelseslogik og vægte mellem komponenterne i servicen. Der er også mekanismer til at eksportere RSM'er fra eksterne CMDB'er. Nedenfor er den indbyggede RSM-editor (vær opmærksom på vægtene af forbindelser).

DX OI giver et helhedsbillede af nøglepræstationsindikatorerne for forretnings- eller IT-tjenester med detaljeringsgrad, herunder tilgængelighed af tjenester og risikoforudsigelser for fejl. Værktøjet kan også give indsigt i virkningen af præstationsproblemer eller ændringer i IT-komponenternes struktur (applikationer eller infrastruktur) på forretningstjenesterne. Nedenfor er et interaktivt dashboard, der viser status for alle tjenester.

Lad os se nærmere på tjenesten Digital Banking som eksempel. Ved at klikke på tjenestens navn går vi til den detaljerede RSM for servicen. Vi kan se, at status for Digital Banking-tjenesten afhænger af tilstanden af infrastrukturelle og transaktionelle underservices med forskellige vægte. Arbejdet med vægt og dens visualisering er en interessant fordel ved DX OI.

Topologi er et vigtigt element i operationel overvågning af virksomheden, som gør det muligt for operatører og ingeniører at analysere forholdene mellem komponenterne, finde årsagen og indflydelsen.

DX OI Topology Viewer er en tjeneste, der bruger topologiske data fra domænesystemer til overvågning, som indsamler data direkte fra overvågningsobjekterne. Værktøjet er designet til at søge i flere lag af topologihold og vise et kort over relationer, afhængig af konteksten. For at undersøge problemer kan man navigere til den problematiske backend-bankservice og se topologien samt de problematiske komponenter. Desuden kan man analysere fejlmeddelelser og præstationsmålinger for hver komponent.

Ved analyse af betalingskomponenterne (brugernes transaktioner) kan vi spore værdier af forretnings-KPI'er, som også tages i betragtning ved beregningen af tjenestens tilgængelighed og sundhed. Et eksempel på forretnings-KPI'er er angivet nedenfor:

Hændelsesanalyse (Alarm Analytics)

Algoritmisk støjreduktion gennem clustering af fejl

En af nøglefunktionerne i DX OI ved håndtering af hændelser er clustering. Mekanismen arbejder på alle meddelelser, der kommer ind i systemet, for at identificere mønstre baseret på forskellige kontekster og gruppere dem. Disse klynger er selvlærende og kræver ikke manuel konfiguration.

Dermed gør clustering det muligt for brugerne at samle og gruppere et stort antal hændelser og kun analysere dem, der har en fælles kontekst. For eksempel et sæt hændelser, der repræsenterer en hændelse, der påvirker driften af applikationer eller datacentre. Situationer skabes ved hjælp af clustering-algoritmer baseret på maskinlæring, der bruger tidsmæssig korrelation, topologisk sammenhæng og behandling af naturligt sprog. Nedenfor vises eksempler på visualisering af klyngegrupper af meddelelser, kaldet Situations Alarms, samt Evidence Timeline, der viser de primære grupperingsparametre og processen for reduktion af støjende hændelser.

Analyse af rodårsager og korrelation af fejl

I det moderne hybride miljø kan en brugertransaktion involvere flere systemer, der anvendes dynamisk. Som et resultat kan der opstå flere advarsler fra forskellige systemer, men som er relateret til det samme problem eller hændelse. DX OI bruger patenterede mekanismer til at undertrykke overflødige og duplikerede advarsler samt til at korrelere relaterede advarsler for at forbedre opdagelsen af kritiske problemer og hurtigere løsning.

Lad os se på et eksempel, hvor systemet modtager mange fejlsignaler fra forskellige enheder (KE), der understøtter én service. Hvis der er påvirkning af tilgængeligheden og driftsikkerheden af servicen, vil systemet generere en servicefejl (Service Alarm), angive og markere den sandsynlige rodårsag (det problematiske KE og fejlsignalet fra KE), der har bidraget til et fald i ydeevne eller nedbrud af servicen. Nedenfor vises en visualisering af fejlsituationen for Webex-servicen.

DX OI giver mulighed for at arbejde med hændelser gennem intuitive handlinger i systemets webgrænseflade. Brugere kan manuelt tildele hændelser til en ansvarlig medarbejder for at løse problemer, nulstille/bekræfte advarsler, oprette billetter eller sende e-mails, og starte automatiserede scripts til at håndtere fejlsituationen (Remediation Workflow, mere om dette senere). På denne måde giver DX OI operatører mulighed for at fokusere på den grundlæggende fejlsignal samt hjælpe med at forenkle processen med at sortere meddelelser på klynger.

Maskinelle algoritmer til behandling af målinger og analyse af ydeevne data

Maskinlæring gør det muligt at overvåge, aggregere og visualisere nøgletal for ydeevne over enhver bestemt tidsperiode, hvilket giver brugeren følgende fordele:

• Opdagelse af flaskehalse og anomalier i ydeevne;
• Sammenligning af flere målinger for de samme enheder, interfaces eller netværk;
• Sammenligning af de samme målinger på flere enheder;
• Sammenligning af forskellige målinger på én eller flere enheder;
• Sammenligning af multidimensionale målinger på flere enheder.

For analyzing incoming metrics in the system, DX OI utilizes machine analytics functions using mathematical algorithms, which helps reduce the time required for setting static thresholds and generating alerts in the event of anomalies.

The result of applying mathematical algorithms is the construction of so-called probability distributions of the metric values (Rare, Probable, Center, Mean, Actual). The probability distributions are represented in the diagrams above and below.

The two graphs above display the following data:

• Actual data. Actual data is displayed on the graph as a solid black line (no alerts) or a solid colored line (alert status). The line is calculated based on the actual data for the metric. By comparing the actual data and the median value, you can quickly see variations in the metric. When an event occurs, the black line changes to a solid colored line, corresponding to the severity of the event, displaying icons with the relevant severity above the graph. For example, red indicates a critical anomaly, orange indicates a significant anomaly, and yellow indicates a minor anomaly.
• Mean value. The mean or average value for the metric is shown on the chart as a gray line. The mean is displayed when there is a lack of historical data.
• Median value. The median line represents the midpoint of the range and is shown as a green dotted line. Areas closest to this line are most representative of typical metric values.
• Common Value. Common zone data track the closest to the central line or norm for your metric and are displayed as a dark green band. Analytical calculations place the common zone one percentile above or below the norm.
• Probability data. Probability zone data is shown on the graph as a green band. The system positions the probability zone two percentiles above or below the norm.
• Rare data. Data om sjældne zoner vises på grafen som en lys grøn stribe. Systemet placerer zonen med sjældne værdi-metrics tre percentiler over eller under normalen og signalerer adfærd uden for det normale interval, samtidig med at systemet genererer såkaldte Anomaly Alerts.

En anomali er en måling eller begivenhed, som ikke er i overensstemmelse med de normale metrics. Anomaliopdagelse til identifikation af problemer og forståelse af tendenser i infrastruktur og applikationer er en nøglefunktion i DX OI. Anomaliopdagelse gør det muligt både at genkende usædvanlig adfærd (for eksempel en server, der svarer langsommere end normalt, eller usædvanlig netværksaktivitet forårsaget af hacking) og at reagere passende (oprette en hændelse, starte et automatisk remediation-script).

Funktionen til anomaliopdagelse i DX OI giver følgende fordele:

• Der er ikke behov for at indstille tærskelværdier. DX OI vil automatisk sammenligne data og identificere anomalier.
• DX OI inkluderer mere end ti algoritmer inden for kunstig intelligens og maskinlæring, herunder EWMA (Exponentially-Weighted Moving Average) og KDE (Kernel Density Estimation). Disse algoritmer muliggør hurtig årsagsanalyser og forudsigelse af fremtidige metrics-værdier.

Prædiktiv analyse og alarm om mulige fejl.

Predictive Insights er en funktion, der bruger maskinlæringskapaciteter til at identificere mønstre og tendenser. Baseret på disse tendenser forudsiger systemet begivenheder, der kan finde sted i fremtiden. Disse meddelelser angiver behovet for at tage handling, før metrics-værdierne overskrider normale værdier, hvilket kan påvirke kritiske forretningsservices. Predictive Insights er vist på billedet nedenfor.

Og dette er visualiseringen af de prædiktive advarsler for en bestemt metric.

Forudsigelse af belastning af beregningskraft med funktion til belastningsscenarier.

Capacity Analytics-funktionen hjælper med at styre IT-ressourcer ved at sikre den rette størrelse på ressourcerne til at imødekomme de nuværende og fremtidige behov i virksomheden. Du vil kunne optimere ydeevnen og effektiviteten af de eksisterende ressourcer, planlægge og retfærdiggøre enhver finansiel investering.

Kapacitetsanalyse-funktionen i DX OI giver følgende fordele:

• Kapacitetsprognoser i peakperioder;
• Identifikation af hvornår der er behov for yderligere ressourcer for at sikre kvaliteten af tjenesten;
• Indkøb af yderligere ressourcer kun ved behov;
• Effektiv infrastruktur- og netværksstyring;
• Eliminering af unødvendige omkostninger til elektricitet ved at opdage uudnyttede ressourcer;
• Udførelse af belastningsvurdering af ressourcer ved planlagte stigninger i tjeneste- eller ressourcebehov.

På Capacity Analytics-siden DX OI (se billede nedenfor) findes følgende widgets:

• Ressourcekapacitetsstatus (Resource Capacity Status);
• Overvågede grupper/tjenester (Monitored Groups/Services);
• Største ressourceforbrugere (Top Capacity Consumers).

Hovedsiden for Capacity Analytics viser ressourcekomponenter, der er overdrevne i belastning og har lav kapacitet. Denne side hjælper platformadministratorer med at finde overudnyttede ressourcer og hjælper dem med at skalere og optimere ressourcerne. Ressourcernes tilstand kan analyseres baseret på farvekoder og de tilsvarende værdier. Ressourcer klassificeres baseret på graden af overbelastning på siden for ressourcekapacitet. Man kan klikke på hver af farverne for at se en liste over komponenter, der hører til den valgte kategori. Derefter vises et varmekort med alle objekter og prognoser for de næste 12 måneder, hvilket gør det muligt at identificere ressourcer, der snart vil være opbrugt.

For hver af metrics i Capacity Analytics kan filtre angives, som DX Operational Intelligence bruger til at lave prognoser (se billede nedenfor).

Følgende filtre er tilgængelige:

• Metric. Den metric, der vil blive brugt til prognosen.
• Base on. Valg af mængden af historiske data, der skal bruges til at lave fremadskuende prognoser. Dette felt bruges til at sammenligne og analysere tendenser fra den sidste måned, tendenser fra de sidste 3 måneder, tendenser fra året osv.
• Growth. Forventet belastningsvækst, som du ønsker at bruge til at modellere effektprognosen. Disse data kan bruges til at forudsige væksten ud over prognoserne. For eksempel forventes det, at ressourceforbruget stiger med yderligere 40 procent på grund af åbningen af et nyt kontor.

Loganalyse

Loganalysens funktion i DX OI giver:

• indsamling og aggregering af logs fra forskellige kilder (herunder agentbaserede og agensfrie metoder);
• parsing og normalisering af data;
• analyse af overholdelse af specifikationerne og generation af hændelser;
• korrrelation af hændelser baseret på logs, herunder med hændelser opnået fra overvågning af IT-infrastrukturen;
• visualisering af data baseret på analysen i DX Dashboards;
• konklusioner om tilgængeligheden af tjenester baseret på dataanalysen fra logs.

Indsamling af logs uden agent udføres af systemet for Windows Event logs og Syslog. Agentbaseret indsamling af tekstlogs.

Automatiseret håndtering af nødsituationer (Remediation)

Automatiserede handlinger til rettelse af nødsituationer (Remediation Workflow) gør det muligt at løse problemer, der forårsagede genereringen af en hændelse i DX OI. For eksempel genererer et CPU-belastningsproblem en nødsituation, og reparationsprocessen (Remediation Workflow) løser problemet ved at genstarte den server, hvor problemet opstod. Integration mellem DX OI og automatiseringssystemet muliggør kørsel af reparationsprocesser fra hændelseskonsollen i DX Operational Intelligence og overvågning af dem i automatiseringssystemets konsol.

Efter integration med automatiseringssystemet kan automatiserede handlinger til håndtering af enhver nødsituation startes i konsollen for DX OI fra konteksten af nødsituationens meddelelse. Du kan se anbefalede handlinger sammen med oplysninger om sandsynlighed (chance for at løse situationen gennem handlingen).

Oprindeligt, når der ikke er statistik vedrørende resultaterne af Remediation Workflow, foreslår anbefalingssystemet potentielle muligheder baseret på søgning efter nøgleord, hvorefter der anvendes resultater fra maskinlæring, og systemet begynder at anbefale reparationsteknikker baseret på heuristik. Når du begynder at evaluere resultaterne af de modtagne forslag, vil nøjagtigheden af anbefalingerne forbedres.

Eksempel på brugerfeedback: brugeren vælger en handling, de kan lide eller ikke kan lide, og systemet tager denne beslutning med i fremtidige anbefalinger. Like/dislike:

De anbefalede korrigerende handlinger for en specifik alarm er baseret på en kombination af feedback, der bestemmer, om handlingen er acceptabel. DX OI leveres med klar integration til automatiseringssystemet Automic Automation.

Integration af DX OI med tredjeparters systemer

Vi vil ikke gå i detaljer med integrationen af data fra de indfødte overvågningsprodukter fra Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). I stedet ser vi på, hvordan data integreres fra tredjeparts systemer og gennemgår et eksempel på integration med et af de mest populære systemer - Zabbix.

Til integration med tredjeparters systemer anvendes komponenten DX Gateway. DX Gateway består af 3 komponenter - On-Prem Gateway, RESTmon og Log Collector (Logstash). Du kan installere alle 3 komponenter eller kun den, du har brug for, ved at ændre den overordnede konfigurationsfil ved installationen af DX Gateway. Nedenfor er arkitekturen for DX Gateway.

Lad os se på formålet med komponenterne i DX Gateway hver for sig.

On-Prem Gateway. Dette er et interface, der indsamler fejlalarmer fra DX-platformen og sender hændelser om fejl til tredjeparters systemer. On-Prem Gateway fungerer som en poller, der regelmæssigt indsamler hændelsesdata fra DX OI ved hjælp af API-anmodninger over HTTPS-protokollen, og derefter sender advarsler til en ekstern server, der er integreret med DX-platformen via webhooks.

DX Log Collector modtager syslog fra netværksenheder eller servere og uploader dem til OI. DX Log Collector muliggør adskillelse af software, der genererer meddelelser, systemet, der gemmer dem, samt software, der rapporterer og analyserer dem. Hver meddelelse mærkes med en objektkode, der angiver den type software, der genererer meddelelsen, og tildeles et kritikalitetsniveau. I DX Dashboards kan alt dette ses senere.

DX RESTmon integreres med tredjeparts produkter/tjenester via REST API og overfører data til OI. Nedenfor er en skematisk oversigt over funktionen af DX RESTmon i forbindelse med integration med overvågningssystemerne Solarwinds og SCOM.

Nøglefunktioner ved DX RESTmon:

• Forbindelse til enhver tredjeparts datakilde for at modtage data:
  • PULL: tilslutning og udtrækning af data fra offentlige REST API'er;
  • PUSH: dataflow til RESTmon via REST.
• Understøttelse af JSON- og XML-formater;
• Modtagelse af metrikker, advarsler, grupper, topologi, inventar og logs;
• Færdige connectorer til forskellige værktøjer/teknologier; det er også muligt at udvikle en connector til enhver kilde med et åbent API (listen over indbyggede connectorer er vist nedenfor);
• Understøttelse af grundlæggende godkendelse (som standard) ved adgang til Swagger-grænsefladen og API;
• Understøttelse af HTTPS (som standard) for alle indgående og udgående beskeder;
• Understøttelse af indgående og udgående proxyer;
• Særlige muligheder for syntaktisk analyse af tekst for logs modtaget via REST;
• Tilpasset syntaktisk analyse med RESTmon, der sikrer effektiv analyse og visualisering af logs;
• Understøttelse af udtrækning af information om gruppe-enheder fra overvågningsapplikationer og upload til OI for analyse og visualisering;
• Understøttelse af muligheden for at matche med regulære udtryk. Dette kan bruges til syntaktisk analyse og matchning af logbeskeder modtaget via REST samt til at generere eller lukke hændelser baseret på bestemte betingelser for regulære udtryk.

Lad os nu se på processen for at konfigurere DX OI integrationen med Zabbix via DX RESTmon. Den indbyggede integration henter følgende data fra Zabbix:

• inventardata;
• topologi;
• problemer;
• metrikker.

Da connectoren til Zabbix er tilgængelig ud af boksen, er det eneste, der skal gøres for at konfigurere integrationen, at opdatere profilen ved at angive IP-adresse på Zabbix API-serveren og kontoen, og derefter uploade profilen via Swagger-webgrænsefladen. Eksemplerne ses på de to følgende billeder.

Efter konfigurationen af integrationen vil de data, der modtages fra Zabbix, have adgang til DX OI's analytiske funktioner, der er beskrevet ovenfor, nemlig: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics og Remediation. Nedenfor er et eksempel på analyse af performance-metrikker for objekter, der er integreret fra Zabbix.

Konklusion

DX OI — et moderne analyseværktøj, der sikrer betydelig operationel effektivitet i IT-afdelingerne, muliggør hurtigere og mere præcise beslutninger for at forbedre kvaliteten af IT-tjenester og forretningsservice gennem tværdomæne kontekstuel analyse. For applikationsejere og forretningsafdelinger vil DX OI beregne tilgængelighedsindekset og kvaliteten af tjenester ikke kun i konteksten af teknologiske IT-metrikker, men også forretnings-KPI'er, der udvindes fra transaktionsstatistik for slutbrugere.

Hvis du vil vide mere om denne løsning, bedes du ansøge om en demonstration eller et pilotprojekt. på en måde der passer dig. på vores hjemmeside.

Kilde: habr.com