I september udgav Broadcom (tidligere CA) den nye version 20.2 af sin DX Operations Intelligence (DX OI) løsning. På markedet er dette produkt positioneret som et paraplyovervågningssystem. Systemet er i stand til at modtage og kombinere data fra overvågningssystemer for forskellige domæner (netværk, infrastruktur, applikationer, databaser) fra både CA og tredjepartsproducenter, herunder open source-løsninger (Zabbix, Prometheus og andre).

Hovedfunktionen af ​​DX OI er oprettelsen af ​​en fuldgyldig ressourceservicemodel (RSM) baseret på konfigurationselementer (CU'er), der fylder lagerdatabasen, når de integreres med tredjepartssystemer. DX OI implementerer Machine Learning og Artificial Intelligence (ML og AI) funktioner over de data, der kommer ind på platformen, hvilket giver dig mulighed for at evaluere/forudsige sandsynligheden for fejl i en specifik CI og graden af ​​indvirkning af en fejl på en forretningsservice baseret på et specifikt CI. Derudover er DX OI et enkelt indsamlingspunkt for overvågningshændelser og dermed integration med Service Desk-systemet, hvilket er en ubestridelig fordel ved at bruge systemet i forenede overvågningscentre ved vagtskift af organisationer. I denne artikel vil vi fortælle dig mere om systemets funktionalitet og vise bruger- og administratorgrænseflader.

DX OI løsningsarkitektur

DX-platformen har en mikroservicearkitektur, installeret og kører Kubernetes eller OpenShift. Følgende figur viser komponenterne i løsningen, der kan bruges som uafhængige overvågningsværktøjer eller kan erstattes med eksisterende overvågningssystemer med lignende funktioner (der er eksempler på sådanne systemer i figuren) og derefter tilsluttes DX OI-paraplyen. I diagrammet nedenfor:

• Overvågning af mobilapplikationer i DX App Experience Analytics;
• Overvågning af applikationsydelse i DX APM;
• Infrastrukturovervågning i DX Infrastructure Manager;
• Overvågning af netværksenheder i DX NetOps Manager.

DX-komponenter kører på en Kubernetes-klynge og skaleres ved blot at lancere nye POD'er. Nedenfor er et topniveau løsningsdiagram.

Administration, skalering og opgradering af DX platformen udføres i den administrative konsol. Fra en enkelt konsol kan du administrere en multi-tenant-arkitektur, der kan spænde over flere virksomheder eller flere forretningsenheder i en virksomhed. I denne model kan hver facilitet konfigureres individuelt som lejer med sit eget sæt konfigurationer.

Administrationskonsollen er et webbaseret operations- og systemadministrationsværktøj, der giver administratorer en ensartet, samlet grænseflade til udførelse af overvågningsklyngeadministrationsopgaver.

Nye lejere til forretningsenheder eller virksomheder i virksomheden indsættes på få minutter. Dette er en fordel, hvis du ønsker at have et samlet overvågningssystem, men samtidig på platformsniveau (og ikke adgangsrettigheder) afgrænse overvågningsobjekter mellem afdelinger.

Ressourceservicemodeller og overvågning af forretningsservice

DX OI har indbyggede mekanismer til at skabe services og udvikle klassisk PCM med opgaven om indflydelseslogikken og vægte mellem servicekomponenter. Der er også mekanismer til at eksportere PCM fra en ekstern CMDB. Nedenstående figur viser den indbyggede PCM-editor (vær opmærksom på linkvægtene).

DX OI giver et holistisk overblik over nøglepræstationsindikatorer for virksomheds- eller IT-tjenester på et granuleret niveau, herunder servicetilgængelighed og forudsigelse af fejlrisiko. Værktøjet kan også give indsigt i effekten af ​​et præstationsproblem eller en ændring i strukturen af ​​it-komponenter (applikation eller infrastruktur) på en virksomhedsservice. Nedenstående figur er et interaktivt dashboard, der viser status for alle tjenester.

Lad os se nærmere på Digital Banking-tjenesten som et eksempel. Ved at klikke på tjenestens navn går vi til den detaljerede PCM-tjeneste. Vi ser, at status for Digital Banking-tjenesten afhænger af tilstanden af ​​infrastruktur og transaktionsundertjenester med forskellig vægt. At arbejde med vægte og vise dem er en interessant fordel ved DX OI.

Topologi er et vigtigt element i operationel overvågning af virksomheden, hvilket giver operatører og ingeniører mulighed for at analysere forholdet mellem komponenter, finde årsagen og indflydelsen.

DX OI Topology Viewer er en tjeneste, der bruger topologiske data fra domæneovervågningssystemer, der indsamler data direkte fra overvågningsobjekter. Værktøjet er designet til at søge i flere topologilagerlag og vise et kontekstspecifikt forholdskort. For at undersøge problemer kan du gå til den problematiske Backend Banking-undertjeneste og se topologien og problematiske komponenter. Alarmmeddelelser og ydeevnemålinger kan også analyseres for hver komponent.

Når vi analyserer transaktionskomponenterne i Betalinger (brugertransaktioner), kan vi spore forretnings-KPI-værdier, som også tages i betragtning ved beregning af tilgængelighedsstatus og tjenestens tilstand. Et eksempel på en virksomheds-KPI er vist nedenfor:

Hændelsesanalyse (Alarmanalyse)

Algoritmisk støjreduktion på grund af crash clustering

En af nøglefunktionerne ved DX OI i begivenhedshåndtering er klyngedannelse. Mekanismen fungerer på alle alarmer, der kommer ind i systemet, for at identificere mønstre baseret på forskellige kontekster og kombinere dem i grupper. Disse klynger er selvlærende og behøver ikke konfigureres manuelt.

Klynger giver således brugerne mulighed for at kombinere og gruppere et stort antal begivenheder og kun analysere dem, der har en fælles kontekst. For eksempel et sæt hændelser, der repræsenterer en hændelse, der påvirker applikationer eller et datacenter. Situationerne skabes ved hjælp af maskinlæringsbaserede klyngealgoritmer, der bruger tidsmæssig korrelation, topologisk relation og modersmålsbehandling til analyse. Nedenstående figurer viser eksempler på visualisering af grupperede meddelelsesgrupper, de såkaldte Situationsalarmer og Evidence Timeline, som viser hovedgrupperingsparametrene og processen med at reducere antallet af støjhændelser.

Rodproblemanalyse og crash-korrelation

I nutidens hybridmiljø kan en brugertransaktion påvirke flere systemer, der bruges dynamisk. Som følge heraf kan flere advarsler genereres fra forskellige systemer, men relateret til det samme problem eller hændelse. DX OI bruger proprietære mekanismer til at undertrykke redundante og duplikerede advarsler og korrelere relaterede advarsler for forbedret detektion af kritiske problemer og hurtigere løsning.

Lad os betragte et eksempel, når systemet modtager adskillige nødbeskeder for forskellige objekter (KE), der ligger til grund for en tjeneste. I tilfælde af indvirkning på tilgængeligheden og driften af ​​tjenesten, vil systemet generere en servicealarm (servicealarm), indikere og udpege den sandsynlige grundårsag (problem-CI og alarmmeddelelse på CI), der bidrog til faldet i ydeevne eller fejl i tjenesten. Figuren nedenfor viser nedbrudsvisualiseringen for en Webex-tjeneste.

DX OI giver dig mulighed for at arbejde med hændelser gennem intuitive handlinger i systemets webgrænseflade. Brugere kan manuelt tildele hændelser til den ansvarlige medarbejder til fejlfinding, nulstille/anerkende advarsler, oprette billetter eller sende e-mail-meddelelser, køre automatiserede scripts for at løse en nødsituation (Remediation Workflow, mere om det senere). På denne måde tillader DX OI skiftoperatører at fokusere på rodalarmmeddelelsen og hjælper også med at forenkle processen med at sortere meddelelser i grupperede arrays.

Maskinalgoritmer til behandling af metrics og analyse af ydeevnedata

Maskinlæring giver dig mulighed for at spore, aggregere og visualisere nøglepræstationsindikatorer for en given periode, hvilket giver brugeren følgende fordele:

• Påvisning af flaskehalse og uregelmæssigheder i ydeevnen;
• Sammenligning af flere indikatorer for de samme enheder, grænseflader eller netværk;
• Sammenligning af de samme indikatorer ved flere objekter;
• Sammenligning af forskellige indikatorer for et og flere objekter;
• Sammenligning af multidimensionelle metrikker for flere objekter.

For at analysere de metrikker, der kommer ind i systemet, bruger DX OI funktionerne i maskinanalyse ved hjælp af matematiske algoritmer, som hjælper med at reducere tiden, når der indstilles statiske tærskler og genererer advarsler, når der opstår uregelmæssigheder.

Resultatet af at anvende matematiske algoritmer er konstruktionen af ​​de såkaldte sandsynlighedsfordelinger af den metriske værdi (Rare, Probable, Center, Mean, Actual). Figurerne ovenfor og nedenfor viser sandsynlighedsfordelingerne.

De to diagrammer ovenfor viser følgende data:

• Faktiske data (Faktisk). Faktiske data plottes som en ubrudt sort linje (ingen alarmer) eller en farvet ubrudt linje (alarmtilstand). Linjen beregnes ud fra de faktiske data for metrikken. Ved at sammenligne de faktiske data og medianen kan du hurtigt se variationen i metrikken. Når en hændelse indtræffer, ændres den sorte linje til en farvet ubrudt linje, der svarer til hændelsens alvor og viser ikoner med den tilsvarende alvor over grafen. For eksempel rød for en kritisk anomali, orange for en større anomali og gul for en mindre anomali.
• Indikatorens gennemsnitsværdi (middelværdi). Medianen eller middelværdien for et mål er vist som en grå linje i diagrammet. Gennemsnitsværdien vises, når der ikke er nok historiske data.
• Medianværdien af ​​indikatoren (centerværdi). Medianlinjen er midten af ​​området og vises som en grøn stiplet linje. Zonerne tættest på denne linje er tættest på indikatorens typiske værdier.
• Fælles data (Common Value). Den samlede zone-data sporer tættest på midterlinjen eller normalen for din metrisk og vises som en mørkegrøn bjælke. Analytiske beregninger placerer den samlede zone en percentil over eller under normalen.
• probabilistiske data. Sandsynlighedszonedataene vises på grafen med en grøn bjælke. Systemet placerer sandsynlighedszonen to percentiler over eller under normalen.
• Sjældne data. Sjældne zonedata vises på grafen som en lysegrøn bjælke. Systemet placerer en zone med sjældne metriske værdier tre percentiler over eller under normen og signalerer indikatorens adfærd uden for det normale område, mens systemet genererer den såkaldte Anomaly Alert.

En anomali er en måling eller hændelse, der ikke er i overensstemmelse med en metriks normale ydeevne. Anomalidetektion for at identificere problemer og forstå tendenser i infrastruktur og applikationer er en nøglefunktion i DX OI. Anomalidetektion giver dig mulighed for både at genkende usædvanlig adfærd (f.eks. en server, der reagerer langsommere end normalt, eller usædvanlig netværksaktivitet forårsaget af et hack) og reagere i overensstemmelse hermed (initiere en hændelse, køre et automatisk afhjælpningsscript).

DX OI-anomalidetektionsfunktionen giver følgende fordele:

• Du behøver ikke at angive tærskler. DX OI vil uafhængigt sammenligne dataene og identificere uregelmæssigheder.
• DX OI inkluderer mere end ti kunstig intelligens og maskinlæringsalgoritmer, inklusive EWMA (Eksponentielt-Weighted-Moving-Average) og KDE (Kernel Density Estimation). Disse algoritmer giver dig mulighed for at udføre hurtig rodårsagsanalyse og forudsige fremtidige målinger.

Forudsigende analyser og fejladvarsler

Predictive Insights er en funktion, der bruger kraften i maskinlæring til at identificere mønstre og tendenser. Baseret på disse tendenser forudsiger systemet begivenheder, der kan forekomme i fremtiden. Disse meddelelser indikerer, at der skal træffes handling, før de metriske værdier går ud over det normale interval, hvilket påvirker kritiske forretningstjenester. Predictive Insights er vist i figuren nedenfor.

Og dette er en visualisering af forudsigende advarsler for en specifik metrik.

Forudsigelse af belastningen af ​​computerkraft med funktionen at indstille belastningsscenarier

Capacity Analytics-kapacitetsplanlægningsfunktionen hjælper med at administrere it-ressourcer ved at sikre, at ressourcerne er korrekt dimensioneret til at imødekomme nuværende og fremtidige forretningsbehov. Du vil være i stand til at optimere ydeevnen og effektiviteten af ​​eksisterende ressourcer, planlægge og begrunde enhver økonomisk investering.

Funktionen Capacity Analytics i DX OI giver følgende fordele:

• Prognosekapacitet i højsæsoner;
• Bestemmelse af det tidspunkt, hvor der kræves yderligere ressourcer for at sikre kvaliteten af ​​tjenesten;
• Kun indkøb af yderligere ressourcer, når det er nødvendigt;
• Effektiv infrastruktur og netværksstyring;
• Eliminer unødvendige energiomkostninger ved at identificere underudnyttede ressourcer;
• Udfør estimering af ressourcebelastning i tilfælde af en planlagt stigning i efterspørgslen efter en tjeneste eller ressource.

Capacity Analytics DX OI-siden (vist nedenfor) har følgende widgets:

• Ressourcekapacitetsstatus;
• Kontrollerede grupper/tjenester (overvågede grupper/tjenester);
• Storforbrugere af ressourcer (Top Capacity Consumers).

Hovedsiden for kapacitetsanalyse viser ressourcekomponenter, der er overudnyttede og løber tør for kapacitet. Denne side hjælper platformsadministratorer med at finde overbrugte ressourcer og hjælper dem med at ændre størrelse og optimere ressourcer. Ressourcernes tilstand kan analyseres ud fra farvekoder og deres respektive værdier. Ressourcer er kategoriseret efter deres grad af overbelastning på statussiden for ressourcekapacitet. Du kan klikke på hver af farverne for at se en liste over komponenterne i den valgte kategori. Dernæst vises et varmekort med alle objekter og prognoser i 12 måneder, som giver dig mulighed for at identificere ressourcer, der er ved at være opbrugt.

For hver af metrikkerne i Capacity Analytics kan du angive de filtre, som DX Operational Intelligence bruger til at lave prognoser (figur nedenfor).

Følgende filtre er tilgængelige:

• Metrisk. Den metrik, der skal bruges til prognosen.
• Baseret på. Valg af mængden af ​​historiske data, der vil blive brugt til at opbygge prognoser for fremtiden. Dette felt bruges til at sammenligne og analysere sidste måneds tendenser, seneste 3 måneders tendenser, årlige tendenser osv.
• Vækst. Den forventede vækstrate for den arbejdsbyrde, du vil bruge til at modellere kapacitetsprognosen. Disse data kan bruges til at forudsige vækst ud over prognoser. For eksempel forventes ressourceforbruget at stige med yderligere 40 procent på grund af åbningen af ​​et nyt kontor.

Log analyse

DX OI-loganalysefunktionen giver:

• indsamling, aggregering af logfiler fra forskellige kilder (inklusive dem, der er opnået med agent- og agentløse metoder);
• parsing og datanormalisering;
• analyse for overholdelse af de fastsatte betingelser og generering af begivenheder;
• korrelation af hændelser baseret på logfiler, herunder hændelser modtaget som følge af IT-infrastrukturovervågning;
• datavisualisering baseret på analyse i DX Dashboards;
• konklusioner om tilgængeligheden af ​​tjenester baseret på analyse af data fra logfilerne.

Indsamlingen af ​​logfiler ved hjælp af en agentfri metode udføres af systemet til Windows Hændelseslogfiler og Syslog. Agentbaseret måde at indsamle tekstlogfiler på.

Automatiseret nødløsningsfunktion (afhjælpning)

Automatiserede handlinger til at rette op på nødsituationen (Remediation Workflow) giver dig mulighed for at løse problemer, der forårsagede genereringen af ​​en hændelse i DX OI. For eksempel, hvis et CPU-brugsproblem genererer en alarm, løser Remediation Workflow problemet ved at genstarte den server, der har problemet. Integrationen mellem DX OI og automationssystemet gør det muligt at udløse afhjælpningsprocesser fra hændelseskonsollen i DX Operational Intelligence og spores i automationssystemets konsol.

Efter integration med et automatiseringssystem kan du udløse automatiske handlinger for at rette enhver nødsituation i DX OI-konsollen fra sammenhængen med en alarm. Du kan se anbefalede handlinger sammen med oplysninger om tillidsprocenter (sandsynligheden for, at situationen bliver løst ved at foretage handlingen).

I første omgang, når der ikke er nogen statistik over resultaterne af Remediation Workflowet, foreslår anbefalingsmaskinen kandidater baseret på søgeordssøgninger, derefter bruges maskinlæringsresultaterne, og motoren begynder at anbefale en heuristisk-baseret remedieringsteknik. Så snart du begynder at evaluere resultaterne af de modtagne tip, vil nøjagtigheden af ​​anbefalingerne blive bedre.

Et eksempel på brugerfeedback: brugeren vælger, om han kan lide eller ikke lide den foreslåede handling, og systemet tager dette valg i betragtning, når de fremsætter yderligere anbefalinger. Like/dislike:

De anbefalede korrigerende handlinger for en bestemt alarm er baseret på en kombination af feedback, der afgør, om handlingen er acceptabel. DX OI leveres med klar-til-brug integration med Automatic Automation.

Integration af DX OI med tredjepartssystemer

Vi vil ikke dvæle ved integrationen af ​​data fra native Broadcom-overvågningsprodukter (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Lad os i stedet se på, hvordan data fra tredjeparts 3. parts systemer integreres og overveje et eksempel på integration med et af de mest populære systemer – Zabbix.

Til integration med tredjepartssystemer bruges DX Gateway-komponenten. DX Gateway består af 3 komponenter - On-Prem Gateway, RESTmon og Log Collector (Logstash). Du kan installere alle 3 komponenter eller kun den, du har brug for, ved at ændre den generelle konfigurationsfil, når du installerer DX Gateway. Figuren nedenfor viser DX Gateway-arkitekturen.

Lad os overveje formålet med DX Gateway-komponenterne separat.

On-Prem Gateway. Dette er en grænseflade, der indsamler alarmer fra DX-platformen og sender alarmhændelser til tredjepartssystemer. On-Prem Gateway fungerer som en poller, der med jævne mellemrum indsamler hændelsesdata fra DX OI ved hjælp af HTTPS request API, og derefter sender advarsler til en tredjepartsserver, der er integreret med DX-platformen ved hjælp af webhooks.

DX Log Collector modtager syslog fra netværksenheder eller servere og uploader dem til OI. DX Log Collector giver dig mulighed for at adskille softwaren, der genererer meddelelserne, systemet, der gemmer dem, og softwaren, der rapporterer og analyserer dem. Hver meddelelse er mærket med en objektkode, der angiver typen af ​​software, der genererer meddelelsen, og et alvorlighedsniveau er tildelt den. I DX Dashboards kan alt dette så ses.

DX RESTmon integreres med tredjeparts produkter/tjenester via REST API og videregiver data til OI. Figuren nedenfor viser driften af ​​DX RESTmon ved hjælp af eksemplet med integration med Solarwinds og SCOM overvågningssystemer.

Nøglefunktioner i DX RESTmon:

• Opret forbindelse til enhver tredjeparts datakilde for at modtage data:
  • PULL: tilslutning og hentning af data fra offentlige REST API'er;
  • PUSH: dataflow til RESTmon via REST.
• Understøttelse af JSON- og XML-formater;
• Modtag målinger, advarsler, grupper, topologi, inventar og logfiler;
• Færdiglavede stik til forskellige værktøjer/teknologier, det er også muligt at udvikle et stik til enhver kilde med en åben API (liste over stik i boks i figuren nedenfor);
• Understøttelse af grundlæggende godkendelse (standard) ved adgang til Swagger-grænsefladen og API;
• HTTPS-understøttelse (standard) for alle indgående og udgående meddelelser;
• Support til indgående og udgående fuldmagter;
• Kraftige tekstparsing-funktioner til logfiler modtaget via REST;
• Tilpasset parsing med RESTmon til effektiv parsing og visualisering af logfiler;
• Støtte til at udtrække information om grupper af enheder fra overvågningsapplikationer og downloade til OI til analyse og visualisering;
• Understøttelse af matchning af regulære udtryk. Dette kan bruges til at parse og matche logmeddelelser modtaget via REST og til at generere eller lukke hændelser baseret på visse regulære udtryksbetingelser.

Lad os nu se på processen med at konfigurere DX OI-integration med Zabbix via DX RESTmon. Boxed integration tager følgende data fra Zabbix:

• lagerdata;
• topologi;
• Problemer;
• målinger.

Da connectoren til Zabbix er tilgængelig ud af æsken, er det eneste, der skal gøres for at konfigurere integrationen, at opdatere profilen med Zabbix server API IP-adresse og konto og derefter uploade profilen gennem Swagger webgrænsefladen . Et eksempel er i de næste to figurer.

Efter konfiguration af integrationen vil DX OI analytiske funktioner beskrevet ovenfor være tilgængelige for data, der kommer fra Zabbix, nemlig: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics og Remediation. Figuren nedenfor viser et eksempel på analyse af ydeevnemålinger for objekter integreret fra Zabbix.

Konklusion

DX OI er et state-of-the-art analyseværktøj, der vil give betydelig driftseffektivitet til it-afdelinger, så du kan træffe hurtigere og mere korrekte beslutninger for at forbedre kvaliteten af ​​it-tjenester og forretningstjenester gennem kontekstanalyse på tværs af domæner. For applikationsejere og forretningsenheder vil DX OI beregne tilgængelighed og servicekvalitet ikke kun i sammenhæng med IT-teknologimålinger, men også forretnings-KPI'er afledt af slutbrugertransaktionsstatistikker.

Hvis du gerne vil vide mere om denne løsning, bedes du ansøge om en demo eller pilot på en måde, der passer dig på vores hjemmeside.

Kilde: www.habr.com