I september lanserte Broadcom (tidligere CA) den nye versjonen 20.2 av sin DX Operations Intelligence (DX OI)-løsning. På markedet er dette produktet posisjonert som et paraplyovervåkingssystem. Systemet er i stand til å motta og kombinere data fra overvåkingssystemer for ulike domener (nettverk, infrastruktur, applikasjoner, databaser) fra både CA og tredjepartsprodusenter, inkludert åpen kildekode-løsninger (Zabbix, Prometheus og andre).

Hovedfunksjonen til DX OI er å lage en fullverdig ressurstjenestemodell (RSM) basert på konfigurasjonselementer (CUer) som fyller inventardatabasen når de er integrert med tredjepartssystemer. DX OI implementerer funksjoner for maskinlæring og kunstig intelligens (ML og AI) over dataene som kommer inn i plattformen, som lar deg evaluere / forutsi sannsynligheten for feil i en spesifikk CI og graden av innvirkning av en feil på en forretningstjeneste basert på en spesifikk CI. I tillegg er DX OI et enkelt samlingspunkt for overvåkingshendelser og følgelig integrasjon med Service Desk-systemet, noe som er en ubestridelig fordel ved å bruke systemet i enhetlige overvåkingssentre ved vaktskifter av organisasjoner. I denne artikkelen vil vi fortelle deg mer om funksjonaliteten til systemet og vise bruker- og administratorgrensesnittene.

DX OI løsningsarkitektur

DX-plattformen har en mikrotjenestearkitektur, installert og kjører Kubernetes eller OpenShift. Følgende figur viser komponentene i løsningen som kan brukes som uavhengige overvåkingsverktøy eller kan erstattes med eksisterende overvåkingssystemer med lignende funksjoner (det er eksempler på slike systemer i figuren) og deretter kobles til DX OI-paraplyen. I diagrammet nedenfor:

• Overvåking av mobilapplikasjoner i DX App Experience Analytics;
• Overvåking av applikasjonsytelse i DX APM;
• Infrastrukturovervåking i DX Infrastructure Manager;
• Overvåking av nettverksenheter i DX NetOps Manager.

DX-komponenter kjøres på en Kubernetes-klynge og skaleres ved ganske enkelt å lansere nye POD-er. Nedenfor er et løsningsdiagram på toppnivå.

Administrasjon, skalering og oppgradering av DX-plattformen gjøres i administrasjonskonsollen. Fra én enkelt konsoll kan du administrere en multi-tenant-arkitektur som kan spenne over flere bedrifter eller flere forretningsenheter i et selskap. I denne modellen kan hvert anlegg konfigureres individuelt som leietaker med sitt eget sett med konfigurasjoner.

Administrasjonskonsollen er et nettbasert operasjons- og systemadministrasjonsverktøy som gir administratorer et konsistent, enhetlig grensesnitt for å utføre overvåkingsklyngeadministrasjonsoppgaver.

Nye leietakere for forretningsenheter eller virksomheter i selskapet utplasseres på minutter. Dette er en fordel dersom du ønsker å ha et enhetlig overvåkingssystem, men samtidig, på plattformnivå (og ikke tilgangsrettigheter), avgrense overvåkingsobjekter mellom avdelinger.

Ressurstjenestemodeller og overvåking av forretningstjenester

DX OI har innebygde mekanismer for å lage tjenester og utvikle klassisk PCM med oppgaven om innflytelseslogikk og vekter mellom tjenestekomponenter. Det finnes også mekanismer for eksport av PCM fra en ekstern CMDB. Figuren nedenfor viser den innebygde PCM-editoren (vær oppmerksom på lenkevektene).

DX OI gir et helhetlig syn på nøkkelytelsesindikatorer for forretnings- eller IT-tjenester på et granulært nivå, inkludert tjenestetilgjengelighet og feilrisikoprediksjon. Verktøyet kan også gi innsikt i effekten av et ytelsesproblem eller en endring i strukturen til IT-komponenter (applikasjon eller infrastruktur) på en forretningstjeneste. Figuren nedenfor er et interaktivt dashbord som viser status for alle tjenester.

La oss se nærmere på Digital Banking-tjenesten som et eksempel. Ved å klikke på navnet på tjenesten går vi til den detaljerte PCM-tjenesten. Vi ser at statusen til Digital Banking-tjenesten avhenger av tilstanden til infrastruktur og transaksjonelle undertjenester med ulik vekt. Å jobbe med vekter og vise dem er en interessant fordel med DX OI.

Topologi er et viktig element i operasjonell overvåking av virksomheten, slik at operatører og ingeniører kan analysere forholdet mellom komponenter, finne årsaken og innflytelsen.

DX OI Topology Viewer er en tjeneste som bruker topologiske data fra domeneovervåkingssystemer som samler inn data direkte fra overvåkingsobjekter. Verktøyet er designet for å søke i flere topologilagringslag og vise et kontekstspesifikt relasjonskart. For å undersøke problemer kan du gå til den problematiske Backend Banking-undertjenesten og se topologien og problematiske komponentene. Alarmmeldinger og ytelsesberegninger kan også analyseres for hver komponent.

Når vi analyserer transaksjonskomponentene til betalinger (brukertransaksjoner), kan vi spore forretnings-KPI-verdier, som også tas i betraktning når vi beregner tilgjengelighetsstatusen og helsen til tjenesten. Et eksempel på en forretnings-KPI er vist nedenfor:

Hendelsesanalyse (Alarmanalyse)

Algoritmisk støyreduksjon på grunn av krasjgruppering

En av hovedtrekkene til DX OI i hendelseshåndtering er klynging. Mekanismen fungerer på alle varsler som kommer inn i systemet for å identifisere mønstre basert på ulike kontekster og kombinere dem i grupper. Disse klyngene er selvlærende og trenger ikke å konfigureres manuelt.

Dermed lar clustering brukere kombinere og gruppere et stort antall hendelser og analysere bare de som har en felles kontekst. For eksempel et sett med hendelser som representerer en hendelse som påvirker applikasjoner eller et datasenter. Situasjonene skapes ved hjelp av maskinlæringsbaserte klyngealgoritmer som bruker tidsmessig korrelasjon, topologiske forhold og morsmålsbehandling for analyse. Figurene nedenfor viser eksempler på visualisering av grupperte meldingsgrupper, såkalte situasjonsalarmer og bevistidslinje, som viser hovedgrupperingsparametrene og prosessen med å redusere antall støyhendelser.

Rotproblemanalyse og krasjkorrelasjon

I dagens hybridmiljø kan en brukertransaksjon påvirke flere systemer som brukes dynamisk. Som et resultat kan flere varsler genereres fra forskjellige systemer, men relatert til samme problem eller hendelse. DX OI bruker proprietære mekanismer for å undertrykke redundante og dupliserte varsler og korrelere relaterte varsler for forbedret deteksjon av kritiske problemer og raskere løsning.

La oss se på et eksempel når systemet mottar mange nødmeldinger for ulike objekter (KE) som ligger til grunn for en tjeneste. Ved innvirkning på tilgjengeligheten og driften av tjenesten, vil systemet generere en servicealarm (Service Alarm), indikere og utpeke den sannsynlige grunnårsaken (problem-CI og alarmmelding på CI) som bidro til redusert ytelse eller feil på tjenesten. Figuren nedenfor viser krasjvisualiseringen for en Webex-tjeneste.

DX OI lar deg jobbe med hendelser gjennom intuitive handlinger i nettgrensesnittet til systemet. Brukere kan manuelt tildele hendelser til den ansvarlige medarbeideren for feilsøking, tilbakestille/godkjenne varsler, opprette billetter eller sende e-postvarsler, kjøre automatiserte skript for å løse en nødsituasjon (Remediation Workflow, mer om det senere). På denne måten lar DX OI skiftoperatører fokusere på rotalarmmeldingen og bidrar også til å forenkle prosessen med å sortere meldinger i grupperte grupper.

Maskinalgoritmer for å behandle beregninger og analysere ytelsesdata

Maskinlæring lar deg spore, aggregere og visualisere nøkkelytelsesindikatorer for en gitt tidsperiode, noe som gir brukeren følgende fordeler:

• Påvisning av flaskehalser og ytelsesavvik;
• Sammenligning av flere indikatorer for samme enheter, grensesnitt eller nettverk;
• Sammenligning av de samme indikatorene ved flere objekter;
• Sammenligning av ulike indikatorer for ett og flere objekter;
• Sammenligning av flerdimensjonale beregninger for flere objekter.

For å analysere metrikkene som kommer inn i systemet, bruker DX OI funksjonene til maskinanalyse ved hjelp av matematiske algoritmer, noe som bidrar til å redusere tiden når du setter statiske terskler og genererer advarsler når uregelmessigheter oppstår.

Resultatet av å bruke matematiske algoritmer er konstruksjonen av de såkalte sannsynlighetsfordelingene av den metriske verdien (Rare, Probable, Center, Mean, Actual). Figurene over og under viser sannsynlighetsfordelingene.

De to diagrammene ovenfor viser følgende data:

• Faktiske data (Faktisk). Faktiske data plottes som en heltrukket svart linje (ingen alarmer) eller en farget hellinje (alarmtilstand). Linjen beregnes basert på de faktiske dataene for metrikken. Ved å sammenligne de faktiske dataene og medianen kan du raskt se variasjonen i beregningen. Når en hendelse inntreffer, endres den svarte linjen til en farget hellinje som tilsvarer alvorlighetsgraden av hendelsen og viser ikoner med tilsvarende alvorlighetsgrad over grafen. For eksempel rød for en kritisk anomali, oransje for en større anomali og gul for en mindre anomali.
• Gjennomsnittlig verdi av indikatoren (middelverdi). Medianen eller gjennomsnittet for et mål vises som en grå linje i diagrammet. Gjennomsnittsverdien vises når det ikke er nok historiske data.
• Medianverdien til indikatoren (senterverdi). Medianlinjen er midten av området og vises som en grønn stiplet linje. Sonene nærmest denne linjen er nærmest de typiske verdiene til indikatoren.
• Felles data (Common Value). Totalsonedataene sporer nærmest senterlinjen eller normalen for metrikken din og vises som en mørkegrønn linje. Analytiske beregninger plasserer den totale sonen én persentil over eller under normalen.
• sannsynlige data. Sannsynlighetssonedataene vises på grafen med en grønn stolpe. Systemet plasserer sannsynlighetssonen to persentiler over eller under normalen.
• Sjeldne data. Sjeldne sonedata vises på grafen som en lysegrønn stolpe. Systemet plasserer en sone med sjeldne metriske verdier tre persentiler over eller under normen og signaliserer atferden til indikatoren utenfor normalområdet, mens systemet genererer det såkalte anomalivarselet.

En anomali er en måling eller hendelse som er inkonsistent med den normale ytelsen til en beregning. Avviksdeteksjon for å identifisere problemer og forstå trender i infrastruktur og applikasjoner er en nøkkelfunksjon i DX OI. Avviksdeteksjon lar deg både gjenkjenne uvanlig atferd (for eksempel en server som reagerer langsommere enn vanlig, eller uvanlig nettverksaktivitet forårsaket av et hack) og svare deretter (initiere en hendelse, kjøre et automatisk utbedringsskript).

DX OI anomalideteksjonsfunksjonen gir følgende fordeler:

• Du trenger ikke angi terskler. DX OI vil uavhengig sammenligne dataene og identifisere uregelmessigheter.
• DX OI inkluderer mer enn ti kunstig intelligens og maskinlæringsalgoritmer, inkludert EWMA (Exponentially-Weighted-Moving-Average) og KDE (Kernel Density Estimation). Disse algoritmene lar deg utføre rask rotårsaksanalyse og forutsi fremtidige beregninger.

Prediktiv analyse og feilvarsler

Predictive Insights er en funksjon som bruker kraften til maskinlæring til å identifisere mønstre og trender. Basert på disse trendene forutsier systemet hendelser som kan oppstå i fremtiden. Disse meldingene indikerer at tiltak må iverksettes før de metriske verdiene går utover normalområdet, og påvirker kritiske forretningstjenester. Prediktiv innsikt er vist i figuren nedenfor.

Og dette er en visualisering av prediktive varsler for en spesifikk beregning.

Forutsi belastningen av datakraft med funksjonen for å sette belastningsscenarier

Kapasitetsanalysefunksjonen for kapasitetsplanlegging hjelper til med å administrere IT-ressurser ved å sikre at ressursene er riktig dimensjonert for å møte nåværende og fremtidige forretningsbehov. Du vil være i stand til å optimere ytelsen og effektiviteten til eksisterende ressurser, planlegge og rettferdiggjøre enhver økonomisk investering.

Kapasitetsanalysefunksjonen i DX OI gir følgende fordeler:

• Prognosekapasitet i høysesonger;
• Bestemmelse av øyeblikket når ytterligere ressurser kreves for å sikre kvaliteten på tjenesten;
• Kjøp av ekstra ressurser bare når det er nødvendig;
• Effektiv infrastruktur og nettverksadministrasjon;
• Eliminer unødvendige energikostnader ved å identifisere underutnyttede ressurser;
• Utføre ressursbelastningsvurderinger ved en planlagt økning i etterspørselen etter en tjeneste eller ressurs.

Capacity Analytics DX OI-siden (vist nedenfor) har følgende widgets:

• Ressurskapasitetsstatus;
• Kontrollerte grupper / tjenester (overvåkede grupper / tjenester);
• Storforbrukere av ressurser (Top Capacity Consumers).

Hovedsiden for kapasitetsanalyse viser ressurskomponenter som er overbrukt og går tom for kapasitet. Denne siden hjelper plattformadministratorer med å finne overbrukte ressurser og hjelper dem å endre størrelse og optimalisere ressurser. Ressurstilstanden kan analyseres basert på fargekoder og deres respektive verdier. Ressurser er kategorisert i henhold til graden av overbelastning på statussiden for ressurskapasitet. Du kan klikke på hver av fargene for å se en liste over komponentene i den valgte kategorien. Deretter vises et varmekart med alle objekter og prognoser for 12 måneder, som lar deg identifisere ressurser som er i ferd med å bli oppbrukt.

For hver av beregningene i Capacity Analytics kan du spesifisere filtrene som DX Operational Intelligence bruker for å lage prognoser (figur nedenfor).

Følgende filtre er tilgjengelige:

• Metrisk. Beregningen som skal brukes for prognosen.
• Basere på. Valg av mengden historiske data som skal brukes til å bygge prognoser for fremtiden. Dette feltet brukes til å sammenligne og analysere siste månedstrender, siste 3 måneders trender, årlige trender osv.
• Vekst. Den forventede vekstraten for arbeidsbelastningen du vil bruke til å modellere kapasitetsprognosen. Disse dataene kan brukes til å forutsi vekst utover prognosene. For eksempel forventes ressursbruken å øke ytterligere 40 prosent på grunn av åpningen av et nytt kontor.

Logganalyse

DX OI-logganalysefunksjonen gir:

• innsamling, aggregering av logger fra forskjellige kilder (inkludert de som er oppnådd med byrå- og agentløse metoder);
• parsing og datanormalisering;
• analyse for overholdelse av de fastsatte betingelsene og generering av hendelser;
• korrelasjon av hendelser basert på logger, inkludert hendelser mottatt som et resultat av IT-infrastrukturovervåking;
• datavisualisering basert på analyse i DX Dashboards;
• konklusjoner om tilgjengeligheten av tjenester basert på analyse av data fra loggene.

Innsamling av logger ved hjelp av en agentløs metode utføres av systemet for Windows hendelseslogger og Syslog. Agentbasert måte å samle inn tekstlogger.

Automatisk nødløsningsfunksjon (utbedring)

Automatiserte handlinger for å korrigere nødsituasjonen (Remediation Workflow) lar deg løse problemer som forårsaket genereringen av en hendelse i DX OI. For eksempel, hvis et CPU-bruksproblem genererer en alarm, løser Remediation Workflow problemet ved å starte serveren som har problemet på nytt. Integrasjonen mellom DX OI og automatiseringssystemet gjør at utbedringsprosesser kan trigges fra hendelseskonsollen i DX Operational Intelligence og spores i automatiseringssystemkonsollen.

Etter å ha integrert med et automasjonssystem, kan du utløse automatiske handlinger for å korrigere en nødsituasjon i DX OI-konsollen fra konteksten av en alarm. Du kan se anbefalte handlinger sammen med informasjon om konfidensprosent (sannsynligheten for at situasjonen løses ved å utføre handlingen).

Til å begynne med, når det ikke er statistikk over resultatene av utbedringsarbeidsflyten, foreslår anbefalingsmotoren kandidater basert på nøkkelordsøk, deretter brukes maskinlæringsresultatene, og motoren begynner å anbefale en heuristisk-basert utbedringsteknikk. Så snart du begynner å evaluere resultatene av de mottatte hintene, vil nøyaktigheten av anbefalingene forbedres.

Et eksempel på tilbakemeldinger fra brukere: brukeren velger om de liker eller misliker den foreslåtte handlingen, og systemet tar hensyn til dette valget når de gir videre anbefalinger. Liker/liker ikke:

De anbefalte korrigerende handlingene for en bestemt alarm er basert på en kombinasjon av tilbakemeldinger som avgjør om handlingen er akseptabel. DX OI kommer med bruksklar integrasjon med automatisk automatisering.

Integrasjon av DX OI med tredjepartssystemer

Vi vil ikke dvele ved integrering av data fra native Broadcom-overvåkingsprodukter (DX NetOps, DX Infrastructure Management, DX Application Performance Management). La oss i stedet se på hvordan data fra tredjeparts tredjepartssystemer er integrert og vurdere et eksempel på integrasjon med et av de mest populære systemene - Zabbix.

For integrasjon med tredjepartssystemer brukes DX Gateway-komponenten. DX Gateway består av 3 komponenter - On-Prem Gateway, RESTmon og Log Collector (Logstash). Du kan installere alle 3 komponentene eller bare den du trenger ved å endre den generelle konfigurasjonsfilen når du installerer DX Gateway. Figuren nedenfor viser DX Gateway-arkitekturen.

La oss vurdere formålet med DX Gateway-komponentene separat.

On-Prem Gateway. Dette er et grensesnitt som samler alarmer fra DX-plattformen og sender alarmhendelser til tredjepartssystemer. On-Prem Gateway fungerer som en poller som periodisk samler inn hendelsesdata fra DX OI ved hjelp av HTTPS request API, og sender deretter varsler til en tredjepartsserver som er integrert med DX-plattformen ved hjelp av webhooks.

DX-loggsamler mottar syslog fra nettverksenheter eller servere og laster dem opp til OI. DX Log Collector lar deg skille programvaren som genererer meldingene, systemet som lagrer dem og programvaren som rapporterer og analyserer dem. Hver melding er merket med en objektkode som angir typen programvare som genererer meldingen, og et alvorlighetsnivå er tildelt den. I DX Dashboards kan alt dette sees.

DX RESTmon integreres med tredjeparts produkter/tjenester via REST API og sender data til OI. Figuren nedenfor viser driften av DX RESTmon ved å bruke eksempelet på integrasjon med Solarwinds og SCOM overvåkingssystemer.

Nøkkelfunksjoner til DX RESTmon:

• Koble til en tredjeparts datakilde for å motta data:
  • PULL: koble til og hente data fra offentlige REST APIer;
  • PUSH: dataflyt til RESTmon via REST.
• Støtte for JSON- og XML-formater;
• Motta beregninger, varsler, grupper, topologi, inventar og logger;
• Ferdige kontakter for ulike verktøy/teknologier, det er også mulig å utvikle en kobling til hvilken som helst kilde med åpen API (liste over boksede koblinger i figuren under);
• Støtte for grunnleggende autentisering (standard) ved tilgang til Swagger-grensesnittet og API;
• HTTPS-støtte (standard) for alle innkommende og utgående meldinger;
• Støtte for innkommende og utgående fullmakter;
• Kraftige tekstparsing-funksjoner for logger mottatt via REST;
• Tilpassbar parsing med RESTmon for effektiv parsing og visualisering av logger;
• Støtte for å trekke ut informasjon om grupper av enheter fra overvåkingsapplikasjoner og nedlasting til OI for analyse og visualisering;
• Støtte for matching av regulære uttrykk. Dette kan brukes til å analysere og matche loggmeldinger mottatt via REST, og til å generere eller lukke hendelser basert på visse regulære uttrykksbetingelser.

La oss nå se på prosessen med å sette opp DX OI-integrasjon med Zabbix via DX RESTmon. Boksintegrering tar følgende data fra Zabbix:

• inventardata;
• topologi;
• Problemer;
• beregninger.

Siden koblingen for Zabbix er tilgjengelig rett ut av esken, er alt som må gjøres for å sette opp integrasjonen å oppdatere profilen med Zabbix server API IP-adresse og konto, og deretter laste opp profilen gjennom Swagger webgrensesnitt. Et eksempel er i de to neste figurene.

Etter å ha konfigurert integrasjonen, vil de analytiske DX OI-funksjonene beskrevet ovenfor være tilgjengelige for data som kommer fra Zabbix, nemlig: Alarmanalyse, Performance Analytics, Predictive Insights, Service Analytics og Remediation. Figuren nedenfor viser et eksempel på å analysere ytelsesmålinger for objekter integrert fra Zabbix.

Konklusjon

DX OI er et state-of-the-art analyseverktøy som vil gi betydelig operasjonell effektivitet til IT-avdelinger, slik at du kan ta raskere og mer korrekte beslutninger for å forbedre kvaliteten på IT-tjenester og forretningstjenester gjennom kontekstuell analyse på tvers av domener. For applikasjonseiere og forretningsenheter vil DX OI beregne tilgjengelighet og tjenestekvalitet ikke bare i sammenheng med IT-teknologiberegninger, men også forretnings-KPIer utledet fra sluttbrukertransaksjonsstatistikk.

Hvis du ønsker å lære mer om denne løsningen, vennligst søk om en demo eller pilot på en måte som er praktisk for deg på nettstedet vårt.

Kilde: www.habr.com