I september släppte Broadcom (tidigare CA) version 20.2 av sin lösning DX Operations Intelligence (DX OI). Produkten marknadsförs som ett övergripande övervakningssystem. Systemet kan ta emot och kombinera data från övervakningssystem för olika domäner (nätverk, infrastruktur, applikationer, databaser), både från CA och tredjepartsleverantörer, inklusive öppen källkodslösningar (Zabbix, Prometheus och andra).

Huvudfunktionen för DX OI är att skapa en fullständig resurs- och tjänstemodell (RSM) baserad på konfigurationsenheter (KE) som fyller upp inventariedatabasen vid integration med externa system. DX OI har implementerat funktioner för maskininlärning och artificiell intelligens (ML och AI) på de data som kommer in i plattformen, vilket gör att man kan bedöma/förutsäga risken för att en specifik KE ska gå sönder och graden av påverkan på affärstjänsten där den specifika KE:n används. Dessutom är DX OI en central punkt för insamling av övervakningshändelser och integration med Service Desk-systemet, vilket är en obestridlig fördel med att använda systemet i enhetliga övervakningscenter med växelarbete från organisationer. I denna artikel kommer vi att berätta mer om systemets funktioner och visa användar- och administratörsgränssnitt.

Arkitekturen för lösningen DX OI

DX-plattformen har en mikrotjänstarkitektur och körs under hantering av Kubernetes eller OpenShift. I följande bild visas komponenterna i lösningen, som kan användas som självständiga övervakningsverktyg eller kan ersättas med redan existerande övervakningssystem med liknande funktioner (det finns exempel på sådana system i bilden) och sedan kopplas till DX OI-skärmen. I schemat nedan:

• Övervakning av mobilapplikationer i DX App Experience Analytics;
• Övervakning av applikationsprestanda i DX APM;
• Övervakning av infrastrukturen i DX Infrastructure Manager;
• Övervakning av nätverksenheter i DX NetOps Manager.

DX-komponenterna styrs av en Kubernetes-kluster och skalas enkelt genom att starta nya POD:ar. Nedan visas en övergripande skiss av lösningen.

Administrering, skalning och uppdatering av DX-plattformen utförs i administrationskonsolen. Från en enda konsol kan man hantera en multitenant-arkitektur som kan omfatta flera företag eller flera affärsenheter inom ett företag. I denna modell kan varje företag konfigureras individuellt som en hyresgäst med sin egen uppsättning konfigurationer.

Administrationskonsolen är ett webbverktyg för att hantera operationer och system som ger administratörer ett enhetligt gränssnitt för att utföra uppgifter i klusterövervakningen.

Nya hyresgäster för affärsenheter eller företag inom ett företag kan rullas ut på några minuter. Detta ger en fördel om du vill ha ett enhetligt övervakningssystem men samtidigt på plattformsnivå (och inte åtkomstnivå) avgränsa övervakningsobjekten mellan enheterna.

Resurs- och tjänstmodeller samt övervakning av affärstjänster

DX OI har inbyggda mekanismer för att skapa tjänster och utveckla klassiska RSM med angivna påverkningslogik och vikter mellan komponenterna i tjänsten. Det finns också mekanismer för att exportera RSM från externa CMDB. I bilden nedan ser vi den inbyggda RSM-redigeraren (observera vikterna mellan kopplingarna).

DX OI ger en helhetsbild av nyckeltal för affärstjänster eller IT-tjänster med detaljerad information, inklusive tillgänglighet för tjänster och prognos av riskscenarier. Verktyget kan också ge insikter om effekten av prestandaproblem eller förändringar i strukturen av IT-komponenter (applikationer eller infrastruktur) på affärstjänster. I bilden nedan ser vi en interaktiv instrumentpanel som visar status för alla tjänster.

Låt oss granska detaljerna med exemplet av tjänsten Digital Banking. Genom att klicka på tjänstens namn går vi till den detaljerade RSM för tjänsten. Vi ser att statusen för tjänsten Digital Banking beror på tillståndet för infrastruktur- och transaktionstjänster med olika vikter. Att arbeta med vikter och deras visning är en intressant fördel med DX OI.

Topologi är en viktig komponent i den operativa övervakningen av företaget, som gör det möjligt för operatörer och ingenjörer att analysera relationer mellan komponenter och identifiera grundorsak och påverkan.

DX OI Topology Viewer är en tjänst som använder topologiska data från domänmonitoreringssystem som samlar in data direkt från övervakningsobjekten. Verktyget syftar till att söka i flera lager av topologihållare och visa en relationskarta som beror på kontexten. För att undersöka problem kan man gå till den problematiska deltjänsten Backend Banking och se topologin och de problematiska komponenterna. För varje komponent kan man även analysera felmeddelanden och prestandamätningar.

Vid analys av transaktionskomponenterna Payments (användartransaktioner) kan vi spåra värdena för affärs-KPI:er som också beaktas vid beräkningen av tjänstens status och hälsa. Ett exempel på affärs-KPI presenteras nedan:

Händelseanalys (Alarm Analytics)

Algorithmisk brusreducering genom klustring av fel

En av nyckelfunktionerna i DX OI vid händelsehantering är klustring. Mekanismen arbetar med alla aviseringar som kommer in i systemet för att identifiera mönster baserat på olika kontexter och gruppera dem. Dessa kluster är självförbättrande och behöver inte konfigureras manuellt.

Genom klustring kan användare sammanfoga och gruppera en stor mängd händelser och analysera endast de som har en gemensam kontext. Till exempel en uppsättning händelser som representerar ett incident som påverkar driften av applikationer eller datacenter. Situationer skapas med hjälp av klustringsalgoritmer baserade på maskininlärning, som använder tidskorrelation, topologisk relation och bearbetning av naturligt språk för analys. Nere i bilderna presenteras exempel på visualisering av klustergrupper av meddelanden, så kallade Situations Alarms, och Evidence Timeline, som visar de grundläggande parametrarna för gruppering och processen för att minska antalet brusande händelser.

Analys av rotorsaker och korrelation av fel

I den moderna hybrida miljön kan en användartransaktion påverka flera system som används dynamiskt. Detta kan resultera i att flera varningar skapas från olika system men som är relaterade till samma problem eller incident. DX OI använder patenterade mekanismer för att undertrycka överflödiga och duplicerade aviseringar samt korrelera relaterade aviseringar för att förbättra upptäckten av kritiska problem och snabbare lösningar.

Låt oss ta ett exempel där systemet tar emot många akuta meddelanden från olika objekt (KE) som ligger till grund för en tjänst. Om det påverkar tillgängligheten och funktionen hos tjänsten kommer systemet att generera en servicestörning (Service Alarm), ange och märka den sannolika rotorsaken (problematiskt KE och akutmöte angående KE) som bidragit till reducerad prestanda eller tjänstestopp. I bilden nedan visas visualiseringen av den akuta situationen för tjänsten Webex.

DX OI gör det möjligt att arbeta med händelser via intuitiva åtgärder i systemets webgränssnitt. Användare kan manuellt tilldela händelser till en ansvarig medarbetare för felsökning, återställa/bekräfta aviseringar, skapa ärenden eller skicka e-postnotifikationer, samt köra automatiserade skript för att hantera akuta situationer (Remediation Workflow, mer om detta snart). På så sätt gör DX OI att drifttekniker kan fokusera på det primära akuta meddelandet och hjälpa till att förenkla processen för sortering av meddelanden i kluster.

Maskinalgoritmer för bearbetning av metricer och analys av prestandadata

Maskininlärning gör det möjligt att spåra, aggregara och visualisera nyckeltal under en viss tidsperiod, vilket ger användaren följande fördelar:

• Upptäckte flaskhalsar och prestandaanomalier;
• Jämförelse av flera mätvärden för samma enheter, gränssnitt eller nätverk;
• Jämförelse av liknande mätvärden på flera objekt;
• Jämförelse av olika mätvärden för ett och flera objekt;
• Jämförelse av flerdimensionella metricer över flera objekt.

För att analysera de inkommande metrikarna använder DX OI funktioner för maskinanalyik med matematiska algoritmer, vilket bidrar till att förkorta tiden för inställning av statiska trösklar och generering av varningar vid uppkomst av anomalier.

Resultatet av tillämpningen av matematiska algoritmer är konstruktionen av så kallade sannolikhetsfördelningar för metrikvärdet (Sällsynt, Trolig, Center, Medel, Faktisk). I bilderna ovan och nedan visas sannolikhetsfördelningarna.

I de två ovanstående graferna visas följande data:

• Faktiska data (Actual). Faktiska data visas i grafen som en solid svart linje (inga larm) eller en färgad solid linje (alarmtillstånd). Linjen beräknas utifrån de faktiska data för metriska värdet. Genom att jämföra de faktiska data och medianvärdet kan du snabbt se variationerna i metrik. När ett event inträffar ändras den svarta linjen till en färgad solid linje som motsvarar händelsens kritikalitet och visar ikoner med motsvarande kritikalitet ovanför grafen. Till exempel röd för kritisk anomali, orange för betydande anomali och gul för obetydlig anomali.
• Medelvärde (Mean value). Medelvärdet eller genomsnittet för den metriska indikatorn visas på diagrammet som en grå linje. Medelvärdet visas när historiska data saknas.
• Medianvärde (Center value). Medianlinjen är mitten av intervallet och visas som en grön streckad linje. Zonerna närmast denna linje är de som ligger närmast de typiska metriska värdena.
• Allmänna data (Common Value). Data från den gemensamma zonen övervakar det nämsta till medianlinjen eller normen för din indikator och visas som en mörkgrön remsa. Analytiska beräkningar placerar den gemensamma zonen på en percentil över eller under normen.
• Sannolikhetsdata. Data från den sannolika zonen visas på grafen som en grön remsa. Systemet placerar den sannolika zonen på två percentiler över eller under normen.
• Sällsynta data. Data om sällsynta zoner visas i diagrammet som en ljusgrön remsa. Systemet placerar zonen med sällsynta mätvärden tre percentiler över eller under normen och signalerar när indikatorns beteende ligger utanför det normala intervallet, samtidigt som systemet genererar så kallade Anomaly Alerts.

En anomalie är en mätning eller händelse som inte stämmer överens med de normala mätvärdena. Anomalidetektion för att identifiera problem och förstå trender i infrastruktur och applikationer är en nyckelfunktion i DX OI. Anomalidetektion gör det möjligt att både känna igen ovanligt beteende (till exempel en server som svarar långsammare än vanligt, eller ovanlig nätverksaktivitet orsakad av intrång) och att reagera på lämpligt sätt (skapa en incident, starta ett automatiserat Remediation-skript).

Funktionen för anomalidetektion DX OI erbjuder följande fördelar:

• Inga tröskelvärden behöver ställas in. DX OI matchar automatiskt data och identifierar anomalier.
• DX OI inkluderar mer än tio algoritmer för artificiell intelligens och maskininlärning, inklusive EWMA (Exponentially-Weighted—Moving-Average) och KDE (Kernel Density Estimation). Dessa algoritmer möjliggör snabb analys av rotorsaker och prognoser av framtida mätvärden.

Prediktiv analys och varningar om möjliga fel

Predictive Insights är en funktion som använder maskininlärning för att identifiera mönster och trender. Baserat på dessa trender förutser systemet händelser som kan inträffa i framtiden. Dessa meddelanden indikerar behovet av att vidta åtgärder innan mätvärdena går utanför de normala värdena, vilket kan påverka kritiska affärstjänster. Predictive Insights visas i bilden nedan.

Här är en visualisering av prediktiva varningar för ett specifikt mätvärde.

Prognos av belastning på datorkapacitet med lastscenariokapacitet

Funktionen för kapacitetsanalys Capacity Analytics hjälper till att hantera IT-resurser genom att säkerställa att resursernas storlek är korrekt för att möta nuvarande och framtida affärsbehov. Du kommer att kunna optimera prestanda och effektivitet hos befintliga resurser, samt planera och rättfärdiga eventuella finansiella investeringar.

Funktionen Capacity Analytics i DX OI ger följande fördelar:

• Kapacitetsprognoser under högsäsonger;
• Identifiering av när ytterligare resurser behövs för att säkerställa kvalitativ drift av tjänsten;
• Inköp av ytterligare resurser endast vid behov;
• Effektiv hantering av infrastruktur och nätverk;
• Elkostnadsbesparingar genom att identifiera underutnyttjade resurser;
• Genomförande av belastningsbedömning av resurser vid planerat ökat behov av tjänst eller resurs.

Sidan för Capacity Analytics DX OI (bilden nedan) innehåller följande widgets:

• Resursernas kapacitetsstatus (Resource Capacity Status);
• Övervakade grupper/tjänster (Monitored Groups/Services);
• Största resurserna konsumenter (Top Capacity Consumers).

Huvudsidan för Capacity Analytics visar resurser som är överbelastade och som har begränsad kapacitet. Denna sida hjälper plattformsadministratörer att identifiera överutnyttjade resurser och möjliggör justeringar och optimering av resurser. Resursernas status kan analyseras baserat på färgkoder och deras motsvarande värden. Resurser klassificeras utifrån graden av överbelastning på sidan för resursens kapacitetsstatus. Man kan klicka på varje färg för att se en lista över komponenter i den valda kategorin. Därefter visas en värmekarta med alla objekt och prognoser för de kommande 12 månaderna, vilket gör det möjligt att identifiera resurser som snart kommer att nå sin gräns.

För varje av metrikerna i Capacity Analytics kan man ange filter som DX Operational Intelligence använder för att skapa prognoser (bilden nedan).

Följande filter finns tillgängliga:

• Metrik. Metrik som kommer att användas för prognosen.
• Baserat på. Val av volym av historiska data som ska användas för att göra framtida prognoser. Detta fält används för att jämföra och analysera trender över den senaste månaden, trender över de senaste 3 månaderna, trender över ett år osv.
• Tillväxt. Den förväntade tillväxthastigheten för den arbetsbelastning du vill använda för att modellera effektprognosen. Dessa data kan användas för att förutsäga tillväxt över prognoser. Till exempel förväntas resursanvändningen öka med ytterligare 40 procent på grund av öppnandet av det nya kontoret.

Logganalys

Logganalysfunktionen i DX OI erbjuder:

• insamling och aggregering av loggar från olika källor (inklusive både agentbaserade och agentlösa metoder);
• parsing och normalisering av data;
• analys av överensstämmelse med angivna villkor och generering av händelser;
• korrelation av händelser baserat på loggar, inklusive händelser som erhållits genom övervakning av IT-infrastruktur;
• visualisering av data baserat på analys i DX Dashboards;
• slutsatser om tillgänglighet av tjänster baserat på analys av data från loggar.

Insamling av loggar genom agentlös metod utförs av systemet för Windows Event logs och Syslog. Genom agentbaserad metod samlas textloggar in.

Funktionen för automatiserad hantering av nödsituationer (Remediation)

Automatiserade åtgärder för att åtgärda en nödsituation (Remediation Workflow) gör det möjligt att lösa problem som orsakar genereringen av händelser i DX OI. Till exempel genererar en problematisk CPU-belastning ett nödsignalmeddelande, och åtgärdsprocessen (Remediation Workflow) löser problemet genom att starta om servern där problemet uppstod. Integrationen mellan DX OI och automationssystemet möjliggör att åtgärdsprocesser kan startas från händelsekonsolen i DX Operational Intelligence och övervakas i automationssystemets konsol.

Efter integration med automationssystemet kan automatiska åtgärder för att åtgärda vilken nödsituation som helst startas i DX OI-konsolen från kontexten av nödsignalmeddelandet. Du kan se rekommenderade åtgärder tillsammans med information om procentandelen av certifiering (sannolikheten för att åtgärden löser situationen).

I början, när det inte finns någon statistik över resultaten av Remediation Workflow, föreslår rekommendationsmekanismen potentiella alternativ baserat på sökningar med nyckelord, därefter används resultaten av maskininlärning och mekanismen börjar rekommendera reparationsmetoder baserat på heuristik. Så snart du börjar bedöma resultaten av de givna förslagen, kommer precisionen i rekommendationerna att förbättras.

Exempel på feedback från användare: användaren väljer en åtgärd de gillar eller ogillar, och systemet beaktar detta val vid framtida rekommendationer. Gilla/ogilla:

Rekommenderade korrigerande åtgärder för specifika varningar baseras på en kombination av feedback som avgör om åtgärden är acceptabel. DX OI levereras med en färdig integration med automatiseringssystemet Automic Automation.

Integration av DX OI med externa system

Vi kommer inte att gå in på detaljer om dataintegration från Broadcoms inhemska övervakningsprodukter (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Istället ser vi på hur data integreras från externa 3rd-party system och går igenom ett exempel på integration med ett av de mest populära systemen — Zabbix.

För integration med externa system används komponenten DX Gateway. DX Gateway består av 3 komponenter — On-Prem Gateway, RESTmon och Log Collector (Logstash). Du kan installera alla 3 komponenter eller bara den som behövs, genom att ändra den gemensamma konfigurationsfilen vid installation av DX Gateway. På bilden nedan visas arkitekturen för DX Gateway.

Låt oss titta på syftet med DX Gateway-komponenterna separat.

On-Prem Gateway. Detta är gränssnittet som samlar in larm från DX-plattformen och skickar händelser om larm till externa system. On-Prem Gateway fungerar som en pollare som periodiskt samlar in händelsedata från DX OI, med hjälp av API-förfrågningar via HTTPS-protokollet, och skickar sedan varningar till en extern server som är integrerad med DX-plattformen med hjälp av webhooks.

DX Log Collector tar emot syslog från nätverksenheter eller servrar och laddar dem i OI. DX Log Collector möjliggör separation av programvara som genererar meddelanden, systemet som lagrar dem, och programvara som rapporterar och analyserar dem. Varje meddelande märks med en objektkod som anger typen av programvara som genererar meddelandet, och en kritikalitetsnivå tilldelas. I DX Dashboards kan detta sedan granskas.

DX RESTmon integreras med externa produkter/tjänster via REST API och överför data till OI. På bilden nedan visas en funktionsschema för DX RESTmon som exempel på integration med övervakningssystemen Solarwinds och SCOM.

Nyckelfunktioner i DX RESTmon:

• Anslutning till vilken extern datakälla som helst för att ta emot data:
  • PULL: anslutning och extrahering av data från offentliga REST API:er;
  • PUSH: datastream till RESTmon via REST.
• Stöd för JSON- och XML-format;
• Mottagning av mätvärden, varningar, grupper, topologi, inventering och loggar;
• Färdiga kopplingar för olika verktyg/teknologier, det går också att utveckla en koppling till vilken källa som helst med öppen API (lista med färdiga kopplingar i bilden nedan);
• Stöd för grundläggande autentisering (som standard) vid åtkomst till Swagger-gränssnittet och API:et;
• Stöd för HTTPS (som standard) för alla inkommande och utgående meddelanden;
• Stöd för inkommande och utgående proxifiering;
• Många kraftfulla funktioner för syntaktisk analys av loggar som tagits emot via REST;
• Anpassningsbar syntaktisk analys med hjälp av RESTmon, som ger effektiv analys och visualisering av loggar;
• Stöd för extrahering av information om enhetsgrupper från övervakningsapplikationer och laddning i OI för analys och visualisering;
• Stöd för mappning med reguljära uttryck. Detta kan användas för syntaktisk analys och mappning av loggmeddelanden som tagits emot via REST, samt för att generera eller stänga händelser baserat på specifika villkor för reguljära uttryck.

Låt oss nu titta på processen för att konfigurera DX OI-integrationen med Zabbix via DX RESTmon. Färdig integration hämtar följande data från Zabbix:

• inventeringsdata;
• topologi;
• problem;
• mätvärden.

Eftersom kopplingen för Zabbix finns tillgänglig utan extra kostnad, behöver du bara uppdatera profilen med API-serverns IP-adress för Zabbix och kontouppgifter och sedan ladda upp profilen via Swagger-webbgränssnittet. Exempel visas i de två följande bilderna.

Efter konfigurationen kommer analysfunktionerna för inkommande data från Zabbix att vara tillgängliga, som beskrivs ovan, inklusive: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics och Remediation. I bilden nedan finns ett exempel på analys av prestandamätvärden för objekt som integrerats från Zabbix.

Slutsats

DX OI — ett modernt analysverktyg som ger betydande operativ effektivitet för IT-avdelningar, möjliggör snabbare och mer korrekta beslut för att öka kvaliteten på IT-tjänster och affärstjänster genom domänöverskridande kontextanalys. För applikationsägare och affärsenheter beräknar DX OI tillgänglighets- och kvalitetsindikatorer för tjänster, inte bara i sammanhang av tekniska IT-mått, utan även affärs-KPI:er, som hämtas från transaktionsstatistik för slutanvändare.

Om du vill veta mer om denna lösning, lämna en förfrågan om en demonstration eller pilotprojekt på ett sätt som passar dig på vår webbplats.

Källa: habr.com