In september heeft Broadcom (voorheen CA) versie 20.2 van zijn DX Operations Intelligence (DX OI) oplossing uitgebracht. Dit product wordt op de markt gepositioneerd als een overkoepelend monitoringsysteem. Het systeem kan gegevens verkrijgen en samenvoegen van monitoring systemen in verschillende domeinen (netwerk, infrastructuur, applicaties, databases) van zowel CA als derden, inclusief open source oplossingen (Zabbix, Prometheus en anderen).

De belangrijkste functie van DX OI is het creëren van een volledige resource-service model (RSM) gebaseerd op configuratie-eenheden (CE) die de inventarislijsten vullen bij integratie met externe systemen. In DX OI zijn functies voor Machine Learning en Artificial Intelligence (ML en AI) geïmplementeerd op de binnenkomende gegevens in het platform, wat het mogelijk maakt om de kans op uitval van een specifieke CE te beoordelen/prognosticeren en de impact van de uitval op de businessservice, die gebaseerd is op een specifieke CE, te evalueren. Bovendien is DX OI het enige punt voor het verzamelen van monitoringgebeurtenissen en daarmee integratie met het Service Desk systeem, wat een onbetwistbaar voordeel biedt voor gebruik in centrale monitoringcentra door de teams van organisaties. In dit artikel zullen we het functionaliteit van het systeem uitgebreider toelichten en de interfaces van de gebruiker en de beheerder laten zien.

Architectuur van de DX OI-oplossing

Het DX-platform heeft een microservicesarchitectuur en draait op Kubernetes of OpenShift. In de volgende afbeelding worden de componenten van de oplossing weergegeven, die kunnen worden gebruikt als zelfstandige monitoringtools of kunnen worden vervangen door bestaande monitoringsystemen met vergelijkbare functies (de afbeelding toont voorbeelden van dergelijke systemen) en verder kunnen worden verbonden met de DX OI-tent. In het onderstaande schema:

• Monitoring van mobiele applicaties in DX App Experience Analytics;
• Monitoring van applicatieprestaties in DX APM;
• Monitoring van infrastructuur in DX Infrastructure Manager;
• Monitoring van netwerkapparatuur in DX NetOps Manager.

De DX-componenten draaien onder het beheer van een Kubernetes-cluster en kunnen eenvoudig worden geschaald door nieuwe PODs te starten. Hieronder een schematisch overzicht van de oplossing.

Beheer, schaling en updates van het DX-platform worden uitgevoerd in de beheersconsole. Vanuit één console kan de multi-tenantarchitectuur worden beheerd, die meerdere ondernemingen of verschillende business units binnen een bedrijf kan omvatten. In dit model kan elke onderneming individueel worden ingesteld als een huurder met een eigen configuratieset.

De beheersconsole is een webtool voor het beheren van operaties en systemen, die beheerders een consistente, uniforme interface biedt voor het uitvoeren van taken met betrekking tot clusterbeheer.

Nieuwe huurders voor business units of ondernemingen binnen een bedrijf worden binnen enkele minuten uitgerold. Dit biedt een voordeel als u een uniform monitoringsysteem wilt hebben, maar tegelijkertijd op platformniveau (en niet op toegangsrechten) de monitoringobjecten tussen afdelingen wilt scheiden.

Resource-service modellen en monitoring van bedrijfsdiensten

DX OI heeft ingebouwde mechanismen voor het creëren van services en het ontwikkelen van klassieke RSM's met specifieke logica van invloed en gewichten tussen de componenten van de service. Er zijn ook mechanismen voor het exporteren van RSM's vanuit een externe CMDB. Hieronder een afbeelding van de ingebouwde RSM-editor (let op de gewichten van de verbindingen).

DX OI biedt een compleet overzicht van de belangrijkste indicatoren voor de werking van bedrijfsdiensten of IT-diensten met details, inclusief servicebeschikbaarheid en risicovoorspellingen voor uitval. De tool kan ook inzicht geven in de impact van prestatieproblemen of veranderingen in de structuur van IT-componenten (toepassingen of infrastructuur) op de bedrijfsservice. Hieronder staat een interactieve dashboard die de status van alle services weergeeft.

Laten we de details bekijken aan de hand van de Digital Banking-service. Door op de naam van de service te klikken, gaan we naar het gedetailleerde RCM van de service. We zien dat de status van de Digital Banking-service afhangt van de staat van de infrastructuur- en transactiediensten met verschillende gewichten. Het werken met gewichten en hun weergave is een interessant voordeel van DX OI.

Topologie is een belangrijk element van operationele monitoring in een onderneming, het stelt operators en ingenieurs in staat om de relaties tussen componenten te analyseren, de oorzaak te achterhalen en de impact te begrijpen.

DX OI Topology Viewer is een service die gebruikmaakt van topologische gegevens afkomstig van domeinsystemen voor monitoring, die gegevens verzamelen rechtstreeks van de objecten die gemonitord worden. De tool is bedoeld om te zoeken in meerdere lagen van de topologiedatabases en een relatiekaart weer te geven die contextafhankelijk is. Voor het onderzoeken van problemen kan men naar de probleemsubservice Backend Banking gaan en de topologie en probleemcomponenten bekijken. Daarnaast kan men per component noodmeldingen en prestatiestatistieken analyseren.

Bij de analyse van de transactionele componenten Payments (gebruikers transactie) kunnen we de waarden van de bedrijfs-KPI's volgen, die ook worden meegerekend bij het berekenen van de beschikbaarheid en gezondheid van de service. Een voorbeeld van een bedrijfs-KPI is hieronder weergegeven:

Evenementenanalyse (Alarm Analytics)

Algoritmische ruisonderdrukking door middel van clustering van incidenten

Een van de belangrijkste functies van DX OI bij de verwerking van evenementen is clustering. Het mechanisme werkt met alle meldingen die in het systeem binnenkomen om patronen op basis van verschillende contexten te identificeren en deze in groepen samen te voegen. Deze clusters zijn zelflerend; ze hoeven niet handmatig te worden geconfigureerd.

Clustering stelt gebruikers in staat om een enorm aantal gebeurtenissen te bundelen en te groeperen, en alleen die te analyseren die een gemeenschappelijke context hebben. Bijvoorbeeld, een set gebeurtenissen die een incident vertegenwoordigen dat invloed heeft op applicaties of een datacenter. Situaties worden gecreëerd met behulp van cluster-algoritmen die machine learning gebruiken om temporele correlatie, topologische relaties en natuurlijke taalverwerking (native language) te analyseren. De onderstaande figuren geven voorbeelden van de visualisatie van cluster groepen meldingen, de zogeheten Situations Alarms, en Evidence Timeline, die de belangrijkste groeperingsparameters en het proces van het verminderen van ruismeldingen weergeven.

Analyse van de onderliggende problemen en correlatie van storingen

In een moderne hybride omgeving kan een gebruikers transactie meerdere systemen raken die dynamisch worden gebruikt. Dit kan leiden tot verschillende waarschuwingen vanuit verschillende systemen, maar die verband houden met hetzelfde probleem of incident. DX OI maakt gebruik van gepatenteerde mechanismen om redundante en dubbele waarschuwingen te onderdrukken en gerelateerde waarschuwingen te correleren voor een betere detectie van kritieke problemen en snellere oplossingen.

Laten we een voorbeeld bekijken waarbij er tal van noodmeldingen binnenkomen over verschillende objecten (KE) die ten grondslag liggen aan een enkele service. In het geval van impact op de beschikbaarheid en functionaliteit van de service, genereert het systeem een service alarm en identificeert het de waarschijnlijk oorzakelijke root (problematische KE en noodmelding voor KE) die heeft bijgedragen aan de prestatievermindering of storing van de service. De onderstaande afbeelding toont de visualisatie van de noodsituatie voor de Webex-service.

DX OI stelt gebruikers in staat om evenementen te beheren via intuïtieve acties in de webinterface van het systeem. Gebruikers kunnen evenementen handmatig toewijzen aan verantwoordelijke medewerkers voor probleemoplossing, meldingen resetten/bevestigen, verzoeken aanmaken of e-mailnotificaties verzenden, en geautomatiseerde scenario's starten voor het verhelpen van incidenten (Remediation Workflow, daarover later meer). Op deze manier stelt DX OI de operators van de nachtdiensten in staat om zich te concentreren op de kernmelding van het probleem, en helpt het bovendien om het proces van het sorteren van berichten naar clusterarrays te vereenvoudigen.

Machine-algoritmen voor het verwerken van metrics en het analyseren van prestatiegegevens

Machine learning maakt het mogelijk om de belangrijkste prestatie-indicatoren over een bepaalde periode te volgen, te aggregeren en te visualiseren, wat de gebruiker de volgende voordelen biedt:

• Opsporing van knelpunten en anomalieën in de prestaties;
• Vergelijking van verschillende indicators voor dezelfde apparaten, interfaces of netwerken;
• Vergelijking van dezelfde indicators op meerdere objecten;
• Vergelijking van verschillende indicators voor één of meerdere objecten;
• Vergelijking van multidimensionale metrics over meerdere objecten.

Voor de analyse van binnenkomende metrics in het systeem maakt DX OI gebruik van machine-analytische functies met behulp van wiskundige algoritmen, wat bijdraagt aan het verkorten van de tijd voor het instellen van statische drempels en het genereren van waarschuwingen bij het optreden van anomalieën.

Het resultaat van de toepassing van wiskundige algoritmen is de opbouw van zogenaamde probabilistische verdelingen van de waarde van de metric (Rare, Probable, Center, Mean, Actual). In de bovenstaande en onderstaande afbeeldingen worden de probabilistische verdelingen weergegeven.

De twee bovenstaande grafieken tonen de volgende gegevens:

• Feitelijke gegevens (Actual). Werkelijke gegevens worden op de grafiek weergegeven als een passende zwarte lijn (geen alarm signalen) of als een gekleurde lijn (alarmstatus). De lijn wordt berekend op basis van de werkelijke gegevens voor de metriek. Door de werkelijke gegevens te vergelijken met de mediaanwaarde, kunt u snel variaties in de metriek zien. Wanneer er een gebeurtenis optreedt, verandert de zwarte lijn in een gekleurde lijn die overeenkomt met de urgentie van de gebeurtenis en worden de bijbehorende urgentie-iconen boven de grafiek weergegeven. Bijvoorbeeld, rood voor een kritische anomalie, oranje voor een significante anomalie en geel voor een kleine anomalie.
• Gemiddelde waarde. De gemiddelde waarde voor de metriek wordt op de grafiek weergegeven als een grijze lijn. Het gemiddelde wordt weergegeven wanneer er onvoldoende historische gegevens zijn.
• Mediaanwaarde. De mediaanlijn is het midden van het bereik en wordt weergegeven als een groene stippellijn. De gebieden die het dichtst bij deze lijn liggen, zijn het meest representatief voor de typische waarden van de metriek.
• Algemene gegevens. De gegevens van de algemene zone volgen de dichtstbijzijnde lijn of norm voor uw metriek en worden weergegeven als een donkergroene strook. Analytische berekeningen plaatsen de algemene zone op één percentiel boven of onder de norm.
• Waarschijnlijkheidsgegevens. De gegevens van de waarschijnlijkheidszone worden op de grafiek weergegeven als een groene strook. Het systeem plaatst de waarschijnlijkheidszone op twee percentielen boven of onder de norm.
• Zeldzame gegevens. Gegevens over zeldzame zones worden op de grafiek weergegeven als een lichtgroene strook. Het systeem plaatst de zone met zeldzame metrieke waarden op drie percentielen boven of onder de norm en signaleert abnormaliteit in de metriek wanneer deze buiten het normale bereik valt, waarbij het systeem een zogenaamd Anomaly Alert genereert.

Een anomalie is een meting of gebeurtenis die niet overeenkomt met de normale meetwaarden. Het detecteren van anomalieën voor het identificeren van problemen en het begrijpen van trends in de infrastructuur en applicaties is een kernfunctie van DX OI. Anomaliedetectie maakt het mogelijk om zowel ongewone gedragingen te herkennen (bijvoorbeeld een server die trager reageert dan normaal of ongewone netwerkactiviteit veroorzaakt door een hack) als dienovereenkomstig te reageren (het registreren van een incident, het starten van een automatisch herstelscript).

De anomaliedetectiefunctie van DX OI biedt de volgende voordelen:

• Er zijn geen drempelwaarden nodig. DX OI zal zelf de gegevens matchen en anomalieën identificeren.
• DX OI bevat meer dan tien algoritmen voor kunstmatige intelligentie en machine learning, waaronder EWMA (Exponentially-Weighted Moving Average) en KDE (Kernel Density Estimation). Deze algoritmen maken snelle oorzaak-analyse en voorspelling van toekomstige meetwaarden mogelijk.

Predictieve analyse en waarschuwing voor mogelijke storingen

Predictive Insights is een functie die gebruikmaakt van machine learning-mogelijkheden om patronen en trends te identificeren. Op basis van deze trends voorspelt het systeem gebeurtenissen die in de toekomst kunnen optreden. Deze meldingen wijzen op de noodzaak om actie te ondernemen voordat de waarden van meetwaarden buiten de normale waarden vallen, wat invloed kan hebben op kritieke bedrijfsservices. Predictive Insights worden hieronder afgebeeld.

En dit is een visualisatie van voorspellende waarschuwingen voor een specifieke meetwaarde.

Voorspelling van de belasting van rekenkracht met de functie voor laadscenarios

De capaciteit analysefunctie Capacity Analytics helpt IT-resources te beheren door de juiste omvang van resources te waarborgen die voldoen aan de huidige en toekomstige behoeften van het bedrijf. U kunt de prestaties en efficiëntie van bestaande resources optimaliseren, en eventuele financiële investeringen plannen en rechtvaardigen.

De Capacity Analytics-functie in DX OI biedt de volgende voordelen:

• Voorspelling van capaciteit in piekperiodes;
• Bepaling van het moment waarop extra resources nodig zijn om een goede werking van de dienst te waarborgen;
• Aankoop van extra resources alleen wanneer nodig;
• Effectief beheer van infrastructuur en netwerken;
• Vermijden van onnodige energiekosten door het identificeren van ongebruikte bronnen;
• Uitvoeren van een belastingbeoordeling van middelen in geval van een geplande toename van de service- of hulpbronnenbehoeften.

Op de pagina Capacity Analytics DX OI (zie afbeelding hieronder) zijn de volgende widgets beschikbaar:

• Status van de hulpbronnencapaciteit (Resource Capacity Status);
• Gemonitorde groepen/diensten (Monitored Groups/Services);
• Grote vermiders van bronnen (Top Capacity Consumers).

De startpagina van Capacity Analytics toont de componenten van hulpbronnen die overbelast zijn en waarvan de capaciteit bijna op is. Deze pagina helpt platformbeheerders om overmatig gebruikte middelen te vinden en helpt hen bij het aanpassen en optimaliseren van de bronnen. De status van de middelen kan worden geanalyseerd op basis van kleurcodes en de bijbehorende waarden. Middelen worden geclassificeerd op basis van de mate van overbelasting op de pagina met statusinformatie van hulpbronnen. U kunt op elke kleur klikken om een lijst van componenten in de geselecteerde categorie te verschijnen. Vervolgens verschijnt een warmtekostenkaart met alle objecten en voorspellingen voor 12 maanden, wat helpt om middelen te identificeren die bijna op zijn.

Voor elke metric in Capacity Analytics kunnen filters worden opgegeven die DX Operational Intelligence gebruikt om voorspellingen te doen (zie afbeelding hieronder).

De volgende filters zijn beschikbaar:

• Metric. De metric die zal worden gebruikt voor de voorspelling.
• Base on. Selectie van de hoeveelheid historische gegevens die zullen worden gebruikt voor het maken van toekomstige voorspellingen. Dit veld wordt gebruikt om trends van de afgelopen maand, trends van de afgelopen 3 maanden, trends van het afgelopen jaar, enz. te vergelijken en te analyseren.
• Growth. De verwachte groeisnelheid van de werklast die u wilt gebruiken voor het modelleren van de capaciteitsvoorspelling. Deze gegevens kunnen worden gebruikt om de groei boven de voorspellingen te voorspellen. Bijvoorbeeld, verwacht wordt dat het gebruik van een hulpbron met nog eens 40 procent zal toenemen door de opening van een nieuw kantoor.

Loganalyse

De loganalysfunctie van DX OI biedt:

• verzameling, aggregatie van logs uit verschillende bronnen (inclusief logs verkregen via agent- en zonder-agentmethoden);
• parsing en normalisatie van gegevens;
• analyse van de naleving van de gestelde voorwaarden en gebeurtenisgeneratie;
• correlatie van gebeurtenissen op basis van logs, inclusief gegevens die zijn verkregen uit de monitoring van IT-infrastructuur;
• visualisatie van gegevens op basis van analyses in DX Dashboards;
• conclusies over de beschikbaarheid van diensten op basis van data-analyse uit logs.

Verzameling van logs met een agentloze methode wordt uitgevoerd door het systeem voor Windows Event logs en Syslog. Tekstlogs worden verzameld met een agent.

De functie voor geautomatiseerde probleemoplossing (Remediation)

Geautomatiseerde acties voor probleemoplossing (Remediation Workflow) stellen ons in staat om problemen op te lossen die hebben geleid tot de generatie van een gebeurtenis in DX OI. Bijvoorbeeld, een probleem met de CPU-belasting genereert een alarmbericht; het herstelproces (Remediation Workflow) lost het probleem op door de server waarop het probleem zich voordeed opnieuw op te starten. De integratie tussen DX OI en het automatiseringssysteem maakt het mogelijk om herstelprocessen te starten vanuit de evenementenconsole in DX Operational Intelligence en deze te volgen in de console van het automatiseringssysteem.

Na de integratie met het automatiseringssysteem kunnen automatische herstelacties voor elke noodsituatie vanuit de DX OI-console worden gestart vanuit de context van het alarmbericht. U kunt aanbevolen acties inzien samen met informatie over de kans op succes (de waarschijnlijkheid dat de situatie kan worden opgelost door de actie uit te voeren).

Aanvankelijk, wanneer er geen statistieken zijn over de uitkomst van de Remediation Workflow, biedt het aanbevelingsmechanisme mogelijke opties op basis van zoekopdrachten met sleutelwoorden; daarna worden de resultaten van machine learning gebruikt en begint het mechanisme methoden voor probleemoplossing voor te stellen op basis van heuristiek. Zodra u begint met het evalueren van de verkregen suggesties, zal de nauwkeurigheid van de aanbevelingen verbeteren.

Voorbeeld van feedback van een gebruiker: de gebruiker kiest een actie die hij leuk of niet leuk vindt, en het systeem houdt deze keuze in aanmerking voor toekomstige aanbevelingen. Like/dislike:

Aanbevolen corrigerende acties voor een specifieke waarschuwing zijn gebaseerd op een combinatie van feedback die bepaalt of de actie acceptabel is. DX OI wordt geleverd met een kant-en-klare integratie met het automatiseringssysteem Automic Automation.

Integratie van DX OI met externe systemen

We won’t go into detail about integrating data from Broadcom's native monitoring products (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Instead, we will look at how data from third-party systems is integrated and analyze an example of integration with one of the most popular systems — Zabbix.

For integration with third-party systems, the DX Gateway component is used. DX Gateway consists of 3 components — On-Prem Gateway, RESTmon, and Log Collector (Logstash). You can install all 3 components or only the one you need by modifying the general configuration file during the DX Gateway installation. The architecture of the DX Gateway is shown in the figure below.

Let’s consider the purpose of each component of the DX Gateway separately.

On-Prem Gateway. This is the interface that collects alerts from the DX platform and sends incident events to third-party systems. The On-Prem Gateway acts as a poller, periodically gathering event data from DX OI using API requests over HTTPS protocol, and then sends alerts to a third-party server that is integrated with the DX platform using webhooks.

DX Log Collector accepts syslog from network devices or servers and uploads them to OI. The DX Log Collector allows you to separate the software that generates messages, the system that stores them, and the software that reports and analyzes them. Each message is tagged with an object code indicating the type of software that generated the message, and it is assigned a criticality level. In DX Dashboards, all this can later be viewed.

DX RESTmon integrates with third-party products/services via REST API and sends data to OI. The figure below illustrates the functioning of DX RESTmon in the example of integration with the monitoring systems Solarwinds and SCOM.

Key features of DX RESTmon:

• Connecting to any third-party data source to receive data:
  • PULL: connecting and extracting data from public REST APIs;
  • PUSH: streaming data into RESTmon via REST.
• Support for JSON and XML formats;
• Receiving metrics, alerts, groups, topology, inventory, and logs;
• Ready-made connectors for various tools/technologies; it is also possible to develop a connector to any source with an open API (a list of out-of-the-box connectors is shown in the figure below);
• Ondersteuning voor basisauthenticatie (standaard) bij toegang tot de Swagger-interface en API;
• Ondersteuning voor HTTPS (standaard) voor alle inkomende en uitgaande berichten;
• Ondersteuning voor inkomende en uitgaande proxy;
• Krachtige tekstparseringsmogelijkheden voor logboeken die via REST worden verkregen;
• Aanpasbare parsering met RESTmon, wat zorgt voor een efficiënte analyse en visualisatie van logboeken;
• Ondersteuning voor het extraheren van informatie over apparaatsgroepen uit monitoringapplicaties en het uploaden naar OI voor analyse en visualisatie;
• Ondersteuning voor het vergelijken met reguliere expressies. Dit kan worden gebruikt voor het parseren en matchen van logberichten die via REST zijn verkregen, evenals voor het genereren of afsluiten van gebeurtenissen op basis van specifieke voorwaarden van reguliere expressies.

Laten we nu het proces van het instellen van de DX OI-integratie met Zabbix via DX RESTmon bekijken. De out-of-the-box-integratie haalt de volgende gegevens uit Zabbix:

• inventarisgegevens;
• topologie;
• problemen;
• statistieken.

Aangezien de connector voor Zabbix out-of-the-box beschikbaar is, is alles wat nodig is om de integratie in te stellen het bijwerken van het profiel door het IP-adres van de Zabbix API-server en het account op te geven, en vervolgens het profiel te uploaden via de Swagger-webinterface. Voorbeeld op de volgende twee afbeeldingen.

Na het instellen van de integratie zijn de analytische functies van DX OI, zoals hierboven beschreven, beschikbaar voor de gegevens die uit Zabbix komen, namelijk: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics en Remediation. De onderstaande afbeelding toont een voorbeeld van prestatiestatistiekenanalyse voor objecten die vanuit Zabbix zijn geïntegreerd.

Conclusie

DX OI is een modern analysetool dat aanzienlijke operationele efficiëntie voor IT-afdelingen biedt, snellere en betere beslissingen mogelijk maakt voor het verbeteren van de kwaliteit van IT-diensten en bedrijfsdiensten door interdomain contextuele analyse. Voor applicatie-eigenaren en bedrijfsafdelingen berekent DX OI de beschikbaarheid en kwaliteit van diensten, niet alleen in de context van technologische IT-indicatoren, maar ook bedrijfs-KPI's die worden gehaald uit transactionele statistieken van eindgebruikers.

Als u meer wilt weten over deze oplossing, laat dan een aanvraag achter voor een demonstratie of pilotproject op de voor u handige manier op onze website.

Bron: habr.com