In september heeft Broadcom (voorheen CA) de nieuwe versie 20.2 van zijn DX Operations Intelligence (DX OI)-oplossing uitgebracht. Op de markt wordt dit product gepositioneerd als een overkoepelend monitoringsysteem. Het systeem kan gegevens ontvangen en combineren van monitoringsystemen van verschillende domeinen (netwerk, infrastructuur, applicaties, databases) van zowel CA als externe fabrikanten, inclusief open source-oplossingen (Zabbix, Prometheus en anderen).

De belangrijkste functie van DX OI is het creëren van een volwaardig resource-service model (RSM) op basis van configuratie-items (CU's) die de inventarisdatabase vullen wanneer ze worden geïntegreerd met systemen van derden. DX OI implementeert Machine Learning en Artificial Intelligence (ML en AI) functies via de gegevens die het platform binnenkomen, waardoor u de faalkans van een specifieke CI en de mate van impact van een storing op een zakelijke service kunt evalueren/voorspellen op basis van een specifiek CI. Bovendien is DX OI een enkel punt voor het verzamelen van monitoringgebeurtenissen en dienovereenkomstig integratie met het Service Desk-systeem, wat een onbetwistbaar voordeel is van het gebruik van het systeem in uniforme monitoringcentra door dienstverschuivingen van organisaties. In dit artikel vertellen we u meer over de functionaliteit van het systeem en laten we de gebruikers- en beheerdersinterfaces zien.

DX OI-oplossingsarchitectuur

Het DX-platform heeft een microservice-architectuur, waarop Kubernetes of OpenShift is geïnstalleerd en uitgevoerd. De volgende afbeelding toont de componenten van de oplossing die kunnen worden gebruikt als onafhankelijke monitoringtools of kunnen worden vervangen door bestaande monitoringsystemen met vergelijkbare functies (er zijn voorbeelden van dergelijke systemen in de figuur) en vervolgens kunnen worden aangesloten op de DX OI-paraplu. In het onderstaande diagram:

• Monitoring van mobiele applicaties in DX App Experience Analytics;
• Monitoring van applicatieprestaties in DX APM;
• Infrastructuurmonitoring in DX Infrastructure Manager;
• Netwerkapparaten bewaken in DX NetOps Manager.

DX-componenten draaien op een Kubernetes-cluster en kunnen worden geschaald door simpelweg nieuwe POD's te lanceren. Hieronder vindt u een oplossingsdiagram op het hoogste niveau.

Beheer, schaling en upgrade van het DX-platform gebeurt in de beheerconsole. Vanaf één console kunt u een multi-tenant architectuur beheren die meerdere ondernemingen of meerdere bedrijfseenheden binnen een bedrijf kan omvatten. In dit model kan elke faciliteit individueel als huurder worden geconfigureerd met een eigen set configuraties.

De Administration Console is een webgebaseerde tool voor operaties en systeembeheer die beheerders een consistente, uniforme interface biedt voor het uitvoeren van monitoringtaken voor clusterbeheer.

Nieuwe huurders voor bedrijfsonderdelen of ondernemingen binnen het bedrijf worden binnen enkele minuten ingezet. Dit is een voordeel als u een uniform monitoringsysteem wilt hebben, maar tegelijkertijd op platformniveau (en niet op toegangsrechten) de monitoringobjecten tussen afdelingen wilt afbakenen.

Resource-servicemodellen en monitoring van zakelijke services

DX OI heeft ingebouwde mechanismen voor het creëren van services en het ontwikkelen van klassieke PCM met als taak de logica van invloed en gewichten tussen servicecomponenten. Er zijn ook mechanismen voor het exporteren van PCM vanuit een externe CMDB. Onderstaande figuur toont de ingebouwde PCM-editor (let op de linkgewichten).

DX OI biedt een holistisch beeld van de belangrijkste prestatie-indicatoren voor bedrijfs- of IT-services op granulair niveau, inclusief de beschikbaarheid van services en het voorspellen van storingsrisico's. Ook kan de tool inzicht geven in de impact van een performanceprobleem of een verandering in de structuur van IT-componenten (applicatie of infrastructuur) op een bedrijfsdienst. Onderstaande figuur is een interactief dashboard dat de status van alle services weergeeft.

Laten we als voorbeeld de dienst Digitaal Bankieren eens nader bekijken. Door op de naam van de dienst te klikken, gaan we naar de gedetailleerde PCM-dienst. We zien dat de status van de dienst Digitaal Bankieren afhangt van de staat van de infrastructuur en transactionele subdiensten met verschillende gewichten. Het werken met gewichten en het weergeven ervan is een interessant voordeel van DX OI.

Topologie is een belangrijk element van de operationele monitoring van de onderneming, waardoor operators en ingenieurs de relatie tussen componenten kunnen analyseren en de hoofdoorzaak en invloed kunnen vinden.

DX OI Topology Viewer is een service die topologische gegevens gebruikt van domeinmonitoringsystemen die gegevens rechtstreeks van monitoringobjecten verzamelen. De tool is ontworpen om meerdere topologie-opslaglagen te doorzoeken en een contextspecifieke relatiekaart weer te geven. Om problemen te onderzoeken, kunt u naar de problematische Backend Banking-subservice gaan en de topologie en problematische componenten bekijken. Alarmberichten en prestatiestatistieken kunnen ook voor elk onderdeel worden geanalyseerd.

Bij het analyseren van de transactionele componenten van Betalingen (gebruikerstransacties) kunnen we zakelijke KPI-waarden volgen, waarmee ook rekening wordt gehouden bij het berekenen van de beschikbaarheidsstatus en de status van de service. Hieronder ziet u een voorbeeld van een bedrijfs-KPI:

Gebeurtenisanalyse (Alarmanalyse)

Algoritmische ruisonderdrukking door crashclustering

Een van de belangrijkste kenmerken van DX OI bij het afhandelen van gebeurtenissen is clustering. Het mechanisme werkt op alle waarschuwingen die het systeem binnenkomen om patronen te identificeren op basis van verschillende contexten en deze in groepen te combineren. Deze clusters zijn zelflerend en hoeven niet handmatig te worden geconfigureerd.

Door clustering kunnen gebruikers dus een groot aantal gebeurtenissen combineren en groeperen en alleen die gebeurtenissen analyseren die een gemeenschappelijke context hebben. Bijvoorbeeld een reeks gebeurtenissen die een incident vertegenwoordigen dat van invloed is op applicaties of een datacenter. De situaties worden gecreëerd met behulp van op machine learning gebaseerde clusteralgoritmen die voor analyse gebruik maken van temporele correlatie, topologische relaties en moedertaalverwerking. De onderstaande afbeeldingen tonen voorbeelden van visualisatie van geclusterde groepen berichten, de zogenaamde Situatiesalarmen en Bewijstijdlijn, die de belangrijkste groeperingsparameters weergeven en het proces voor het verminderen van het aantal ruisgebeurtenissen.

Analyse van het wortelprobleem en crashcorrelatie

In de huidige hybride omgeving kan een gebruikerstransactie invloed hebben op meerdere systemen die dynamisch worden gebruikt. Hierdoor kunnen er meerdere alerts worden gegenereerd vanuit verschillende systemen, maar gerelateerd aan hetzelfde probleem of incident. DX OI maakt gebruik van eigen mechanismen om overtollige en dubbele waarschuwingen te onderdrukken en gerelateerde waarschuwingen te correleren voor een betere detectie van kritieke problemen en een snellere oplossing.

Laten we een voorbeeld bekijken waarbij het systeem talloze noodberichten ontvangt voor verschillende objecten (KE) die ten grondslag liggen aan één dienst. In geval van impact op de beschikbaarheid en bruikbaarheid van de dienst, zal het systeem een ​​servicealarm (Service Alarm) genereren, de waarschijnlijke hoofdoorzaak (probleem-CI en alarmbericht op de CI) aangeven en aanwijzen die heeft bijgedragen aan de prestatievermindering of falen van de dienst. De onderstaande afbeelding toont de crashvisualisatie voor een Webex-service.

Met DX OI kunt u met gebeurtenissen werken via intuïtieve acties in de webinterface van het systeem. Gebruikers kunnen handmatig gebeurtenissen toewijzen aan de verantwoordelijke medewerker voor het oplossen van problemen, waarschuwingen resetten/bevestigen, tickets maken of e-mailmeldingen verzenden, geautomatiseerde scripts uitvoeren om een ​​noodgeval op te lossen (Remediation Workflow, daarover later meer). Op deze manier zorgt DX OI ervoor dat ploegoperators zich kunnen concentreren op het root-alarmbericht en kunnen ze ook helpen bij het vereenvoudigen van het proces van het sorteren van berichten in geclusterde arrays.

Machine-algoritmen voor het verwerken van statistieken en het analyseren van prestatiegegevens

Met machine learning kunt u belangrijke prestatie-indicatoren voor een bepaalde periode volgen, aggregeren en visualiseren, wat de gebruiker de volgende voordelen oplevert:

• Detectie van knelpunten en prestatieafwijkingen;
• Vergelijking van verschillende indicatoren voor dezelfde apparaten, interfaces of netwerken;
• Vergelijking van dezelfde indicatoren op verschillende objecten;
• Vergelijking van verschillende indicatoren voor één en meerdere objecten;
• Vergelijking van multidimensionale statistieken voor verschillende objecten.

Om de statistieken te analyseren die het systeem binnenkomen, gebruikt DX OI de functies van machineanalyse met behulp van wiskundige algoritmen, wat helpt de tijd te verkorten bij het instellen van statische drempels en het genereren van waarschuwingen wanneer zich afwijkingen voordoen.

Het resultaat van het toepassen van wiskundige algoritmen is de constructie van de zogenaamde waarschijnlijkheidsverdelingen van de metriekwaarde (zeldzaam, waarschijnlijk, midden, gemiddeld, feitelijk). De figuren hierboven en hieronder tonen de kansverdelingen.

De twee bovenstaande grafieken tonen de volgende gegevens:

• Werkelijke gegevens (Actueel). Werkelijke gegevens worden weergegeven als een ononderbroken zwarte lijn (geen alarmen) of als een gekleurde ononderbroken lijn (alarmtoestand). De lijn wordt berekend op basis van de werkelijke gegevens voor de metriek. Door de werkelijke gegevens en de mediaan te vergelijken, kunt u snel de variatie in de metriek zien. Wanneer zich een gebeurtenis voordoet, verandert de zwarte lijn in een gekleurde ononderbroken lijn die overeenkomt met de ernst van de gebeurtenis en worden boven de grafiek pictogrammen met de overeenkomstige ernst weergegeven. Bijvoorbeeld rood voor een kritieke afwijking, oranje voor een grote afwijking en geel voor een kleine afwijking.
• Gemiddelde waarde van de indicator (gemiddelde waarde). De mediaan of het gemiddelde van een meting wordt in het diagram weergegeven als een grijze lijn. De gemiddelde waarde wordt weergegeven als er niet voldoende historische gegevens zijn.
• De mediaanwaarde van de indicator (middelste waarde). De middenlijn is het midden van het bereik en wordt weergegeven als een groene stippellijn. De zones die het dichtst bij deze lijn liggen, liggen het dichtst bij de typische waarden van de indicator.
• Gemeenschappelijke gegevens (gemeenschappelijke waarde). De Total Zone-gegevens volgen het dichtst bij de middellijn of normaal voor uw metriek en worden weergegeven als een donkergroene balk. Analytische berekeningen plaatsen de totale zone één percentiel boven of onder normaal.
• probabilistische gegevens. De waarschijnlijkheidszonegegevens worden in de grafiek weergegeven met een groene balk. Het systeem plaatst de waarschijnlijkheidszone twee percentielen boven of onder normaal.
• Zeldzame gegevens. Gegevens over zeldzame zones worden in de grafiek weergegeven als een lichtgroene balk. Het systeem plaatst een zone met zeldzame metrische waarden drie percentielen boven of onder de norm en signaleert het gedrag van de indicator buiten het normale bereik, terwijl het systeem de zogenaamde Anomaly Alert genereert.

Een anomalie is een meting of gebeurtenis die inconsistent is met de normale prestaties van een metriek. Anomaliedetectie om problemen te identificeren en trends in infrastructuur en applicaties te begrijpen is een belangrijk kenmerk van DX OI. Met anomaliedetectie kunt u zowel ongebruikelijk gedrag herkennen (bijvoorbeeld een server die langzamer reageert dan normaal, of ongebruikelijke netwerkactiviteit veroorzaakt door een hack) als dienovereenkomstig reageren (een incident initiëren, een automatisch herstelscript uitvoeren).

De functie DX OI-afwijkingsdetectie biedt de volgende voordelen:

• U hoeft geen drempels in te stellen. DX OI zal de gegevens onafhankelijk vergelijken en afwijkingen identificeren.
• DX OI omvat meer dan tien algoritmen voor kunstmatige intelligentie en machine learning, waaronder EWMA (Exponentially-Weighted-Moving-Average) en KDE (Kernel Density Estimation). Met deze algoritmen kunt u een snelle analyse van de hoofdoorzaken uitvoeren en toekomstige statistieken voorspellen.

Voorspellende analyses en foutwaarschuwingen

Predictive Insights is een functie die de kracht van machine learning gebruikt om patronen en trends te identificeren. Op basis van deze trends voorspelt het systeem gebeurtenissen die zich in de toekomst kunnen voordoen. Deze berichten geven aan dat er actie moet worden ondernomen voordat de metrische waarden buiten het normale bereik vallen, wat gevolgen heeft voor kritieke zakelijke services. Voorspellende inzichten worden weergegeven in de onderstaande afbeelding.

En dit is een visualisatie van voorspellende waarschuwingen voor een specifieke statistiek.

Voorspelling van de belasting van rekenkracht met de functie van het instellen van belastingscenario's

De capaciteitsplanningsfunctie van Capacity Analytics helpt bij het beheren van IT-middelen door ervoor te zorgen dat de middelen de juiste omvang hebben om aan de huidige en toekomstige zakelijke behoeften te voldoen. U kunt de prestaties en efficiëntie van bestaande middelen optimaliseren en eventuele financiële investeringen plannen en rechtvaardigen.

De functie Capaciteitsanalyse in DX OI biedt de volgende voordelen:

• Voorspellen van capaciteiten tijdens piekseizoenen;
• Bepaling van het moment waarop aanvullende middelen nodig zijn om de kwaliteit van de dienstverlening te waarborgen;
• Alleen extra middelen kopen als dat nodig is;
• Efficiënt infrastructuur- en netwerkbeheer;
• Elimineer onnodige energiekosten door onderbenutte hulpbronnen te identificeren;
• Voer een schatting van de resourcebelasting uit in het geval van een geplande toename van de vraag naar een dienst of resource.

De Capacity Analytics DX OI-pagina (hieronder weergegeven) heeft de volgende widgets:

• Status van resourcecapaciteit;
• Gecontroleerde groepen/diensten (Monitored Groups/Services);
• Grootverbruikers van hulpbronnen (Top Capacity Consumers).

Op de hoofdpagina van Capacity Analytics worden resourcecomponenten weergegeven die overmatig worden gebruikt en bijna geen capaciteit meer hebben. Deze pagina helpt platformbeheerders overgebruikte bronnen te vinden en helpt hen de grootte van bronnen aan te passen en deze te optimaliseren. De staat van hulpbronnen kan worden geanalyseerd op basis van kleurcodes en hun respectieve waarden. Resources worden gecategoriseerd op basis van de mate van congestie op de statuspagina van de resourcecapaciteit. U kunt op elk van de kleuren klikken om een ​​lijst met de componenten in de geselecteerde categorie te zien. Vervolgens wordt een heatmap weergegeven met alle objecten en voorspellingen voor 12 maanden, waarmee u hulpbronnen kunt identificeren die op het punt staan ​​uitgeput te raken.

Voor elk van de statistieken in Capacity Analytics kunt u de filters opgeven die DX Operational Intelligence gebruikt om prognoses te maken (figuur hieronder).

De volgende filters zijn beschikbaar:

• Metriek. De statistiek die voor de prognose moet worden gebruikt.
• Baseren op. Selectie van de hoeveelheid historische gegevens die zullen worden gebruikt om voorspellingen voor de toekomst te maken. Dit veld wordt gebruikt om trends van de afgelopen maand, trends van de afgelopen 3 maanden, jaarlijkse trends, enz. te vergelijken en analyseren.
• Groei. Het verwachte groeipercentage van de werklast die u wilt gebruiken om de capaciteitsprognose te modelleren. Deze gegevens kunnen worden gebruikt om groei te voorspellen die verder gaat dan voorspeld. Zo wordt verwacht dat het gebruik van hulpbronnen nog eens 40 procent zal stijgen als gevolg van de opening van een nieuw kantoor.

Loganalyse

De DX OI-loganalysefunctie biedt:

• verzameling en aggregatie van logbestanden uit verschillende bronnen (inclusief die welke zijn verkregen via agentschaps- en agentloze methoden);
• parseren en datanormalisatie;
• analyse voor het voldoen aan de gestelde voorwaarden en het genereren van events;
• correlatie van gebeurtenissen op basis van logboeken, inclusief gebeurtenissen die worden ontvangen als resultaat van monitoring van de IT-infrastructuur;
• datavisualisatie op basis van analyse in DX Dashboards;
• conclusies over de beschikbaarheid van diensten op basis van de analyse van gegevens uit de logs.

Het verzamelen van logboeken met behulp van een agentloze methode wordt uitgevoerd door het systeem voor Windows-gebeurtenislogboeken en Syslog. Agentgebaseerde manier om tekstlogboeken te verzamelen.

Geautomatiseerde noodoplossingsfunctie (sanering)

Met geautomatiseerde acties om de noodsituatie te corrigeren (Remediation Workflow) kunt u problemen oplossen die het genereren van een gebeurtenis in DX OI hebben veroorzaakt. Als een CPU-gebruiksprobleem bijvoorbeeld een alarm genereert, lost de herstelworkflow het probleem op door de server waarop het probleem zich voordoet opnieuw op te starten. Dankzij de integratie tussen DX OI en het automatiseringssysteem kunnen herstelprocessen worden geactiveerd vanuit de gebeurtenisconsole in DX Operational Intelligence en worden gevolgd in de console van het automatiseringssysteem.

Na integratie met een automatiseringssysteem kunt u vanuit de context van een alarm automatische acties activeren om elke noodsituatie in de DX OI-console te corrigeren. U kunt aanbevolen acties bekijken, samen met informatie over betrouwbaarheidspercentages (de waarschijnlijkheid dat de situatie wordt opgelost door de actie uit te voeren).

Als er in eerste instantie geen statistieken zijn over de resultaten van de herstelworkflow, stelt de aanbevelingsengine kandidaten voor op basis van zoekopdrachten met trefwoorden. Vervolgens worden de machine learning-resultaten gebruikt en begint de engine een op heuristiek gebaseerde hersteltechniek aan te bevelen. Zodra u de resultaten van de ontvangen hints begint te evalueren, zal de nauwkeurigheid van de aanbevelingen verbeteren.

Een voorbeeld van gebruikersfeedback: de gebruiker kiest of hij de voorgestelde actie wel of niet leuk vindt, en het systeem houdt bij het doen van verdere aanbevelingen rekening met deze keuze. Leuk niet leuk:

De aanbevolen corrigerende acties voor een bepaald alarm zijn gebaseerd op een combinatie van feedback die bepaalt of de actie acceptabel is. DX OI wordt geleverd met kant-en-klare integratie met Automic Automation.

Integratie van DX OI met systemen van derden

We zullen niet stilstaan ​​bij de integratie van gegevens van native Broadcom-monitoringproducten (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Laten we in plaats daarvan eens kijken hoe gegevens van externe systemen van derden worden geïntegreerd en een voorbeeld bekijken van integratie met een van de meest populaire systemen: Zabbix.

Voor integratie met systemen van derden wordt de DX Gateway-component gebruikt. DX Gateway bestaat uit 3 componenten: On-Prem Gateway, RESTmon en Log Collector (Logstash). U kunt alle drie de componenten installeren of alleen degene die u nodig heeft door het algemene configuratiebestand te wijzigen tijdens het installeren van DX Gateway. De onderstaande afbeelding toont de DX Gateway-architectuur.

Laten we het doel van de DX Gateway-componenten afzonderlijk bekijken.

Gateway op locatie. Dit is een interface die alarmen verzamelt van het DX-platform en alarmgebeurtenissen naar systemen van derden verzendt. De On-Prem Gateway fungeert als een poller die periodiek gebeurtenisgegevens van de DX OI verzamelt met behulp van de HTTPS-aanvraag-API en vervolgens waarschuwingen verzendt naar een externe server die is geïntegreerd met het DX-platform met behulp van webhooks.

DX-logboekverzamelaar ontvangt syslog van netwerkapparaten of servers en uploadt deze naar OI. Met DX Log Collector kunt u onderscheid maken tussen de software die de berichten genereert, het systeem dat ze opslaat en de software die ze rapporteert en analyseert. Elk bericht wordt getagd met een objectcode die het type software aangeeft dat het bericht genereert, en er wordt een ernstniveau aan toegewezen. In DX Dashboards is dit vervolgens allemaal te bekijken.

DX RESTmon integreert met producten/diensten van derden via REST API en geeft gegevens door aan OI. De onderstaande afbeelding toont de werking van DX RESTmon aan de hand van het voorbeeld van integratie met Solarwinds- en SCOM-monitoringsystemen.

Belangrijkste kenmerken van DX RESTmon:

• Maak verbinding met een gegevensbron van derden om gegevens te ontvangen:
  • PULL: het verbinden en ophalen van data uit publieke REST API’s;
  • PUSH: gegevensstroom naar RESTmon via REST.
• Ondersteuning voor JSON- en XML-formaten;
• Ontvang statistieken, waarschuwingen, groepen, topologie, inventaris en logboeken;
• Kant-en-klare connectoren voor verschillende tools/technologieën, het is ook mogelijk om een ​​connector te ontwikkelen naar elke bron met een open API (lijst met boxed connectoren in onderstaande figuur);
• Ondersteuning voor basisauthenticatie (standaard) bij toegang tot de Swagger-interface en API;
• HTTPS-ondersteuning (standaard) voor alle inkomende en uitgaande berichten;
• Ondersteuning voor inkomende en uitgaande volmachten;
• Krachtige tekstparseermogelijkheden voor logs ontvangen via REST;
• Aanpasbare parsering met RESTmon voor efficiënte parsering en visualisatie van logboeken;
• Ondersteuning voor het extraheren van informatie over groepen apparaten uit monitoringapplicaties en downloaden naar OI voor analyse en visualisatie;
• Ondersteuning voor het matchen van reguliere expressies. Dit kan worden gebruikt voor het parseren en matchen van logberichten die via REST zijn ontvangen, en voor het genereren of sluiten van gebeurtenissen op basis van bepaalde reguliere expressievoorwaarden.

Laten we nu eens kijken naar het proces van het opzetten van DX OI-integratie met Zabbix via DX RESTmon. Boxed-integratie neemt de volgende gegevens van Zabbix:

• inventarisgegevens;
• topologie;
• Problemen;
• statistieken.

Omdat de connector voor Zabbix kant-en-klaar beschikbaar is, hoeft u voor het opzetten van de integratie alleen maar het profiel bij te werken met het IP-adres en account van de Zabbix-server-API, en vervolgens het profiel te uploaden via de Swagger-webinterface . Een voorbeeld staat in de volgende twee figuren.

Na het configureren van de integratie zullen de hierboven beschreven analytische functies van DX OI beschikbaar zijn voor gegevens afkomstig van Zabbix, namelijk: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics en Remediation. De onderstaande afbeelding toont een voorbeeld van het analyseren van prestatiestatistieken voor objecten die zijn geïntegreerd vanuit Zabbix.

Conclusie

DX OI is een state-of-the-art analysetool die IT-afdelingen aanzienlijke operationele efficiëntie zal bieden, waardoor u snellere en correctere beslissingen kunt nemen om de kwaliteit van IT-diensten en zakelijke diensten te verbeteren door middel van domeinoverschrijdende contextuele analyse. Voor applicatie-eigenaren en bedrijfseenheden berekent DX OI de beschikbaarheid en servicekwaliteit niet alleen in de context van IT-technologiestatistieken, maar ook zakelijke KPI's afgeleid van transactiestatistieken van eindgebruikers.

Wilt u meer weten over deze oplossing, vraag dan een demo of pilot aan op een manier die voor jou handig is op onze website.

Bron: www.habr.com