En septembre dernier, Broadcom (anciennement CA) a publié la nouvelle version 20.2 de sa solution DX Operations Intelligence (DX OI). Sur le marché, ce produit se positionne comme un système de surveillance parapluie. Le système est capable de recevoir et de combiner des données provenant de systèmes de surveillance de divers domaines (réseau, infrastructure, applications, bases de données) de fabricants CA et tiers, y compris des solutions open source (Zabbix, Prometheus et autres).

La fonction principale de DX OI est la création d'un modèle de service de ressources (RSM) à part entière basé sur des éléments de configuration (CU) qui remplissent la base de données d'inventaire lorsqu'ils sont intégrés à des systèmes tiers. DX OI implémente des fonctions d'apprentissage automatique et d'intelligence artificielle (ML et IA) sur les données entrant dans la plateforme, ce qui vous permet d'évaluer/prédire la probabilité de défaillance d'un CI spécifique et le degré d'impact d'une défaillance sur un service métier en fonction de un CI spécifique. De plus, DX OI est un point unique de collecte d'événements de surveillance et, par conséquent, d'intégration avec le système Service Desk, ce qui constitue un avantage incontestable de l'utilisation du système dans des centres de surveillance unifiés par quarts de travail des organisations. Dans cet article, nous vous en dirons plus sur les fonctionnalités du système et vous montrerons les interfaces utilisateur et administrateur.

Architecture de la solution DX OI

La plateforme DX dispose d'une architecture de microservices, installée et exécutant Kubernetes ou OpenShift. La figure suivante montre les composants de la solution qui peuvent être utilisés comme outils de surveillance indépendants ou peuvent être remplacés par des systèmes de surveillance existants dotés de fonctions similaires (il existe des exemples de tels systèmes dans la figure), puis connectés au parapluie DX OI. Dans le schéma ci-dessous :

• Surveillance des applications mobiles dans DX App Experience Analytics ;
• Surveillance des performances des applications dans DX APM ;
• Surveillance de l'infrastructure dans DX Infrastructure Manager ;
• Surveillance des périphériques réseau dans DX NetOps Manager.

Les composants DX s'exécutent sur un cluster Kubernetes et évoluent en lançant simplement de nouveaux POD. Vous trouverez ci-dessous un diagramme de solution de niveau supérieur.

L'administration, la mise à l'échelle et la mise à niveau de la plateforme DX s'effectuent dans la console d'administration. À partir d'une seule console, vous pouvez gérer une architecture mutualisée pouvant s'étendre à plusieurs entreprises ou unités commerciales au sein d'une entreprise. Dans ce modèle, chaque installation peut être configurée individuellement en tant que locataire avec son propre ensemble de configurations.

La console d'administration est un outil Web de gestion des opérations et du système qui fournit aux administrateurs une interface cohérente et unifiée pour effectuer des tâches de gestion de cluster de surveillance.

Les nouveaux locataires pour les unités commerciales ou les entreprises au sein de l'entreprise sont déployés en quelques minutes. C'est un avantage si l'on souhaite disposer d'un système de surveillance unifié, mais en même temps, au niveau de la plateforme (et non des droits d'accès), délimiter les objets de surveillance entre les services.

Modèles de ressources-services et surveillance des services métiers

DX OI dispose de mécanismes intégrés pour créer des services et développer un PCM classique avec pour tâche la logique d'influence et de pondération entre les composants de service. Il existe également des mécanismes pour exporter du PCM à partir d'une CMDB externe. La figure ci-dessous montre l'éditeur PCM intégré (faites attention aux poids des liens).

DX OI fournit une vue globale des indicateurs de performance clés pour les services métiers ou informatiques à un niveau granulaire, y compris la disponibilité des services et la prévision des risques de panne. L'outil peut également donner un aperçu de l'impact d'un problème de performances ou d'un changement dans la structure des composants informatiques (application ou infrastructure) sur un service métier. La figure ci-dessous est un tableau de bord interactif qui affiche l'état de tous les services.

Examinons de plus près le service Digital Banking à titre d'exemple. En cliquant sur le nom du service, on accède au service PCM détaillé. Nous voyons que le statut du service Digital Banking dépend de l’état de l’infrastructure et des sous-services transactionnels avec des poids différents. Travailler avec des poids et les afficher est un avantage intéressant de DX OI.

La topologie est un élément important de la surveillance opérationnelle de l'entreprise, permettant aux opérateurs et aux ingénieurs d'analyser la relation entre les composants, d'en trouver la cause profonde et l'influence.

DX OI Topology Viewer est un service qui utilise les données topologiques des systèmes de surveillance de domaine qui collectent des données directement à partir des objets de surveillance. L'outil est conçu pour rechercher plusieurs couches de stockage topologiques et afficher une carte de relations spécifique au contexte. Pour enquêter sur les problèmes, vous pouvez accéder au sous-service Backend Banking problématique et voir la topologie et les composants problématiques. Les messages d'alarme et les mesures de performances peuvent également être analysés pour chaque composant.

Lors de l'analyse des composants transactionnels des paiements (transactions des utilisateurs), nous pouvons suivre les valeurs des KPI commerciaux, qui sont également prises en compte lors du calcul de l'état de disponibilité et de la santé du service. Un exemple de KPI commercial est présenté ci-dessous :

Analyse d'événements (Alarm Analytics)

Réduction algorithmique du bruit grâce au clustering de crash

L'une des fonctionnalités clés de DX OI dans la gestion des événements est le clustering. Le mécanisme fonctionne sur toutes les alertes entrant dans le système pour identifier des modèles basés sur différents contextes et les combiner en groupes. Ces clusters sont auto-apprenants et n'ont pas besoin d'être configurés manuellement.

Ainsi, le clustering permet aux utilisateurs de combiner et de regrouper un grand nombre d'événements et d'analyser uniquement ceux qui ont un contexte commun. Par exemple, un ensemble d'événements qui représentent un incident affectant des applications ou un centre de données. Les situations sont créées à l'aide d'algorithmes de clustering basés sur l'apprentissage automatique qui utilisent la corrélation temporelle, la relation topologique et le traitement du langage natif pour l'analyse. Les figures ci-dessous montrent des exemples de visualisation de groupes groupés de messages, appelés situations d'alarme et de chronologie des preuves, qui affichent les principaux paramètres de regroupement et le processus de réduction du nombre d'événements sonores.

Analyse des problèmes fondamentaux et corrélation des crashs

Dans l’environnement hybride actuel, une transaction utilisateur peut affecter plusieurs systèmes utilisés de manière dynamique. En conséquence, plusieurs alertes peuvent être générées à partir de différents systèmes, mais liées au même problème ou incident. DX OI utilise des mécanismes propriétaires pour supprimer les alertes redondantes et en double et corréler les alertes associées pour une meilleure détection des problèmes critiques et une résolution plus rapide.

Prenons un exemple où le système reçoit de nombreux messages d'urgence pour différents objets (KE) qui sous-tendent un service. En cas d'impact sur la disponibilité et l'opérabilité du service, le système générera une alarme de service (Service Alarm), indiquera et désignera la cause profonde probable (problème CI et message d'alarme sur le CI) qui a contribué à la diminution des performances ou échec du service. La figure ci-dessous montre la visualisation du crash d'un service Webex.

DX OI vous permet de travailler avec des événements grâce à des actions intuitives dans l'interface Web du système. Les utilisateurs peuvent attribuer manuellement des événements à l'employé responsable pour le dépannage, réinitialiser/accuser réception des alertes, créer des tickets ou envoyer des notifications par e-mail, exécuter des scripts automatisés pour résoudre une urgence (workflow de remédiation, nous y reviendrons plus tard). De cette manière, DX OI permet aux opérateurs d’équipe de se concentrer sur le message d’alarme racine et contribue également à simplifier le processus de tri des messages dans des tableaux groupés.

Algorithmes machine pour traiter les métriques et analyser les données de performance

L'apprentissage automatique vous permet de suivre, de regrouper et de visualiser des indicateurs de performance clés pour une période de temps donnée, ce qui offre à l'utilisateur les avantages suivants :

• Détection des goulots d'étranglement et des anomalies de performances ;
• Comparaison de plusieurs indicateurs pour les mêmes appareils, interfaces ou réseaux ;
• Comparaison des mêmes indicateurs sur plusieurs objets ;
• Comparaison de divers indicateurs pour un et plusieurs objets ;
• Comparaison de métriques multidimensionnelles pour plusieurs objets.

Pour analyser les métriques entrant dans le système, DX OI utilise les fonctions d'analyse automatique à l'aide d'algorithmes mathématiques, ce qui permet de réduire le temps de définition des seuils statiques et de générer des avertissements en cas d'anomalies.

Le résultat de l'application d'algorithmes mathématiques est la construction de ce que l'on appelle les distributions de probabilité de la valeur métrique (Rare, Probable, Centre, Moyenne, Réelle). Les figures ci-dessus et ci-dessous montrent les distributions de probabilité.

Les deux graphiques ci-dessus montrent les données suivantes :

• Données réelles (réelles). Les données réelles sont tracées sous forme de ligne noire continue (pas d'alarme) ou de ligne continue colorée (condition d'alarme). La ligne est calculée sur la base des données réelles de la métrique. En comparant les données réelles et la médiane, vous pouvez rapidement voir la variation de la métrique. Lorsqu'un événement se produit, la ligne noire se transforme en une ligne continue colorée qui correspond à la gravité de l'événement et affiche des icônes avec la gravité correspondante au-dessus du graphique. Par exemple, rouge pour une anomalie critique, orange pour une anomalie majeure et jaune pour une anomalie mineure.
• Valeur moyenne de l'indicateur (Valeur moyenne). La médiane ou la moyenne d'une mesure est affichée sous la forme d'une ligne grise dans le graphique. La valeur moyenne est affichée lorsqu'il n'y a pas suffisamment de données historiques.
• La valeur médiane de l'indicateur (valeur centrale). La ligne médiane correspond au milieu de la plage et est représentée par une ligne pointillée verte. Les zones les plus proches de cette ligne sont les plus proches des valeurs typiques de l'indicateur.
• Données communes (Valeur commune). Les données de la zone totale suivent la zone la plus proche de la ligne médiane ou de la normale pour votre métrique et s'affichent sous la forme d'une barre vert foncé. Les calculs analytiques placent la zone totale un centile au-dessus ou en dessous de la normale.
• données probabilistes. Les données de la zone de probabilité sont affichées sur le graphique avec une barre verte. Le système place la zone de probabilité deux centiles au-dessus ou en dessous de la normale.
• Données rares. Les données des zones rares sont affichées sur le graphique sous forme de barre vert clair. Le système place une zone avec des valeurs métriques rares trois centiles au-dessus ou en dessous de la norme et signale le comportement de l'indicateur en dehors de la plage normale, tandis que le système génère ce qu'on appelle l'alerte d'anomalie.

Une anomalie est une mesure ou un événement incompatible avec les performances normales d'une métrique. La détection des anomalies pour identifier les problèmes et comprendre les tendances de l’infrastructure et des applications est une fonctionnalité clé de DX OI. La détection d'anomalies vous permet à la fois de reconnaître un comportement inhabituel (par exemple, un serveur qui répond plus lentement que d'habitude, ou une activité réseau inhabituelle provoquée par un piratage) et de réagir en conséquence (déclencher un incident, exécuter un script de remédiation automatique).

La fonctionnalité de détection des anomalies DX OI offre les avantages suivants :

• Vous n'avez pas besoin de définir des seuils. DX OI comparera indépendamment les données et identifiera les anomalies.
• DX OI comprend plus de dix algorithmes d'intelligence artificielle et d'apprentissage automatique, dont EWMA (Exponentially-Weighted-Moving-Average) et KDE (Kernel Density Estimation). Ces algorithmes vous permettent d’effectuer une analyse rapide des causes profondes et de prédire les mesures futures.

Analyses prédictives et alertes de panne

Predictive Insights est une fonctionnalité qui utilise la puissance de l'apprentissage automatique pour identifier des modèles et des tendances. Sur la base de ces tendances, le système prédit les événements susceptibles de se produire dans le futur. Ces messages indiquent qu'une action doit être prise avant que les valeurs des métriques ne dépassent la plage normale, ce qui aurait un impact sur les services métier critiques. Les informations prédictives sont présentées dans la figure ci-dessous.

Et il s'agit d'une visualisation d'alertes prédictives pour une métrique spécifique.

Prévision de la charge de puissance de calcul avec fonction de définition de scénarios de charge

La fonctionnalité de planification de la capacité de Capacity Analytics aide à gérer les ressources informatiques en garantissant que les ressources sont correctement dimensionnées pour répondre aux besoins actuels et futurs de l'entreprise. Vous serez en mesure d'optimiser la performance et l'efficacité des ressources existantes, de planifier et de justifier tout investissement financier.

La fonctionnalité d'analyse de capacité dans DX OI offre les avantages suivants :

• Capacités de prévision pendant les hautes saisons ;
• Détermination du moment où des ressources supplémentaires sont nécessaires pour assurer la qualité du service ;
• Acheter des ressources supplémentaires uniquement en cas de besoin ;
• Gestion efficace des infrastructures et des réseaux ;
• Éliminer les coûts énergétiques inutiles en identifiant les ressources sous-utilisées ;
• Effectuez une estimation de la charge des ressources en cas d’augmentation planifiée de la demande pour un service ou une ressource.

La page Capacity Analytics DX OI (illustrée ci-dessous) comporte les widgets suivants :

• État de la capacité des ressources ;
• Groupes/services contrôlés (groupes/services surveillés) ;
• Grands consommateurs de ressources (Top Capacity Consumers).

La page principale d'Analyse de capacité affiche les composants de ressources surutilisés et à court de capacité. Cette page aide les administrateurs de plateforme à trouver les ressources surutilisées et les aide à redimensionner et optimiser les ressources. L'état des ressources peut être analysé en fonction des codes couleurs et de leurs valeurs respectives. Les ressources sont classées en fonction de leur degré de congestion sur la page d'état de la capacité des ressources. Vous pouvez cliquer sur chacune des couleurs pour voir une liste des composants de la catégorie sélectionnée. Ensuite, une carte thermique s'affiche avec tous les objets et prévisions sur 12 mois, ce qui permet d'identifier les ressources sur le point d'être épuisées.

Pour chacune des métriques de Capacité Analytics, vous pouvez spécifier les filtres que DX Operational Intelligence utilise pour effectuer des prévisions (figure ci-dessous).

Les filtres suivants sont disponibles :

• Métrique. La métrique à utiliser pour la prévision.
• Baser sur. Sélection de la quantité de données historiques qui seront utilisées pour construire des prévisions pour l'avenir. Ce champ est utilisé pour comparer et analyser les tendances du mois dernier, les tendances des 3 derniers mois, les tendances annuelles, etc.
• Croissance. Taux de croissance attendu de la charge de travail que vous souhaitez utiliser pour modéliser la prévision de capacité. Ces données peuvent être utilisées pour prévoir une croissance au-delà des prévisions. Par exemple, l'utilisation des ressources devrait encore augmenter de 40 % en raison de l'ouverture d'un nouveau bureau.

Analyse des journaux

La fonctionnalité d'analyse des journaux DX OI fournit :

• collecte, agrégation de journaux provenant de différentes sources (y compris ceux obtenus par des méthodes d'agence et sans agent) ;
• analyse et normalisation des données ;
• analyse du respect des conditions fixées et génération d'événements ;
• corrélation des événements sur la base des journaux, y compris les événements reçus à la suite de la surveillance de l'infrastructure informatique ;
• visualisation des données basée sur l'analyse dans les tableaux de bord DX ;
• conclusions sur la disponibilité des services basées sur l'analyse des données des journaux.

La collecte des journaux à l'aide d'une méthode sans agent est effectuée par le système pour les journaux d'événements Windows et Syslog. Méthode basée sur un agent pour collecter les journaux de texte.

Fonction automatisée de résolution d’urgence (remédiation)

Des actions automatisées pour corriger l'urgence (Remediation Workflow) permettent de résoudre les problèmes ayant provoqué la génération d'un événement dans DX OI. Par exemple, si un problème d'utilisation du processeur génère une alarme, le workflow de correction résout le problème en redémarrant le serveur concerné. L'intégration entre DX OI et le système d'automatisation permet aux processus de remédiation d'être déclenchés à partir de la console d'événements dans DX Operational Intelligence et d'être suivis dans la console du système d'automatisation.

Après l'intégration à un système d'automatisation, vous pouvez déclencher des actions automatiques pour corriger toute urgence dans la console DX OI à partir du contexte d'une alarme. Vous pouvez afficher les actions recommandées ainsi que des informations sur les pourcentages de confiance (la probabilité que la situation soit résolue en prenant l'action).

Initialement, lorsqu'il n'y a pas de statistiques sur les résultats du workflow de remédiation, le moteur de recommandation suggère des candidats sur la base de recherches par mots clés, puis les résultats de l'apprentissage automatique sont utilisés et le moteur commence à recommander une technique de remédiation basée sur l'heuristique. Dès que vous commencerez à évaluer les résultats des conseils reçus, la précision des recommandations s'améliorera.

Un exemple de retour d'utilisateur : l'utilisateur choisit s'il aime ou n'aime pas l'action proposée, et le système prend en compte ce choix lorsqu'il fait d'autres recommandations. Aime n'aime pas:

Les actions correctives recommandées pour une alarme particulière sont basées sur une combinaison de commentaires qui déterminent si l'action est acceptable. DX OI est livré avec une intégration prête à l’emploi avec Automic Automation.

Intégration de DX OI avec des systèmes tiers

Nous ne nous attarderons pas sur l'intégration des données issues des produits de surveillance natifs de Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Examinons plutôt comment les données provenant de systèmes tiers sont intégrées et considérons un exemple d'intégration avec l'un des systèmes les plus populaires - Zabbix.

Pour l'intégration avec des systèmes tiers, le composant DX Gateway est utilisé. DX Gateway se compose de 3 composants : On-Prem Gateway, RESTmon et Log Collector (Logstash). Vous pouvez installer les 3 composants ou seulement celui dont vous avez besoin en modifiant le fichier de configuration générale lors de l'installation de DX Gateway. La figure ci-dessous montre l'architecture de la passerelle DX.

Considérons séparément l'objectif des composants DX Gateway.

Passerelle sur site. Il s'agit d'une interface qui collecte les alarmes de la plateforme DX et envoie des événements d'alarme à des systèmes tiers. La passerelle sur site agit comme un interrogeur qui collecte périodiquement les données d'événement de DX OI à l'aide de l'API de requête HTTPS, puis envoie des alertes à un serveur tiers intégré à la plateforme DX à l'aide de webhooks.

Collecteur de journaux DX reçoit le syslog des périphériques réseau ou des serveurs et les télécharge sur OI. DX Log Collector vous permet de séparer le logiciel qui génère les messages, le système qui les stocke et le logiciel qui les rapporte et les analyse. Chaque message est étiqueté avec un code objet indiquant le type de logiciel générant le message, et un niveau de gravité lui est attribué. Dans les tableaux de bord DX, tout cela peut ensuite être visualisé.

DX RESTmon s'intègre aux produits/services tiers via l'API REST et transmet les données à OI. La figure ci-dessous montre le fonctionnement de DX RESTmon en utilisant l'exemple d'intégration avec les systèmes de surveillance Solarwinds et SCOM.

Principales fonctionnalités de DX RESTmon :

• Connectez-vous à n'importe quelle source de données tierce pour recevoir des données :
  • PULL : connexion et récupération de données à partir d'API REST publiques ;
  • PUSH : flux de données vers RESTmon via REST.
• Prise en charge des formats JSON et XML ;
• Recevez des métriques, des alertes, des groupes, une topologie, un inventaire et des journaux ;
• Connecteurs prêts à l'emploi pour divers outils/technologies, il est également possible de développer un connecteur vers n'importe quelle source avec une API ouverte (liste des connecteurs encadrés dans la figure ci-dessous) ;
• Prise en charge de l'authentification de base (par défaut) lors de l'accès à l'interface et à l'API Swagger ;
• Prise en charge HTTPS (par défaut) pour tous les messages entrants et sortants ;
• Prise en charge des proxys entrants et sortants ;
• Puissantes capacités d'analyse de texte pour les journaux reçus via REST ;
• Analyse personnalisable avec RESTmon pour une analyse et une visualisation efficaces des journaux ;
• Prise en charge de l'extraction d'informations sur des groupes d'appareils à partir d'applications de surveillance et du téléchargement vers OI pour analyse et visualisation ;
• Prise en charge de la correspondance d'expressions régulières. Cela peut être utilisé pour analyser et faire correspondre les messages de journal reçus via REST, ainsi que pour générer ou fermer des événements en fonction de certaines conditions d'expression régulière.

Examinons maintenant le processus de configuration de l'intégration de DX OI avec Zabbix via DX RESTmon. L'intégration en boîte prend les données suivantes de Zabbix :

• données d'inventaire ;
• topologie ;
• Problèmes;
• métrique.

Étant donné que le connecteur pour Zabbix est disponible immédiatement, tout ce qui doit être fait pour configurer l'intégration est de mettre à jour le profil avec l'adresse IP et le compte de l'API du serveur Zabbix, puis de télécharger le profil via l'interface Web Swagger. . Un exemple se trouve dans les deux figures suivantes.

Après avoir configuré l'intégration, les fonctions analytiques DX OI décrites ci-dessus seront disponibles pour les données provenant de Zabbix, à savoir : Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics et Remediation. La figure ci-dessous montre un exemple d'analyse des métriques de performances pour les objets intégrés depuis Zabbix.

Conclusion

DX OI est un outil d'analyse de pointe qui offrira une efficacité opérationnelle significative aux services informatiques, vous permettant de prendre des décisions plus rapides et plus correctes pour améliorer la qualité des services informatiques et des services commerciaux grâce à une analyse contextuelle inter-domaines. Pour les propriétaires d'applications et les unités commerciales, DX OI calculera la disponibilité et la qualité du service non seulement dans le contexte des mesures technologiques informatiques, mais également des KPI commerciaux dérivés des statistiques transactionnelles des utilisateurs finaux.

Si vous souhaitez en savoir plus sur cette solution, veuillez postuler pour une démo ou un pilote d'une manière qui vous convient sur notre site.

Source: habr.com