Este setembro, Broadcom (anteriormente CA) lanzou a nova versión 20.2 da súa solución DX Operations Intelligence (DX OI). Este produto sitúase no mercado como un sistema de vixilancia paraugas. O sistema é capaz de recibir e combinar datos de sistemas de monitorización de varios dominios (rede, infraestrutura, aplicacións, bases de datos) tanto de CA como de fabricantes de terceiros, incluíndo solucións de código aberto (Zabbix, Prometheus e outros).

A función principal de DX OI é a creación dun modelo completo de recursos e servizos (RSM) baseado en unidades de configuración (CU), que enchen a base de inventario cando se integran con sistemas de terceiros. DX OI implementa funcións de Machine Learning e Intelixencia Artificial (ML e AI) nos datos que entran na plataforma, o que permite avaliar/predicir a probabilidade de falla dun KE específico e o grao de impacto do fallo no servizo empresarial, que baséase nun KE específico. Ademais, DX OI é un punto único para a recollida de eventos de seguimento e, en consecuencia, a integración co sistema Service Desk, o que supón unha vantaxe innegable da utilización do sistema en centros de seguimento unificados para os turnos de tarefas das organizacións. Neste artigo imos dicirlle máis sobre a funcionalidade do sistema e mostrar as interfaces de usuario e administrador.

Arquitectura de solución DX OI

A plataforma DX ten unha arquitectura de microservizos, instalada e executando Kubernetes ou OpenShift. Na seguinte figura móstranse os compoñentes da solución que se poden utilizar como ferramentas de monitorización independentes ou que se poden substituír por sistemas de monitorización existentes con funcións similares (na figura hai exemplos deste tipo de sistemas) e logo conectarse ao paraugas DX OI. No seguinte diagrama:

• Monitorización de aplicacións móbiles en DX App Experience Analytics;
• Monitorización do rendemento da aplicación en DX APM;
• Seguimento da infraestrutura en DX Infrastructure Manager;
• Monitorización de dispositivos de rede en DX NetOps Manager.

Os compoñentes DX execútanse baixo o control dun clúster de Kubernetes e escalan simplemente lanzando novos POD. A continuación móstrase un diagrama de solución de nivel superior.

A administración, a escala e a actualización da plataforma DX realízase na consola administrativa. Desde unha única consola, pode xestionar unha arquitectura multi-inquilino que pode abarcar varias empresas ou varias unidades de negocio dentro dunha empresa. Neste modelo, cada empresa pódese configurar individualmente como inquilino co seu propio conxunto de configuracións.

A Consola de administración é unha ferramenta de xestión de sistemas e operacións baseada na web que ofrece aos administradores unha interface unificada e coherente para realizar tarefas de xestión de clúster de seguimento.

Os novos inquilinos para unidades de negocio ou empresas dentro dunha empresa despréganse en minutos. Isto dá unha vantaxe se quere ter un sistema de vixilancia unificado, pero a nivel de plataforma (e non dereitos de acceso) para diferenciar obxectos de vixilancia entre departamentos.

Modelos de recursos-servizo e seguimento dos servizos empresariais

DX OI ten mecanismos integrados para crear servizos e desenvolver PCM clásicos coa definición da lóxica de influencia e pesos entre os compoñentes do servizo. Tamén hai mecanismos para exportar PCM desde un CMDB externo. A seguinte figura mostra o editor PCM integrado (teña en conta os pesos das ligazóns).

DX OI ofrece unha imaxe holística dos indicadores clave de rendemento dos servizos de TI ou empresariais con detalles, incluíndo a dispoñibilidade do servizo e a predición do risco de falla. A ferramenta tamén pode proporcionar información sobre o impacto dun problema de rendemento ou cambio no deseño dos compoñentes de TI (aplicación ou infraestrutura) nun servizo empresarial. A seguinte figura mostra un panel interactivo que mostra o estado de todos os servizos.

Vexamos os detalles usando como exemplo o servizo de Banca Dixital. Facendo clic no nome do servizo, imos ao PCM detallado do servizo. Vemos que o estado do servizo de Banca Dixital depende do estado da infraestrutura e dos subservizos de transacción con diferentes pesos. Traballar con pesos e mostralos é un divertido beneficio de DX OI.

A topoloxía é un elemento importante do seguimento da planta operativa, que permite aos operadores e enxeñeiros analizar as relacións entre os compoñentes, atopar a causa raíz e o impacto.

DX OI Topology Viewer é un servizo que utiliza datos topolóxicos procedentes de sistemas de monitorización de dominios que recollen datos directamente dos obxectos de monitorización. A ferramenta está deseñada para buscar en varias capas de almacéns de topoloxía e mostrar un mapa de relacións específico do contexto. Para investigar problemas, pode ir ao subservizo problemático de Backend Banking e ver a topoloxía e os compoñentes problemáticos. Tamén pode analizar as mensaxes de alarma e as métricas de rendemento de cada compoñente.

Ao analizar os compoñentes das transaccións de Payments (transaccións dos usuarios), podemos facer un seguimento dos valores KPI empresariais, que tamén se teñen en conta ao calcular a dispoñibilidade e o estado de saúde do servizo. A continuación dáse un exemplo de KPI empresarial:

Análise de eventos

Redución algorítmica de ruído por agrupación de accidentes

Unha das características clave de DX OI no procesamento de eventos é a agrupación. O motor funciona en todas as alertas que chegan ao sistema para identificar patróns baseados en diferentes contextos e agrupalos. Estes clústeres son de autoaprendizaxe e non precisan ser configurados manualmente.

Así, a agrupación permite aos usuarios combinar e agrupar un gran número de eventos e analizar só aqueles que teñen un contexto común. Por exemplo, un conxunto de eventos que representan un incidente que afecta o funcionamento de aplicacións ou un centro de datos. As situacións créanse mediante algoritmos de agrupación baseados na aprendizaxe automática que utilizan a correlación temporal, as relacións topolóxicas e o procesamento da linguaxe nativa para a análise. As figuras seguintes mostran exemplos de visualización de grupos de mensaxes en clúster, as chamadas Alarmas de situacións e Cronoloxía de evidencias, mostrando os principais parámetros da agrupación e o proceso de redución do número de eventos de ruído.

Análise do problema raíz e correlación de accidentes

No entorno híbrido actual, unha transacción de usuario pode afectar a varios sistemas que se usan de forma dinámica. Como resultado, pódense xerar varias alertas desde sistemas diferentes pero relacionadas co mesmo problema ou incidente. DX OI usa mecanismos propietarios para suprimir alertas redundantes e duplicadas e correlacionar alertas relacionadas para mellorar a detección de problemas críticos e unha resolución máis rápida.

Vexamos un exemplo cando o sistema recibe numerosas mensaxes de alarma para diferentes obxectos (OU) subxacentes a un servizo. En caso de impacto na dispoñibilidade e rendemento do servizo, o sistema xerará unha alarma de servizo (Service Alarm), indicará e designará a causa raíz probable (KE problemático e mensaxe de alarma para KE), que contribuíu á diminución do rendemento ou fallo do servizo. A figura seguinte mostra unha visualización dunha situación de emerxencia para o servizo Webex.

DX OI permítelle traballar con eventos mediante accións intuitivas na interface web do sistema. Os usuarios poden asignar eventos manualmente ao empregado responsable para solucionar problemas, restablecer/coñecer alertas, crear tickets ou enviar notificacións por correo electrónico e executar scripts automatizados para resolver unha emerxencia (Fluxo de traballo de corrección, máis sobre isto máis tarde). Deste xeito, DX OI permite aos operadores de garda centrarse na mensaxe de alarma raíz e tamén axuda a axilizar o proceso de clasificación das mensaxes en matrices agrupadas.

Algoritmos de máquina para procesar métricas e analizar datos de rendemento

A aprendizaxe automática permítelle rastrexar, agregar e visualizar os indicadores clave de rendemento para calquera período de tempo específico, o que proporciona ao usuario os seguintes beneficios:

• Detección de embotellamentos e anomalías de rendemento;
• Comparación de varios indicadores para os mesmos dispositivos, interfaces ou redes;
• Comparación de indicadores idénticos en varios obxectos;
• Comparación de varios indicadores para un e varios obxectos;
• Comparación de métricas multidimensionais en varios obxectos.

Para analizar as métricas que entran no sistema, DX OI utiliza funcións de análise de máquinas mediante algoritmos matemáticos, o que axuda a reducir o tempo á hora de establecer limiares estáticos e xerar avisos cando se producen anomalías.

O resultado da aplicación de algoritmos matemáticos é a construción das chamadas distribucións de probabilidade do valor métrico (Raro, Probable, Centro, Media, Actual). As figuras anteriores e inferiores mostran distribucións de probabilidade.

Os dous gráficos anteriores mostran os seguintes datos:

• Datos reais (real). Os datos reais móstranse no gráfico como unha liña negra continua (sen alarma) ou unha liña continua de cores (estado de alarma). A liña calcúlase en función dos datos reais da métrica. Ao comparar os datos reais e a mediana, podes ver rapidamente as variacións da métrica. Cando se produce un evento, a liña negra cambia a unha liña continua de cores que se corresponde coa criticidade do evento e mostra iconas coa criticidade correspondente enriba do gráfico. Por exemplo, vermello para unha anomalía crítica, laranxa para unha anomalía maior e amarelo para unha anomalía menor.
• Valor medio do indicador. O valor medio ou mediano dun indicador móstrase no gráfico como unha liña gris. A media móstrase cando non hai datos históricos suficientes.
• Valor medio do indicador (Valor central). A liña mediana é o medio do intervalo e móstrase como unha liña de puntos verdes. As zonas máis próximas a esta liña están máis próximas aos valores típicos do indicador.
• Valor común. Os datos xerais da zona seguen a liña central máis próxima ou a normal para a súa métrica e aparecen como unha barra verde escuro. Os cálculos analíticos sitúan a zona global nun percentil por riba ou por debaixo do normal.
• datos probabilísticos. Os datos da zona de probabilidade móstranse como unha barra verde no gráfico. O sistema sitúa a zona de probabilidade en dous percentiles por riba ou por debaixo do normal.
• Datos raros. Os datos de zonas raras móstranse no gráfico como unha barra verde claro. O sistema sitúa unha área con valores métricos raros en tres percentiles por riba ou por debaixo da norma e sinala o comportamento do indicador fóra do rango normal, mentres que o sistema xera unha chamada alerta de anomalía.

Unha anomalía é unha medida ou evento que non é coherente co rendemento normal dunha métrica. A detección de anomalías para identificar problemas e comprender as tendencias en infraestruturas e aplicacións é unha característica clave de DX OI. A detección de anomalías permítelle recoñecer un comportamento inusual (por exemplo, un servidor que responde máis lentamente do habitual ou actividade de rede inusual causada por un hackeo) e responder en consecuencia (iniciando un incidente, executando un script de Remediación automático).

A detección de anomalías DX OI ofrece os seguintes beneficios:

• Non é necesario establecer limiares. DX OI recopilará os datos de forma independente e identificará anomalías.
• DX OI inclúe máis de dez algoritmos de intelixencia artificial e aprendizaxe automática, incluíndo EWMA (Ponderación exponencial: media móbil) e KDE (Estimación da densidade do núcleo). Estes algoritmos permiten unha análise rápida da causa raíz e a predición de valores de métricas futuros.

Análise preditiva e notificación de posibles fallos

Predictive Insights é unha función que utiliza o poder da aprendizaxe automática para identificar patróns e tendencias. En función destas tendencias, o sistema prevé eventos que poidan ocorrer no futuro. Estas mensaxes indican a necesidade de tomar medidas antes de que os valores métricos se desvíen dos valores normais e afecten aos servizos comerciais críticos. Os coñecementos preditivos móstranse na seguinte figura.

E esta é unha visualización de avisos preditivos para unha métrica específica.

Previsión da carga de potencia de cálculo coa función de establecer escenarios de carga

A planificación da capacidade de Capacity Analytics axúdache a xestionar os teus recursos de TI, garantindo que os recursos teñan o tamaño adecuado para satisfacer as necesidades empresariais actuais e futuras. Será capaz de optimizar a produtividade e eficiencia dos recursos existentes, planificar e xustificar calquera investimento financeiro.

A función Análise de capacidade en DX OI ofrece os seguintes beneficios:

• Capacidade de predición durante as estacións punta;
• Determinar o momento no que son necesarios recursos adicionais para garantir un funcionamento de alta calidade do servizo;
• Compra de recursos adicionais só cando sexa necesario;
• Xestión eficaz de infraestruturas e redes;
• Eliminar custos enerxéticos innecesarios identificando recursos infrautilizados;
• Realización de avaliacións de carga de recursos no caso dun aumento previsto na demanda dun servizo ou recurso.

A páxina Capacity Analytics DX OI (que se mostra a continuación) ten os seguintes widgets:

• Estado da capacidade dos recursos;
• Grupos/Servizos Vixiados;
• Consumidores de máxima capacidade.

A páxina principal de Análises de capacidade mostra os compoñentes dos recursos que se sobreutilizan e que se quedan sen capacidade. Esta páxina axuda aos administradores da plataforma a atopar recursos usados ​​en exceso e axúdalles a redimensionar e optimizar os recursos. O estado dos recursos pódese analizar en función dos códigos de cores e dos seus significados correspondentes. Os recursos clasifícanse en función do seu nivel de conxestión na páxina de estado da capacidade do recurso. Podes facer clic en cada cor para ver unha lista de compoñentes incluídos na categoría seleccionada. A continuación, mostrarase un mapa de calor con todos os obxectos e previsións durante 12 meses, que permite identificar os recursos que están a piques de esgotar.

Para cada unha das métricas de Capacity Analytics, pode especificar filtros que DX Operational Intelligence utiliza para facer previsións (figura a continuación).

Os seguintes filtros están dispoñibles:

• Métrico. A métrica que se utilizará para a previsión.
• Basearse en. Seleccionando a cantidade de datos históricos que se utilizarán para facer previsións para o futuro. Este campo utilízase para comparar e analizar tendencias do último mes, tendencias dos últimos 3 meses, tendencias do ano, etc.
• Crecemento. A taxa de crecemento esperada da carga de traballo que quere utilizar para modelar a súa previsión de enerxía. Estes datos pódense usar para prever o crecemento máis aló das proxeccións. Por exemplo, espérase que o uso de recursos aumente outro 40 por cento debido á apertura dunha nova oficina.

Análise de rexistro

A función de análise de rexistro de DX OI ofrece:

• recollida e agregación de rexistros de diferentes fontes (incluíndo os obtidos por métodos axentes e non axentes);
• análise e normalización de datos;
• análise para o cumprimento das condicións establecidas e xeración de eventos;
• correlación de eventos baseada en rexistros, incluídos os eventos obtidos como resultado do seguimento da infraestrutura de TI;
• visualización de datos baseada na análise en DX Dashboards;
• conclusións sobre a dispoñibilidade do servizo baseadas na análise dos datos dos rexistros.

O sistema realiza a recollida de rexistros mediante un método sen axentes para os rexistros de eventos de Windows e Syslog. Os rexistros de texto recóllense mediante un método de axente.

Función de resolución de emerxencias automatizada (Remediación)

As accións automatizadas para corrixir unha situación de emerxencia (Remediation Workflow) permiten resolver os problemas que provocaron a xeración dun evento en DX OI. Por exemplo, un problema de uso da CPU xera unha mensaxe de alarma, o fluxo de traballo de corrección resolve o problema reiniciando o servidor onde se produciu o problema. A integración entre DX OI e o sistema de automatización permítelle executar procesos de corrección desde a consola de eventos en DX Operational Intelligence e supervisalos na consola de automatización.

Unha vez integrado co sistema de automatización, pode activar accións automáticas para corrixir calquera situación de alarma na consola DX OI dende o contexto da mensaxe de alarma. Podes ver as accións recomendadas xunto coa información sobre a porcentaxe de confianza (a probabilidade de resolver a situación tomando a acción).

Inicialmente, cando non hai estatísticas sobre os resultados do fluxo de traballo de corrección, o motor de recomendación suxire opcións potenciais baseadas nas buscas de palabras clave, despois utilízanse resultados de aprendizaxe automática e o motor comeza a recomendar unha técnica de corrección baseada en heurísticas. Unha vez que comeces a avaliar os resultados dos consellos que recibes, mellorará a precisión das túas recomendacións.

Un exemplo de feedback do usuario: o usuario selecciona se lle gusta ou non a acción proposta, e o sistema ten en conta esta elección á hora de facer máis recomendacións. Gústame/Non me gusta:

As accións correctoras recomendadas para unha alarma en particular baséanse nunha combinación de comentarios que determinan se a acción é aceptable. DX OI inclúe unha integración lista para usar con Automic Automation.

Integración de DX OI con sistemas de terceiros

Non nos detendremos en detalle na integración de datos dos produtos de monitorización nativos de Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). En cambio, vexamos como se integran os datos de sistemas de terceiros e vexamos un exemplo de integración cun dos sistemas máis populares: Zabbix.

Para a integración con sistemas de terceiros, utilízase o compoñente DX Gateway. DX Gateway consta de 3 compoñentes: On-Prem Gateway, RESTmon e Log Collector (Logstash). Podes instalar os 3 compoñentes ou só o que necesites cambiando o ficheiro de configuración xeral ao instalar DX Gateway. A seguinte figura mostra a arquitectura DX Gateway.

Vexamos o propósito dos compoñentes de DX Gateway por separado.

Pasarela On-Prem. Esta é a interface que recolle alarmas da plataforma DX e envía eventos de alarma a sistemas de terceiros. On-Prem Gateway actúa como un sondeador que recolle periodicamente datos de eventos do DX OI mediante a API de solicitude HTTPS e, a continuación, envía alertas a un servidor de terceiros que está integrado coa plataforma DX mediante webhooks.

Recolector de rexistros DX recibe syslog de dispositivos ou servidores de rede e cárgaos a OI. DX Log Collector permítelle separar o software que xera as mensaxes, o sistema que as almacena e o software que as informa e analiza. Cada mensaxe está etiquetada cun código de entidade que indica o tipo de software que xera a mensaxe e se lle asigna un nivel de gravidade. Podes ver todo isto máis tarde en DX Dashboards.

DX RESTmon intégrase con produtos/servizos de terceiros a través da API REST e transmite datos a OI. A seguinte figura mostra o diagrama de funcionamento de DX RESTmon usando o exemplo de integración cos sistemas de monitorización Solarwinds e SCOM.

Características principais de DX RESTmon:

• Conéctate a calquera fonte de datos de terceiros para recibir datos:
  • PULL: conectar e recuperar datos das API REST públicas;
  • PUSH: fluxo de datos a RESTmon a través de REST.
• Soporte para formatos JSON e XML;
• Inxerir métricas, alertas, grupos, topoloxía, inventario e rexistros;
• Conectores preparados para varias ferramentas/tecnoloxías; tamén é posible desenvolver un conector para calquera fonte cunha API aberta (a lista de conectores en caixa está na figura a continuación);
• Soporte para a autenticación básica (predeterminada) ao acceder á interface e á API de Swagger;
• Compatibilidade con HTTPS (por defecto) para todas as mensaxes entrantes e saíntes;
• Soporte para proxies entrantes e saíntes;
• Poderosas capacidades de análise de texto para os rexistros recibidos a través de REST;
• Análise personalizable con RESTmon para unha análise e visualización eficiente dos rexistros;
• Soporte para extraer información do grupo de dispositivos das aplicacións de monitorización e cargar en OI para a súa análise e visualización;
• Soporte para a correspondencia de expresións regulares. Isto pódese usar para analizar e facer coincidir as mensaxes de rexistro recibidas a través de REST e para xerar ou pechar eventos en función de determinadas condicións de expresión regular.

Agora vexamos o proceso de configuración da integración de DX OI con Zabbix a través de DX RESTmon. A integración en caixa toma os seguintes datos de Zabbix:

• datos de inventario;
• topoloxía;
• Problemas;
• métricas.

Dado que o conector para Zabbix está dispoñible fóra da caixa, todo o que tes que facer para configurar a integración é actualizar o teu perfil co enderezo IP e a conta da API do servidor Zabbix e, a continuación, cargar o perfil a través da interface web de Swagger. Un exemplo nas dúas imaxes seguintes.

Despois de configurar a integración, as funcións analíticas de DX OI descritas anteriormente estarán dispoñibles para os datos procedentes de Zabbix, a saber: Análise de alarmas, Análise de rendemento, Insights preditivos, Análise de servizos e Remediación. A figura seguinte mostra un exemplo de análise de métricas de rendemento para obxectos integrados desde Zabbix.

Conclusión

DX OI é unha ferramenta de análise moderna que proporcionará unha eficiencia operativa significativa aos departamentos de TI, permitindo que se tomen decisións máis rápidas e correctas para mellorar a calidade dos servizos de TI e empresariais a través da análise contextual entre dominios. Para os propietarios de aplicacións e unidades de negocio, DX OI calculará o indicador de dispoñibilidade e a calidade dos servizos non só no contexto dos indicadores tecnolóxicos de TI, senón tamén nos KPIs comerciais extraídos das estatísticas transaccionais dos usuarios finais.

Se desexa obter máis información sobre esta solución, envíe unha solicitude de demostración ou piloto dun xeito conveniente para ti na nosa páxina web.

Fonte: www.habr.com