Neste setembro, a Broadcom (ex-CA) lançou a nova versão 20.2 de sua solução DX Operations Intelligence (DX OI). No mercado, esse produto é posicionado como um sistema de monitoramento abrangente. O sistema é capaz de coletar e consolidar dados de sistemas de monitoramento de diferentes domínios (rede, infraestrutura, aplicativos, bancos de dados), tanto da CA quanto de fornecedores terceiros, incluindo soluções de código aberto (Zabbix, Prometheus e outros).

A principal função do DX OI é criar um modelo de serviço de recursos (MSR) completo com base em unidades de configuração (UC), que alimentam a base de inventário na integração com sistemas externos. No DX OI, estão implementadas funções de Aprendizado de Máquina e Inteligência Artificial (ML e AI) sobre os dados que entram na plataforma, permitindo avaliar/predictar a probabilidade de falhas de uma UC específica e o impacto dessas falhas no serviço de negócios que depende dessa UC. Além disso, o DX OI é um ponto único de coleta de eventos de monitoramento e, consequentemente, de integração com o sistema Service Desk, o que é uma vantagem inegável do uso do sistema em centros de monitoramento unificados operados por turnos de organizações. Neste artigo, falaremos mais sobre as funcionalidades do sistema e mostraremos as interfaces de usuário e administrador.
Arquitetura da solução DX OI
A plataforma DX possui uma arquitetura de microsserviços, instalada e operando sob Kubernetes ou OpenShift. Na próxima ilustração estão os componentes da solução, que podem ser utilizados como ferramentas de monitoramento independentes ou podem ser substituídos por sistemas de monitoramento já existentes com funções semelhantes (na imagem estão exemplos desses sistemas) e depois conectados ao guarda-chuva DX OI. No diagrama abaixo:
- Monitoramento de aplicativos móveis no DX App Experience Analytics;
- Monitoramento de desempenho de aplicativos no DX APM;
- Monitoramento de infraestrutura no DX Infrastructure Manager;
- Monitoramento de dispositivos de rede no DX NetOps Manager.

Os componentes DX operam sob a gestão de um cluster Kubernetes e podem ser escalados simplesmente iniciando novos PODs. Abaixo está o esquema de alto nível da solução.

A administração, escalabilidade e atualização da plataforma DX são realizadas no console de administração. A partir de um único console, é possível gerenciar uma arquitetura multi-tenant que pode abranger várias empresas ou várias unidades de negócios dentro de uma empresa. Nesse modelo, cada empresa pode ser configurada individualmente como um inquilino com seu próprio conjunto de configurações.
O console de administração é uma ferramenta web para gerenciar operações e sistemas, que fornece aos administradores uma interface unificada e consistente para executar tarefas de gerenciamento de cluster de monitoramento.

Novos inquilinos para unidades de negócios ou empresas dentro da companhia são implantados em questão de minutos. Isso traz uma vantagem se você quiser ter um único sistema de monitoramento, mas ao mesmo tempo delimitar os objetos de monitoramento entre os departamentos em nível de plataforma (e não de direitos de acesso).

Modelos de serviços e monitoramento de serviços de negócios
O DX OI possui mecanismos embutidos para criar serviços e desenvolver modelos clássicos de RSM definindo a lógica de influência e pesos entre os componentes do serviço. Também existem mecanismos para exportar RSM de um CMDB externo. Na figura abaixo, o editor de RSM embutido (note os pesos das conexões).

O DX OI fornece uma visão abrangente dos principais indicadores de desempenho dos serviços de negócios ou serviços de TI com detalhes, incluindo a disponibilidade dos serviços e a previsão de riscos de falha. A ferramenta também pode oferecer insights sobre o impacto de problemas de desempenho ou mudanças na estrutura dos componentes de TI (aplicações ou infraestrutura) sobre o serviço de negócios. Na figura abaixo, um painel interativo mostrando o estado de todos os serviços.

Vamos considerar os detalhes usando o exemplo do serviço Digital Banking. Ao clicar no nome do serviço, acessamos o RSM detalhado do serviço. Observamos que o status do serviço Digital Banking depende do estado dos subsserviços de infraestrutura e transacionais com diferentes pesos. Trabalhar com pesos e sua exibição é uma vantagem interessante do DX OI.

A topologia é um elemento importante no monitoramento operacional da empresa, permitindo que operadores e engenheiros analisem as inter-relações entre os componentes, encontrem a causa raiz e entendam a influência.
O Visualizador de Topologia DX OI é um serviço que utiliza dados de topologia provenientes de sistemas de monitoramento de domínio que coletam dados diretamente de objetos de monitoramento. A ferramenta é destinada à busca em várias camadas de armazenamento de topologia e à exibição de um mapa de relações contextuais. Para investigar problemas, é possível acessar o subserviço problemático Backend Banking e visualizar a topologia e os componentes problemáticos. Também é possível analisar mensagens de falha e métricas de desempenho para cada componente.

Ao analisar os componentes transacionais de Pagamentos (transações de usuários), podemos monitorar os valores dos KPIs de negócios, que também são considerados no cálculo do status de disponibilidade e saúde do serviço. Um exemplo de KPI de negócios é apresentado abaixo:


Análise de Eventos (Alarm Analytics)
Supressão de Ruído Algorítmica por meio de Agrupamento de Falhas
Uma das principais funcionalidades do DX OI ao processar eventos é o agrupamento. O mecanismo trabalha em todos os avisos que entram no sistema para identificar padrões com base em diferentes contextos e agrupá-los. Esses clusters são autoaprendizes e não precisam ser configurados manualmente.

Assim, o agrupamento permite que os usuários unam e agreguem uma enorme quantidade de eventos, analisando apenas aqueles que compartilham um contexto comum. Por exemplo, um conjunto de eventos que representa um incidente afetando o funcionamento de aplicativos ou de um centro de dados. As situações são criadas utilizando algoritmos de agrupamento baseados em aprendizado de máquina, que analisam correlação temporal, inter-relações topológicas e processamento de linguagem natural. Nas ilustrações abaixo, são apresentados exemplos de visualização de grupos de mensagens agrupadas, chamados de Alarmes de Situações, e Linha do Tempo de Evidências, que exibem os principais parâmetros de agrupamento e o processo de redução de eventos ruidosos.


Análise de Problemas Raiz e Correlação de Falhas
Em um ambiente híbrido moderno, a transação do usuário pode abranger vários sistemas que são utilizados de maneira dinâmica. Como resultado, podem ser gerados vários alertas de diferentes sistemas, mas relacionados ao mesmo problema ou incidente. O DX OI utiliza mecanismos patenteados para suprimir alertas redundantes e duplicados, além de correlacionar alertas relacionados para melhorar a detecção de problemas críticos e acelerar a resolução.
Vamos analisar um exemplo em que diversos alertas de emergência são enviados para o sistema sobre diferentes objetos (CE) que estão na base de um único serviço. No caso de impacto na disponibilidade e funcionalidade do serviço, o sistema gerará um alerta de serviço (Service Alarm), indicando e assinalando a provável causa raiz (CE problemático e alerta de emergência do CE) que contribuiu para a diminuição do desempenho ou falha do serviço. A imagem abaixo apresenta uma visualização da situação de emergência para o serviço Webex.

O DX OI permite trabalhar com eventos por meio de ações intuitivas na interface web do sistema. Os usuários podem atribuir manualmente eventos a um funcionário responsável para resolução de problemas, resetar/confirmar alertas, criar requisições ou enviar notificações por e-mail, além de executar scripts automatizados para remediar a situação de emergência (Remediation Workflow, sobre isso mais adiante). Dessa forma, o DX OI permite que os operadores de plantão se concentrem na mensagem de emergência raiz, além de ajudar a simplificar o processo de triagem de mensagens em matrizes de clusters.
Algoritmos de máquina para processamento de métricas e análise de dados de desempenho
O aprendizado de máquina permite acompanhar, agregar e visualizar indicadores-chave de desempenho ao longo de qualquer período específico, proporcionando ao usuário as seguintes vantagens:
- Detecção de gargalos e anomalias de desempenho;
- Comparação de vários indicadores para os mesmos dispositivos, interfaces ou redes;
- Comparação de indicadores iguais em vários objetos;
- Comparação de diferentes indicadores em um ou vários objetos;
- Comparação de métricas multidimensionais em diversos objetos.
Para a análise das métricas que chegam ao sistema, o DX OI utiliza funções de análise de máquina com a aplicação de algoritmos matemáticos, o que ajuda a reduzir o tempo na configuração de limites estáticos e na geração de alertas quando ocorrem anomalias.

O resultado da aplicação de algoritmos matemáticos é a construção das chamadas distribuições probabilísticas dos valores das métricas (Raro, Provável, Centro, Médio, Atual). Nas figuras acima e abaixo, estão apresentadas as distribuições probabilísticas.

Nos dois gráficos acima estão representados os seguintes dados:
- Dados reais (Atual). Os dados reais são exibidos no gráfico como uma linha preta sólida (sem sinais de alerta) ou uma linha sólida colorida (estado de alerta). A linha é calculada com base nos dados reais da métrica. Comparando os dados reais e o valor mediano, você pode rapidamente ver as variações da métrica. Quando um evento ocorre, a linha preta muda para uma linha sólida colorida, que corresponde à criticidade do evento e exibe ícones com a criticidade correspondente acima do gráfico. Por exemplo, vermelho para uma anomalia crítica, laranja para uma anomalia significativa e amarelo para uma anomalia menor.
- Valor médio da métrica (Valor médio). O valor médio ou a média para a métrica é mostrado no gráfico por uma linha cinza. O valor médio é exibido quando há falta de dados históricos.
- Valor mediano da métrica (Valor central). A linha mediana é o meio do intervalo e é mostrada por uma linha pontilhada verde. As zonas mais próximas a essa linha são as que mais se aproximam dos valores típicos da métrica.
- Dados comuns (Valor Comum). Os dados da zona comum monitoram a linha central ou norma mais próxima para sua métrica e são exibidos como uma faixa verde-escura. Cálculos analíticos colocam a zona comum em um percentil acima ou abaixo da norma.
- Dados probabilísticos. Os dados da zona probabilística são mostrados no gráfico como uma faixa verde. O sistema coloca a zona probabilística em dois percentis acima ou abaixo da norma.
- Dados raros. Os dados sobre zonas raras são apresentados no gráfico como uma faixa verde-clara. O sistema coloca uma zona com valores raros da métrica três percentis acima ou abaixo da norma e sinaliza o comportamento do indicador fora do intervalo normal, gerando assim um Alerta de Anomalia.
Uma anomalia é uma medição ou evento que não é compatível com os padrões normais da métrica. A detecção de anomalias para identificar problemas e entender tendências na infraestrutura e aplicações é uma característica fundamental do DX OI. Detectar anomalias permite reconhecer comportamentos incomuns (como um servidor que responde mais devagar do que o normal ou atividade de rede incomum causada por uma invasão) e responder adequadamente (abrindo um incidente, iniciando um script automático de Remediação).
A função de detecção de anomalias do DX OI oferece as seguintes vantagens:
- Não é necessário definir valores de limite. O DX OI mapeia os dados e identifica anomalias por conta própria.
- O DX OI inclui mais de dez algoritmos de inteligência artificial e aprendizado de máquina, incluindo EWMA (Média Móvel Ponderada Exponencialmente) e KDE (Estimativa de Densidade do Núcleo). Esses algoritmos possibilitam realizar uma análise rápida das causas raízes e prever valores futuros das métricas.
Análise preditiva e alertas sobre possíveis falhas
Predictive Insights é uma função que utiliza as capacidades de aprendizado de máquina para identificar padrões e tendências. Com base nessas tendências, o sistema prevê eventos que podem ocorrer no futuro. Essas notificações indicam a necessidade de tomada de ação antes que os valores das métricas excedam limites normais, afetando serviços críticos para o negócio. O Predictive Insights é ilustrado na figura abaixo.

Esta é uma visualização de alertas preditivos para uma métrica específica.

Previsão de carga de capacidade computacional com função de definição de cenários de carga
A função de planejamento de capacidade, Capacity Analytics, ajuda a gerenciar recursos de TI, garantindo o dimensionamento correto dos recursos para atender às necessidades atuais e futuras do negócio. Você poderá otimizar o desempenho e a eficiência dos recursos existentes, planejar e justificar qualquer investimento financeiro.
A função Capacity Analytics no DX OI oferece as seguintes vantagens:
- Previsão de capacidade durante períodos de pico;
- Identificação do momento em que recursos adicionais serão necessários para garantir o funcionamento de qualidade do serviço;
- Aquisição de recursos adicionais apenas quando necessário;
- Gestão eficaz da infraestrutura e redes;
- Eliminação de custos excessivos com energia elétrica por meio da identificação de recursos subutilizados;
- Realização de avaliação da carga sobre os recursos em caso de aumento planejado da demanda pelo serviço ou recurso.
Na página Capacity Analytics DX OI (imagem abaixo), existem os seguintes widgets:
- Estado da capacidade do recurso (Resource Capacity Status);
- Grupos/serviços monitorados (Monitored Groups/Services);
- Principais consumidores de recursos (Top Capacity Consumers).

A página principal do Capacity Analytics mostra os componentes de recursos que estão sobrecarregados e que estão com capacidade prestes a se esgotar. Esta página ajuda os administradores da plataforma a identificar recursos excessivamente utilizados e auxilia na redimensionamento e otimização dos recursos. O estado dos recursos pode ser analisado com base em códigos de cores e seus respectivos valores. Os recursos são classificados com base no grau de sobrecarga na página de estado da capacidade dos recursos. É possível clicar em cada uma das cores para visualizar uma lista dos componentes que pertencem à categoria selecionada. Em seguida, será exibido um mapa de calor com todos os objetos e previsões para os próximos 12 meses, permitindo identificar os recursos que em breve estarão esgotados.

Para cada uma das métricas no Capacity Analytics, é possível definir filtros que a DX Operational Intelligence utiliza para fazer previsões (imagem abaixo).

Os seguintes filtros estão disponíveis:
- Métrica. Métrica que será utilizada para a previsão.
- Base on. Seleção do volume de dados históricos que serão utilizados para construir previsões futuras. Este campo é usado para comparar e analisar tendências do último mês, tendências dos últimos 3 meses, tendências do ano, etc.
- Crescimento. A velocidade esperada de crescimento da carga de trabalho que você deseja usar para modelar a previsão de capacidade. Esses dados podem ser usados para prever o crescimento além das previsões. Por exemplo, espera-se que o uso do recurso aumente em mais 40% devido à abertura de um novo escritório.
Análise de logs
A funcionalidade de análise de logs DX OI fornece:
- coleta e agregação de logs de diferentes fontes (incluindo os recebidos por métodos com e sem agente);
- análise e normalização de dados;
- análise de conformidade com as condições estabelecidas e geração de eventos;
- correlação de eventos com base em logs, incluindo eventos recebidos como resultado do monitoramento da infraestrutura de TI;
- visualização de dados com base na análise em DX Dashboards;
- conclusões sobre a disponibilidade de serviços com base na análise de dados dos logs.

A coleta de logs por método sem agente é realizada pelo sistema para Windows Event logs e Syslog. Logs textuais são coletados de forma agente.
Funcionalidade de resolução automatizada de incidentes (Remediation)
Ações automatizadas para corrigir incidentes (Remediation Workflow) permitem resolver problemas que causaram a geração de um evento em DX OI. Por exemplo, um problema no carregamento da CPU gera uma mensagem de incidente, e o processo de correção (Remediation Workflow) resolve o problema reiniciando o servidor que apresentou a falha. A integração entre DX OI e o sistema de automação permite acionar processos de correção a partir do console de eventos no DX Operational Intelligence e monitorá-los no console do sistema de automação.
Após a integração com o sistema de automação, é possível iniciar ações automáticas para corrigir qualquer incidente no console DX OI a partir do contexto de uma mensagem de incidente. Você pode visualizar as ações recomendadas junto com informações sobre a porcentagem de confiabilidade (probabilidade de resolução da situação através da ação).


Inicialmente, quando não há estatísticas sobre os resultados da execução do Remediation Workflow, o mecanismo de recomendações oferece opções potenciais com base em busca, por palavras-chave; em seguida, são utilizados resultados de aprendizado de máquina, e o mecanismo começa a recomendar metodologias de correção com base em heurísticas. Assim que você começar a avaliar os resultados das sugestões recebidas, a precisão das recomendações melhorará.

Exemplo de feedback do usuário: o usuário escolhe a ação proposta que gostou ou não, e o sistema leva em conta essa escolha nas recomendações futuras. Curtir/descurtir:

As ações corretivas recomendadas para uma preocupação específica são baseadas em uma combinação de feedback que determina se a ação é aceitável. O DX OI vem com integração pronta com o sistema de automação Automic Automation.
Integração do DX OI com sistemas externos
Não vamos nos aprofundar na integração de dados de produtos nativos de monitoramento da Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Em vez disso, vamos analisar como os dados são integrados de sistemas de terceiros e examinar um exemplo de integração com um dos sistemas mais populares — Zabbix.
Para a integração com sistemas externos, é utilizado o componente DX Gateway. O DX Gateway consiste em 3 componentes — On-Prem Gateway, RESTmon e Log Collector (Logstash). Você pode instalar todos os 3 componentes ou apenas aquele que precisa, alterando o arquivo de configuração principal durante a instalação do DX Gateway. Abaixo está a arquitetura do DX Gateway.

Vamos considerar a função dos componentes do DX Gateway separadamente.
On-Prem Gateway. É a interface que coleta sinais de alarme da plataforma DX e envia eventos de falha para sistemas externos. O On-Prem Gateway atua como um poller, que periodicamente coleta dados de eventos do DX OI, usando chamadas de API pelo protocolo HTTPS, e depois envia alertas para um servidor externo que está integrado à plataforma DX usando webhooks.

DX Log Collector recebe syslog de dispositivos de rede ou servidores e os carrega no OI. O DX Log Collector permite separar o software que gera mensagens, o sistema que as armazena e o software que relata e analisa. Cada mensagem é marcada com um código de objeto que indica o tipo de software que gerou a mensagem, e recebe um nível de criticidade. Tudo isso pode ser visualizado depois no DX Dashboards.
DX RESTmon integra-se com produtos/serviços de terceiros através da API REST e transporta dados para o OI. Abaixo está um esquema do funcionamento do DX RESTmon, exemplificando a integração com sistemas de monitoramento Solarwinds e SCOM.

Principais funções do DX RESTmon:
- Conexão com qualquer fonte externa de dados para recepção de dados:
- PULL: conexão e extração de dados de APIs REST públicas;
- PUSH: fluxo de dados para o RESTmon via REST.
- Suporte para formatos JSON e XML;
- Recepção de métricas, alertas, grupos, topologia, inventário e logs;
- Conectores prontos para diversas ferramentas/tecnologias, sendo possível também desenvolver um conector para qualquer fonte com API aberta (lista de conectores prontos na imagem abaixo);
- Suporte para autenticação básica (por padrão) ao acessar a interface Swagger e API;
- Suporte para HTTPS (por padrão) para todas as mensagens de entrada e saída;
- Suporte para proxies de entrada e saída;
- Poderosas capacidades de análise sintática para logs recebidos através do REST;
- Análise sintática personalizável com RESTmon, garantindo uma análise e visualização eficaz de logs;
- Suporte para extração de informações sobre grupos de dispositivos de aplicativos de monitoramento e carregamento no OI para análise e visualização;
- Suporte para correspondência com expressões regulares. Isso pode ser usado para análise sintática e correspondência de mensagens de logs recebidas via REST, bem como para geração ou encerramento de eventos com base em determinadas condições de expressão regular.

Agora, vejamos o processo de configuração da integração do DX OI com o Zabbix via DX RESTmon. A integração pronta coleta os seguintes dados do Zabbix:
- dados de inventário;
- topologia;
- problemas;
- métricas.
Como o conector para Zabbix está disponível 'pronto para uso', tudo o que precisa ser feito para configurar a integração é atualizar o perfil, especificando o endereço IP do servidor API do Zabbix e a conta, e então carregar o perfil através da interface web Swagger. Exemplo nas duas imagens seguintes.


Após a configuração da integração, as funções analíticas do DX OI descritas acima estarão disponíveis para os dados que chegam do Zabbix, especificamente: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics e Remediation. Na imagem abaixo, um exemplo de análise de métricas de desempenho dos objetos integrados do Zabbix.

Conclusão
DX OI — uma ferramenta moderna de análise que garantirá uma significativa eficiência operacional para departamentos de TI, permitindo tomar decisões mais rápidas e corretas para melhorar a qualidade dos serviços de TI e dos serviços de negócios por meio de uma análise contextual interdomínio. Para proprietários de aplicativos e departamentos de negócios, o DX OI calculará a disponibilidade e a qualidade dos serviços não apenas no contexto de indicadores tecnológicos de TI, mas também de KPI de negócios, extraídos de estatísticas transacionais de usuários finais.
Se você quiser saber mais sobre esta solução, deixe seu pedido para uma demonstração ou projeto piloto em nosso site.
Fonte: habr.com
