Questo settembre, Broadcom (ex CA) ha rilasciato la nuova versione 20.2 della sua soluzione DX Operations Intelligence (DX OI). Sul mercato, questo prodotto è posizionato come un sistema di monitoraggio ombrello. Il sistema è in grado di ricevere e aggregare dati da sistemi di monitoraggio di vari domini (rete, infrastruttura, applicazioni, database) sia di CA che di fornitori terzi, inclusi soluzioni open source (Zabbix, Prometheus e altri).

La funzione principale di DX OI è la creazione di un modello completo di risorse e servizi (RSM) basato su unità di configurazione (CU) che riempiono la base di inventario durante l'integrazione con sistemi esterni. In DX OI sono implementate funzioni di Machine Learning e Artificial Intelligence (ML e AI) sui dati in arrivo nella piattaforma, il che consente di valutare/prevedere la probabilità di guasto di una specifica CU e il grado di impatto di tale guasto sul business service associato a quella CU specifica. Inoltre, DX OI funge da punto unico di raccolta degli eventi di monitoraggio e, di conseguenza, di integrazione con il sistema Service Desk, che rappresenta un vantaggio indiscutibile nell'utilizzo del sistema nei centri di monitoraggio unificati da parte dei turni di guardia delle organizzazioni. In questo articolo parleremo più dettagliatamente delle funzionalità del sistema e mostreremo le interfacce utente e amministratore.

Architettura della soluzione DX OI

La piattaforma DX è basata su un'architettura a microservizi, installata e operante sotto Kubernetes o OpenShift. Nella figura seguente sono mostrati i componenti della soluzione, utilizzabili come strumenti di monitoraggio indipendenti o sostituiti con sistemi di monitoraggio preesistenti che offrono funzionalità simili (nella figura sono presenti esempi di tali sistemi), per poi collegarsi al sistema DX OI. Nello schema sottostante:

• Monitoraggio delle applicazioni mobili in DX App Experience Analytics;
• Monitoraggio delle prestazioni delle applicazioni in DX APM;
• Monitoraggio dell'infrastruttura in DX Infrastructure Manager;
• Monitoraggio dei dispositivi di rete in DX NetOps Manager.

I componenti DX operano sotto il controllo di un cluster Kubernetes e si scalano semplicemente avviando nuovi POD. Di seguito è mostrato uno schema di alto livello della soluzione.

L'amministrazione, la scalabilità e l'aggiornamento della piattaforma DX avvengono nella console di amministrazione. Da un'unica console è possibile gestire un'architettura multitenant che può comprendere più aziende o diverse unità aziendali all'interno della stessa società. In questo modello, ogni azienda può essere configurata individualmente come locatario con il proprio set di configurazioni.

La console di amministrazione è uno strumento web per gestire le operazioni e il sistema, fornendo agli amministratori un'interfaccia unificata coerente per svolgere attività di gestione del cluster di monitoraggio.

Nuovi tenant per le unità aziendali o le aziende all'interno della società vengono implementati in pochi minuti. Questo offre un vantaggio se si desidera avere un sistema di monitoraggio unificato, ma separare gli oggetti di monitoraggio tra le divisioni a livello di piattaforma (e non di diritti di accesso).

Modelli di servizi e risorse e monitoraggio dei servizi aziendali

DX OI ha meccanismi integrati per creare servizi e sviluppare modelli di servizio classici con definizione della logica di influenza e pesi tra i componenti del servizio. Sono inoltre disponibili meccanismi per l'esportazione dei modelli di servizio da un CMDB esterno. Nella figura sottostante, l'editor integrato dei modelli di servizio (si prega di notare i pesi delle connessioni).

DX OI fornisce una visione complessiva delle metriche chiave per il funzionamento dei servizi aziendali o dei servizi IT con dettagli, compresa la disponibilità dei servizi e la previsione dei rischi di guasto. Lo strumento può anche fornire una comprensione dell'impatto di un problema di performance o di una modifica nella struttura dei componenti IT (applicazioni o infrastrutture) sui servizi aziendali. Nella figura sottostante, un dashboard interattivo che mostra lo stato di tutti i servizi.

Consideriamo i dettagli prendendo come esempio il servizio Digital Banking. Cliccando sul nome del servizio, si accede al modello di servizio dettagliato. Vediamo che lo stato del servizio Digital Banking dipende dallo stato dei sottoservizi infrastrutturali e transazionali con pesi differenti. Lavorare con i pesi e il loro display è un interessante vantaggio di DX OI.

La topologia è un elemento chiave nel monitoraggio operativo dell'azienda, consentendo agli operatori e agli ingegneri di analizzare le interconnessioni tra i componenti, individuando la causa principale e l'impatto.

DX OI Topology Viewer è un servizio che utilizza i dati topologici provenienti dai sistemi di monitoraggio a dominio, che raccolgono dati direttamente dagli oggetti di monitoraggio. Questo strumento è progettato per esplorare diversi livelli del repository della topologia e visualizzare una mappa delle relazioni contestualmente rilevante. Per indagare su problemi, è possibile accedere al servizio Backend Banking e vedere la topologia e i componenti problematici. Inoltre, per ogni componente, è possibile analizzare i messaggi di errore e le metriche di prestazione.

Analizzando i componenti transazionali dei Pagamenti (transazioni degli utenti), possiamo monitorare i valori KPI aziendali che sono anche presi in considerazione per il calcolo dello stato di disponibilità e salute del servizio. Un esempio di KPI aziendale è riportato di seguito:

Analitica degli eventi (Alarm Analytics)

Soppressione del rumore algoritmica tramite clusterizzazione di errori

Una delle funzioni chiave di DX OI nella gestione degli eventi è la clusterizzazione. Il meccanismo lavora su tutte le notifiche ricevute nel sistema per identificare modelli basati su diversi contesti e raggrupparli. Questi cluster sono auto-apprendenti e non richiedono una configurazione manuale.

In questo modo, la clusterizzazione permette agli utenti di unire e raggruppare un'enorme quantità di eventi e analizzare solo quelli che condividono un contesto comune. Ad esempio, un insieme di eventi che rappresentano un incidente che influisce sul funzionamento di applicazioni o centri dati. Le situazioni sono create utilizzando algoritmi di clustering basati su machine learning, che analizzano la correlazione temporale, le relazioni topologiche e l'elaborazione del linguaggio naturale. Nelle immagini qui sotto sono forniti esempi di visualizzazione dei gruppi di messaggi clusterizzati, noti come Situations Alarms, e la Evidence Timeline, che mostrano le principali caratteristiche di raggruppamento e il processo di riduzione degli eventi di rumore.

Analisi delle cause profonde e correlazione degli incidenti

Nell'attuale ambiente ibrido, una transazione utente può coinvolgere più sistemi utilizzati dinamicamente. Ne risulta che possono essere generati diversi avvisi da sistemi diversi, ma riguardanti lo stesso problema o incidente. DX OI utilizza meccanismi brevettati per sopprimere avvisi ridondanti e duplicati e correlare avvisi correlati per migliorare il rilevamento dei problemi critici e accelerare la loro risoluzione.

Analizziamo un esempio in cui numerosi messaggi di emergenza vengono ricevuti dal sistema relativi a diversi oggetti (KE) alla base di un unico servizio. In caso di impatto sulla disponibilità e sulla funzionalità del servizio, il sistema genererà un allerta di servizio (Service Alarm), indicando e designando la probabile causa principale (KE problematico e messaggio di emergenza del KE) che ha contribuito alla riduzione delle prestazioni o al guasto del servizio. Nella figura sottostante è fornita una visualizzazione della situazione di emergenza per il servizio Webex.

DX OI consente di gestire eventi attraverso azioni intuitive nell'interfaccia web del sistema. Gli utenti possono assegnare manualmente eventi a un responsabile per la risoluzione dei problemi, ripristinare/confermare avvisi, creare ticket o inviare notifiche via email, avviare script automatizzati per la gestione di situazioni di emergenza (Remediation Workflow, di cui parleremo più avanti). In questo modo, DX OI consente agli operatori di turni di concentrarsi sul messaggio di emergenza principale e facilitare il processo di smistamento dei messaggi in cluster.

Algoritmi di machine learning per l'elaborazione delle metriche e l'analisi delle prestazioni

Il machine learning consente di monitorare, aggregare e visualizzare i principali indicatori di prestazione per qualsiasi periodo di tempo specifico, offrendo all'utente i seguenti vantaggi:

• Identificazione di colli di bottiglia e anomalie nella performance;
• Confronto di diversi indicatori per gli stessi dispositivi, interfacce o reti;
• Confronto degli stessi indicatori su più oggetti;
• Confronto di vari indicatori su uno o più oggetti;
• Confronto di metriche multidimensionali su più oggetti.

Per analizzare le metriche che entrano nel sistema, DX OI utilizza funzioni di analisi automatica con l'uso di algoritmi matematici, il che contribuisce a ridurre il tempo di configurazione delle soglie statiche e la generazione di avvisi in caso di anomalie.

Il risultato dell'applicazione degli algoritmi matematici è la costruzione di cosiddetti distribuzioni probabilistiche del valore della metrica (Rare, Probable, Center, Mean, Actual). Nei grafici sopra e sotto sono rappresentate le distribuzioni probabilistiche.

Nei due grafici sopra sono visualizzati i seguenti dati:

• Dati effettivi (Actual). I dati reali sono visualizzati nel grafico come una linea nera continua (nessun segnale di allerta) o una linea continua colorata (stato di allerta). La linea è calcolata sulla base dei dati reali per la metrica. Confrontando i dati reali con il valore mediano, puoi rapidamente vedere le variazioni della metrica. Quando si verifica un evento, la linea nera cambia in una linea continua colorata, che corrisponde alla gravità dell'evento e mostra icone con la gravità corrispondente sopra il grafico. Ad esempio, il rosso per un'anomalia critica, l'arancione per un'anomalia significativa e il giallo per un'anomalia lieve.
• Valore medio. Il valore medio o la media per la metrica è rappresentato nel grafico con una linea grigia. La media è mostrata quando mancano dati storici.
• Valore mediano. La linea mediana è il centro dell'intervallo e viene mostrata come una linea verde tratteggiata. Le zone più vicine a questa linea sono le più vicine ai valori tipici della metrica.
• Valori comuni. I dati della zona totale monitorano il punto più vicino alla linea centrale o alla norma per il tuo indicatore e vengono visualizzati come una striscia verde scura. I calcoli analitici posizionano la zona totale a un percentile sopra o sotto la norma.
• Dati probabilistici. I dati della zona probabilistica sono mostrati sul grafico come una striscia verde. Il sistema posiziona la zona probabilistica a due percentili sopra o sotto la norma.
• Dati rari. I dati delle zone rare sono visualizzati nel grafico come una striscia verde chiara. Il sistema posiziona la zona con valori rari della metrica a tre percentili sopra o sotto la norma e segnala il comportamento dell'indicatore al di fuori dell'intervallo normale; in tal caso, il sistema genera un avviso di anomalia.

L'anomalia è una misurazione o un evento che non è compatibile con i normali parametri di riferimento della metrica. La rilevazione delle anomalie per identificare problemi e comprendere tendenze nell'infrastruttura e nelle applicazioni è una caratteristica chiave di DX OI. La rilevazione delle anomalie consente di riconoscere comportamenti insoliti (ad esempio, un server che risponde più lentamente del solito o un'attività di rete anomala causata da una violazione) e di rispondere di conseguenza (aprendo un incidente o avviando uno script automatico di rimedio).

La funzione di rilevamento delle anomalie di DX OI offre i seguenti vantaggi:

• Non è necessario impostare valori soglia. DX OI confronta autonomamente i dati e rileva le anomalie.
• DX OI include oltre dieci algoritmi di intelligenza artificiale e machine learning, tra cui EWMA (Media Mobile Ponderata Esponenzialmente) e KDE (Stima della Densità del Kernel). Questi algoritmi consentono un'analisi rapida delle cause e la previsione dei futuri valori delle metriche.

Analisi predittiva e avvisi sui potenziali guasti

Predictive Insights — una funzione che utilizza le capacità del machine learning per identificare schemi e tendenze. Sulla base di queste tendenze, il sistema prevede eventi che potrebbero verificarsi in futuro. Questi avvisi indicano la necessità di prendere provvedimenti prima che i valori delle metriche superino i limiti normali, influenzando i servizi aziendali critici. Predictive Insights è illustrato nella figura seguente.

E questa è la visualizzazione degli avvisi predittivi per una metrica specifica.

Previsione del carico delle risorse computazionali con la funzione di assegnazione degli scenari di carico.

La funzione di pianificazione delle risorse Capacity Analytics aiuta a gestire le risorse IT, assicurando la giusta dimensione delle risorse per soddisfare le esigenze aziendali attuali e future. Potrete ottimizzare le prestazioni e l'efficienza delle risorse esistenti, pianificare e giustificare qualsiasi investimento finanziario.

La funzione Capacity Analytics in DX OI offre i seguenti vantaggi:

• Previsione delle risorse nei periodi di punta;
• Identificazione del momento in cui sono necessarie risorse aggiuntive per garantire il corretto funzionamento del servizio;
• Acquisto di risorse aggiuntive solo quando necessario;
• Gestione efficace dell'infrastruttura e delle reti;
• Eliminazione di costi energetici eccessivi identificando le risorse non utilizzate;
• Esecuzione di una valutazione del carico delle risorse in caso di un aumento pianificato delle necessità del servizio o delle risorse.

Nella pagina Capacity Analytics DX OI (figura qui sotto) ci sono i seguenti widget:

• Stato della capacità delle risorse (Resource Capacity Status);
• Gruppi/servizi monitorati (Monitored Groups/Services);
• Principali consumatori di risorse (Top Capacity Consumers).

La pagina principale di Capacity Analytics mostra i componenti delle risorse che sono sovraccarichi e stanno esaurendo la loro capacità. Questa pagina aiuta gli amministratori della piattaforma a identificare le risorse utilizzate eccessivamente e a scalare e ottimizzare le stesse. Lo stato delle risorse può essere analizzato in base a codici colore e ai rispettivi valori. Le risorse sono classificate in base al grado di sovraccarico nella pagina di stato delle risorse. È possibile fare clic su ciascuno dei colori per visualizzare l'elenco dei componenti appartenenti alla categoria selezionata. Successivamente verrà visualizzata una mappa termica con tutti gli oggetti e le previsioni per i prossimi 12 mesi, consentendo di identificare le risorse che stanno per esaurirsi.

Per ciascuna delle metriche in Capacity Analytics è possibile specificare filtri che DX Operational Intelligence utilizza per generare previsioni (vedi figura sottostante).

Sono disponibili i seguenti filtri:

• Metrica. La metrica che sarà utilizzata per la previsione.
• Base su. Scelta del volume di dati storici da utilizzare per la creazione di previsioni future. Questo campo è usato per il confronto e l'analisi delle tendenze dell'ultimo mese, delle tendenze degli ultimi 3 mesi, delle tendenze annuali, ecc.
• Crescita. Velocità di crescita della carico di lavoro prevista, che desideri utilizzare per modellare la previsione della potenza. Questi dati possono essere utilizzati per prevedere una crescita oltre le previsioni. Ad esempio, si prevede che l'uso delle risorse aumenti ulteriormente del 40% a causa dell'apertura di un nuovo ufficio.

Analisi dei log

La funzione di analisi dei log DX OI fornisce:

• raccolta e aggregazione dei log da diverse fonti (compresi quelli ottenuti tramite agenti e in modo agentless);
• parsing e normalizzazione dei dati;
• analisi in base ai requisiti stabiliti e generazione di eventi;
• correlazione degli eventi basata sui log, compresi quelli ottenuti dal monitoraggio dell'infrastruttura IT;
• visualizzazione dei dati basata sull'analisi in DX Dashboards;
• conclusioni sulla disponibilità dei servizi basate sull'analisi dei dati dai log.

La raccolta dei log in modalità senza agente viene eseguita dal sistema per i log degli eventi di Windows e Syslog. In modalità con agente vengono raccolti log di testo.

Funzione di risoluzione automatizzata delle emergenze (Remediation)

Le azioni automatizzate per la risoluzione delle emergenze (Remediation Workflow) consentono di affrontare i problemi che hanno causato la generazione di un evento in DX OI. Ad esempio, un problema di caricamento della CPU genera un messaggio di emergenza; il processo di risoluzione (Remediation Workflow) affronta il problema riavviando il server su cui si è verificato. L'integrazione tra DX OI e il sistema di automazione consente di avviare processi di risoluzione dalla console eventi in DX Operational Intelligence e di monitorarli nella console del sistema di automazione.

Dopo l'integrazione con il sistema di automazione, è possibile avviare azioni automatiche di risoluzione per qualsiasi emergenza nella console DX OI dal contesto del messaggio di emergenza. Puoi visualizzare le azioni raccomandate insieme alle informazioni percentuali di attendibilità (probabilità di risoluzione della situazione eseguendo l'azione).

Inizialmente, quando non ci sono statistiche sui risultati dell'esecuzione del Remediation Workflow, il meccanismo di raccomandazione propone potenziali opzioni basate su ricerca per parole chiave, quindi utilizza i risultati dell'apprendimento automatico e inizia a raccomandare una metodologia di correzione basata su euristiche. Una volta che inizi a valutare i risultati delle suggerimenti ricevuti, l'accuratezza delle raccomandazioni migliorerà.

Esempio di feedback da parte dell'utente: l'utente seleziona un'azione proposta che gli piace o che non gli piace, e il sistema tiene conto di questa scelta per ulteriori raccomandazioni. Like/dislike:

Le azioni correttive raccomandate per un'allerta specifica sono basate su una combinazione di feedback che determina se l'azione è accettabile. DX OI è fornito con integrazione pronta con il sistema di automazione Automic Automation.

Integrazione di DX OI con sistemi di terze parti

Non ci soffermeremo sull'integrazione dei dati dai prodotti nativi di monitoraggio Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Invece, analizzeremo come si integrano i dati da sistemi di terze parti e discuteremo un esempio di integrazione con uno dei sistemi più popolari: Zabbix.

Per integrare sistemi di terze parti viene utilizzato il componente DX Gateway. Il DX Gateway è composto da 3 componenti: On-Prem Gateway, RESTmon e Log Collector (Logstash). Puoi installare tutti e 3 i componenti o solo quello necessario, modificando il file di configurazione generale durante l'installazione del DX Gateway. Nella figura sottostante è illustrata l'architettura del DX Gateway.

Esaminiamo l'assegnazione dei componenti del DX Gateway singolarmente.

On-Prem Gateway. Questo è l'interfaccia che raccoglie i segnali di allerta dalla piattaforma DX e invia eventi di guasto ai sistemi di terze parti. On-Prem Gateway funziona come un polling, raccogliendo periodicamente i dati sugli eventi da DX OI utilizzando richieste API attraverso il protocollo HTTPS, e successivamente invia avvisi a un server esterno che è integrato con la piattaforma DX, utilizzando webhook.

DX Log Collector riceve syslog da dispositivi di rete o server e li carica in OI. DX Log Collector consente di separare il software che genera messaggi, il sistema che li memorizza e il software che li comunica e li analizza. Ogni messaggio è contrassegnato da un codice oggetto che indica il tipo di software che ha generato il messaggio e gli viene assegnato un livello di criticità. In DX Dashboards è possibile visualizzare tutte queste informazioni.

DX RESTmon si integra con prodotti/servizi di terze parti tramite REST API e trasmette dati a OI. Nello schema sottostante è illustrato il funzionamento di DX RESTmon con l'integrazione con i sistemi di monitoraggio Solarwinds e SCOM.

Funzioni principali di DX RESTmon:

• Collegamento a qualsiasi fonte di dati esterna per ricevere dati:
  • PULL: connessione e estrazione di dati da API REST pubbliche;
  • PUSH: flusso di dati in RESTmon tramite REST.
• Supporto per i formati JSON e XML;
• Ricezione di metriche, avvisi, gruppi, topologie, inventari e registri;
• Connettori predefiniti per vari strumenti/tecnologie, è anche possibile sviluppare un connettore per qualsiasi fonte con un API aperta (l'elenco dei connettori preimpostati è mostrato nello schema sottostante);
• Supporto per l'autenticazione di base (di default) nell'accesso all'interfaccia Swagger e API;
• Supporto per HTTPS (di default) per tutti i messaggi in entrata e in uscita;
• Supporto per proxy in entrata e in uscita;
• Potenti capacità di analisi del testo per i log ottenuti tramite REST;
• Analisi del testo personalizzabile tramite RESTmon, per un'efficace analisi e visualizzazione dei log;
• Supporto per l'estrazione di informazioni sui gruppi di dispositivi da applicazioni di monitoraggio e il caricamento in OI per analisi e visualizzazione;
• Supporto per la corrispondenza con espressioni regolari. Questo può essere utilizzato per analizzare e corrispondere ai messaggi di log ricevuti tramite REST, nonché per generare o chiudere eventi basati su specifiche condizioni di espressione regolare.

Ora esaminiamo il processo di configurazione dell'integrazione DX OI con Zabbix tramite DX RESTmon. L'integrazione out-of-the-box recupera i seguenti dati da Zabbix:

• dati di inventario;
• topologia;
• problemi;
• metriche.

Poiché il connettore per Zabbix è disponibile direttamente, l'unica cosa da fare per configurare l'integrazione è aggiornare il profilo specificando l'indirizzo IP del server API Zabbix e l'account, e poi caricare il profilo tramite l'interfaccia web Swagger. Un esempio è mostrato nelle due immagini seguenti.

Dopo la configurazione dell'integrazione, le funzioni analitiche DX OI descritte in precedenza saranno disponibili per i dati provenienti da Zabbix, cioè: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics e Remediation. L'immagine sottostante mostra un esempio di analisi delle metriche di performance degli oggetti integrati da Zabbix.

Conclusione

DX OI è uno strumento analitico moderno che garantirà un'importante efficienza operativa per i reparti IT, facilitando decisioni più rapide e corrette per migliorare la qualità dei servizi IT e dei servizi aziendali attraverso l'analisi contestuale interdominio. Per i proprietari delle applicazioni e i reparti aziendali, DX OI calcolerà la disponibilità e la qualità dei servizi non solo nel contesto degli indicatori IT tecnologici, ma anche degli KPI aziendali estratti dalle statistiche transazionali sugli utenti finali.

Se desideri saperne di più su questa soluzione, richiedi una demo o un progetto pilota nel modo a te più conveniente sul nostro sito.

Fonte: habr.com