Questo settembre, Broadcom (ex CA) ha rilasciato la nuova versione 20.2 della sua soluzione DX Operations Intelligence (DX OI). Questo prodotto si posiziona sul mercato come sistema di monitoraggio ombrello. Il sistema è in grado di ricevere e combinare dati provenienti da sistemi di monitoraggio di vari domini (rete, infrastruttura, applicazioni, database) sia di CA che di produttori di terze parti, comprese soluzioni open source (Zabbix, Prometheus e altri).

La funzione principale di DX OI è la creazione di un modello di risorse e servizi (RSM) completo basato su unità di configurazione (CU), che riempiono la base di inventario quando integrate con sistemi di terze parti. DX OI implementa funzioni di Machine Learning e Intelligenza Artificiale (ML e AI) sui dati in ingresso nella piattaforma, che consentono di valutare/prevedere la probabilità di fallimento di una specifica KE e il grado di impatto del guasto sul servizio aziendale, che si basa su uno specifico KE. Inoltre, DX OI è un unico punto per la raccolta degli eventi di monitoraggio e, di conseguenza, l'integrazione con il sistema Service Desk, che rappresenta un innegabile vantaggio dell'utilizzo del sistema in centri di monitoraggio unificati per i turni di servizio delle organizzazioni. In questo articolo ti diremo di più sulla funzionalità del sistema e mostreremo le interfacce utente e amministratore.

Architettura della soluzione DX OI

La piattaforma DX ha un'architettura a microservizi, installata e funzionante con Kubernetes o OpenShift. La figura seguente mostra i componenti della soluzione che possono essere utilizzati come strumenti di monitoraggio indipendenti o possono essere sostituiti con sistemi di monitoraggio esistenti con funzioni simili (ci sono esempi di tali sistemi nella figura) e quindi collegati all'ombrello DX OI. Nello schema seguente:

• Monitoraggio delle applicazioni mobili in DX App Experience Analytics;
• Monitoraggio delle prestazioni delle applicazioni in DX APM;
• Monitoraggio dell'infrastruttura in DX Infrastructure Manager;
• Monitoraggio dei dispositivi di rete in DX NetOps Manager.

I componenti DX vengono eseguiti sotto il controllo di un cluster Kubernetes e scalano semplicemente lanciando nuovi POD. Di seguito è riportato un diagramma della soluzione di alto livello.

L'amministrazione, il dimensionamento e l'aggiornamento della piattaforma DX vengono eseguiti nella console di amministrazione. Da un'unica console è possibile gestire un'architettura multi-tenant che può estendersi su più aziende o più business unit all'interno di un'azienda. In questo modello, ogni azienda può essere configurata individualmente come tenant con il proprio set di configurazioni.

La console di amministrazione è uno strumento operativo e di gestione del sistema basato sul Web che fornisce agli amministratori un'interfaccia coerente e unificata per eseguire attività di gestione dei cluster di monitoraggio.

I nuovi tenant per unità aziendali o imprese all'interno di un'azienda vengono implementati in pochi minuti. Ciò offre un vantaggio se si desidera avere un sistema di monitoraggio unificato, ma a livello di piattaforma (e non diritti di accesso) per differenziare gli oggetti di monitoraggio tra i dipartimenti.

Modelli di servizi-risorsa e monitoraggio dei servizi alle imprese

DX OI dispone di meccanismi integrati per la creazione di servizi e lo sviluppo di PCM classici con l'impostazione della logica di influenza e dei pesi tra i componenti del servizio. Esistono anche meccanismi per esportare PCM da un CMDB esterno. La figura seguente mostra l'editor PCM integrato (notare i pesi dei collegamenti).

DX OI fornisce un quadro olistico degli indicatori chiave di prestazione dei servizi aziendali o IT con dettagli, inclusa la disponibilità del servizio e la previsione del rischio di guasto. Lo strumento può anche fornire informazioni sull'impatto di un problema di prestazioni o di un cambiamento nella progettazione dei componenti IT (applicazione o infrastruttura) su un servizio aziendale. La figura seguente mostra una dashboard interattiva che mostra lo stato di tutti i servizi.

Vediamone i dettagli utilizzando come esempio il servizio Digital Banking. Cliccando sul nome del servizio si accede al PCM dettagliato del servizio. Vediamo che lo status del servizio di Digital Banking dipende dallo stato delle infrastrutture e dei sottoservizi transazionali con pesi diversi. Lavorare con i pesi e visualizzarli è un vantaggio divertente di DX OI.

La topologia è un elemento importante del monitoraggio operativo dell'impianto, poiché consente agli operatori e agli ingegneri di analizzare le relazioni tra i componenti, trovare la causa principale e l'impatto.

DX OI Topology Viewer è un servizio che utilizza dati topologici provenienti da sistemi di monitoraggio del dominio che raccolgono dati direttamente dagli oggetti di monitoraggio. Lo strumento è progettato per eseguire ricerche su più livelli di archivi di topologia e visualizzare una mappa di relazioni specifica per il contesto. Per analizzare i problemi, è possibile accedere al sottoservizio problematico Backend Banking e visualizzare la topologia e i componenti problematici. Puoi anche analizzare i messaggi di allarme e le metriche delle prestazioni per ciascun componente.

Analizzando i componenti delle transazioni di pagamento (transazioni utente), possiamo tenere traccia dei valori KPI aziendali, che vengono presi in considerazione anche nel calcolo della disponibilità e dello stato di integrità del servizio. Di seguito è riportato un esempio di KPI aziendale:

Analisi degli eventi

Riduzione algoritmica del rumore dovuta al clustering degli incidenti

Una delle funzionalità principali di DX OI nell'elaborazione degli eventi è il clustering. Il motore funziona su tutti gli avvisi che arrivano al sistema per identificare modelli basati su contesti diversi e raggrupparli insieme. Questi cluster sono ad autoapprendimento e non necessitano di essere configurati manualmente.

Pertanto, il clustering consente agli utenti di combinare e raggruppare un numero enorme di eventi e di analizzare solo quelli che hanno un contesto comune. Ad esempio, un insieme di eventi che rappresentano un incidente che influisce sul funzionamento delle applicazioni o di un data center. Le situazioni vengono create utilizzando algoritmi di clustering basati sull'apprendimento automatico che utilizzano la correlazione temporale, le relazioni topologiche e l'elaborazione del linguaggio nativo per l'analisi. Le figure seguenti mostrano esempi di visualizzazione di gruppi di cluster di messaggi, i cosiddetti Situazioni Allarmi, e Cronologia delle Evidenze, visualizzando i principali parametri del raggruppamento e il processo di riduzione del numero di eventi di rumore.

Analisi del problema alla radice e correlazione degli incidenti

Nell'ambiente ibrido odierno, una transazione utente può influenzare più sistemi utilizzati dinamicamente. Di conseguenza, è possibile che vengano generati più avvisi da sistemi diversi ma correlati allo stesso problema o incidente. DX OI utilizza meccanismi proprietari per eliminare gli avvisi ridondanti e duplicati e correlare gli avvisi correlati per un migliore rilevamento dei problemi critici e una risoluzione più rapida.

Consideriamo un esempio in cui il sistema riceve numerosi messaggi di allarme per diversi oggetti (OU) sottostanti un servizio. In caso di impatto sulla disponibilità e sulle prestazioni del servizio, il sistema genererà un allarme di servizio (Service Alarm), indicherà e designerà la probabile causa principale (KE problematica e messaggio di allarme per KE), che ha contribuito alla diminuzione delle prestazioni o fallimento del servizio. La figura seguente mostra una visualizzazione di una situazione di emergenza per il servizio Webex.

DX OI ti consente di lavorare con gli eventi attraverso azioni intuitive nell'interfaccia web del sistema. Gli utenti possono assegnare manualmente eventi al dipendente responsabile per la risoluzione dei problemi, reimpostare/riconoscere avvisi, creare ticket o inviare notifiche e-mail ed eseguire script automatizzati per risolvere un'emergenza (flusso di lavoro di riparazione, ne parleremo più avanti). In questo modo, DX OI consente agli operatori di guardia di concentrarsi sul messaggio di allarme root e aiuta anche a semplificare il processo di smistamento dei messaggi in array cluster.

Algoritmi macchina per l'elaborazione di parametri e l'analisi dei dati sulle prestazioni

L'apprendimento automatico consente di monitorare, aggregare e visualizzare gli indicatori chiave di prestazione per qualsiasi periodo di tempo specifico, offrendo all'utente i seguenti vantaggi:

• Rilevazione di colli di bottiglia e anomalie prestazionali;
• Confronto di diversi indicatori per gli stessi dispositivi, interfacce o reti;
• Confronto di indicatori identici in diversi siti;
• Confronto di vari indicatori per uno e più oggetti;
• Confronto di metriche multidimensionali tra più oggetti.

Per analizzare le metriche che entrano nel sistema, DX OI utilizza funzioni di analisi della macchina utilizzando algoritmi matematici, che aiutano a ridurre il tempo durante l'impostazione di soglie statiche e la generazione di avvisi quando si verificano anomalie.

Il risultato dell'applicazione di algoritmi matematici è la costruzione delle cosiddette distribuzioni di probabilità del valore metrico (Rare, Probable, Center, Mean, Actual). Le figure sopra e sotto mostrano le distribuzioni di probabilità.

I due grafici sopra mostrano i seguenti dati:

• Dati reali. I dati effettivi vengono visualizzati sul grafico come una linea nera continua (nessun allarme) o una linea continua colorata (stato di allarme). La linea viene calcolata in base ai dati effettivi della metrica. Confrontando i dati effettivi e la mediana, puoi vedere rapidamente le variazioni nella metrica. Quando si verifica un evento, la linea nera si trasforma in una linea continua colorata che corrisponde alla criticità dell'evento e visualizza le icone con la criticità corrispondente sopra il grafico. Ad esempio, rosso per un'anomalia critica, arancione per un'anomalia grave e giallo per un'anomalia minore.
• Valore medio dell'indicatore. Il valore medio o mediano di un indicatore è mostrato nel grafico come una linea grigia. La media viene visualizzata quando i dati storici non sono sufficienti.
• Valore mediano dell'indicatore (valore centrale). La linea mediana è il centro dell'intervallo ed è mostrata come una linea tratteggiata verde. Le zone più vicine a questa linea sono le più vicine ai valori tipici dell'indicatore.
• Valore comune. I dati complessivi della zona tracciano la linea centrale o la normale più vicina alla tua metrica e vengono visualizzati come una barra verde scuro. I calcoli analitici collocano la zona complessiva a un percentile sopra o sotto la norma.
• Dati probabilistici. I dati della zona di probabilità vengono visualizzati come una barra verde sul grafico. Il sistema posiziona la zona di probabilità a due percentili sopra o sotto il normale.
• Dati rari. I dati delle zone rare sono mostrati sul grafico come una barra verde chiaro. Il sistema posiziona un'area con valori metrici rari a tre percentili sopra o sotto la norma e segnala il comportamento dell'indicatore al di fuori dell'intervallo normale, mentre il sistema genera un cosiddetto Anomaly Alert.

Un'anomalia è una misurazione o un evento non coerente con le normali prestazioni di una metrica. Il rilevamento delle anomalie per identificare i problemi e comprendere le tendenze nell'infrastruttura e nelle applicazioni è una caratteristica chiave di DX OI. Il rilevamento delle anomalie consente sia di riconoscere comportamenti insoliti (ad esempio, un server che risponde più lentamente del solito o un'attività di rete insolita causata da un attacco informatico) sia di rispondere di conseguenza (segnalando un incidente, eseguendo uno script di riparazione automatizzato).

Il rilevamento delle anomalie DX OI offre i seguenti vantaggi:

• Non è necessario fissare soglie. DX OI raccoglierà i dati in modo indipendente e identificherà le anomalie.
• DX OI include più di dieci algoritmi di intelligenza artificiale e apprendimento automatico, tra cui EWMA (Exponentially-Weighted-Moving-Average) e KDE (Kernel Density Estimation). Questi algoritmi consentono una rapida analisi delle cause profonde e la previsione dei futuri valori metrici.

Analisi predittiva e notifica di possibili guasti

Predictive Insights è una funzionalità che sfrutta la potenza del machine learning per identificare modelli e tendenze. Sulla base di queste tendenze, il sistema prevede eventi che potrebbero verificarsi in futuro. Questi messaggi indicano la necessità di agire prima che i valori metrici si discostino dai valori normali e abbiano un impatto sui servizi aziendali critici. Gli insight predittivi sono illustrati nella figura seguente.

E questa è una visualizzazione di avvisi predittivi per una metrica specifica.

Previsione del carico di potenza di calcolo con la funzione di specificare scenari di carico

La pianificazione della capacità di Capacità Analytics ti aiuta a gestire le tue risorse IT, garantendo che le risorse siano adeguatamente dimensionate per soddisfare le esigenze aziendali attuali e future. Potrai ottimizzare la produttività e l'efficienza delle risorse esistenti, pianificare e giustificare qualsiasi investimento finanziario.

La funzionalità Analisi della capacità in DX OI offre i seguenti vantaggi:

• Capacità di previsione durante l'alta stagione;
• Determinare il momento in cui sono necessarie risorse aggiuntive per garantire un funzionamento di alta qualità del servizio;
• Acquistare risorse aggiuntive solo quando necessario;
• Gestione efficace delle infrastrutture e delle reti;
• Eliminare i costi energetici non necessari identificando le risorse sottoutilizzate;
• Esecuzione di valutazioni del carico delle risorse in caso di aumento pianificato della domanda per un servizio o una risorsa.

La pagina OI di Capacità Analytics DX (immagine sotto) presenta i seguenti widget:

• Stato della capacità della risorsa;
• Gruppi/Servizi monitorati;
• Consumatori con capacità massima.

La pagina principale Analisi capacità mostra i componenti delle risorse che sono sovrautilizzati e che stanno esaurendo la capacità. Questa pagina aiuta gli amministratori della piattaforma a trovare le risorse sovrautilizzate e li aiuta a ridimensionare e ottimizzare le risorse. Lo stato delle risorse può essere analizzato in base ai codici colore e ai significati corrispondenti. Le risorse vengono classificate in base al livello di congestione nella pagina dello stato della capacità delle risorse. È possibile fare clic su ciascun colore per visualizzare un elenco di componenti inclusi nella categoria selezionata. Successivamente, verrà visualizzata una mappa termica con tutti gli oggetti e le previsioni per 12 mesi, che consente di identificare le risorse che stanno per esaurirsi.

Per ciascuno dei parametri in Analisi capacità, è possibile specificare i filtri utilizzati da DX Operational Intelligence per effettuare previsioni (figura seguente).

Sono disponibili i seguenti filtri:

• Metrico. La metrica che verrà utilizzata per la previsione.
• Base su. Selezione della quantità di dati storici che verranno utilizzati per fare previsioni per il futuro. Questo campo viene utilizzato per confrontare e analizzare le tendenze del mese scorso, le tendenze degli ultimi 3 mesi, le tendenze dell'anno, ecc.
• Crescita. Il tasso di crescita previsto del carico di lavoro che desideri utilizzare per modellare la previsione energetica. Questi dati possono essere utilizzati per prevedere una crescita oltre le previsioni. Ad esempio, si prevede che l'utilizzo delle risorse aumenterà di un altro 40% a causa dell'apertura di un nuovo ufficio.

Analisi del registro

La funzionalità di analisi del registro DX OI fornisce:

• raccolta e aggregazione di log da diverse fonti (compresi quelli ottenuti con metodi agente e non agente);
• analisi e normalizzazione dei dati;
• analisi del rispetto delle condizioni stabilite e generazione di eventi;
• correlazione di eventi basata sui log, inclusi eventi ottenuti a seguito del monitoraggio dell'infrastruttura IT;
• visualizzazione dei dati basata sull'analisi in DX Dashboards;
• conclusioni sulla disponibilità del servizio basate sull'analisi dei dati dai log.

La raccolta dei registri utilizzando un metodo senza agente viene eseguita dal sistema per i registri eventi di Windows e Syslog. I log di testo vengono raccolti utilizzando un metodo agente.

Funzione automatizzata di risoluzione delle emergenze (Remediation)

Le azioni automatizzate per correggere una situazione di emergenza (Remediation Workflow) consentono di risolvere i problemi che hanno causato la generazione di un evento in DX OI. Ad esempio, un problema di utilizzo della CPU genera un messaggio di allarme, il flusso di lavoro di riparazione risolve il problema riavviando il server in cui si è verificato il problema. L'integrazione tra DX OI e il sistema di automazione consente di eseguire processi di riparazione dalla console degli eventi in DX Operational Intelligence e monitorarli nella console di automazione.

Una volta integrato con il sistema di automazione, è possibile attivare azioni automatiche per correggere qualsiasi situazione di allarme nella console DX OI dal contesto del messaggio di allarme. È possibile visualizzare le azioni consigliate insieme alle informazioni sulla percentuale di confidenza (la probabilità di risolvere la situazione intraprendendo l'azione).

Inizialmente, quando non sono disponibili statistiche sui risultati del flusso di lavoro di riparazione, il motore di raccomandazione suggerisce potenziali opzioni basate su ricerche di parole chiave, quindi vengono utilizzati i risultati dell'apprendimento automatico e il motore inizia a consigliare una tecnica di riparazione basata sull'euristica. Una volta che inizi a valutare i risultati dei suggerimenti che ricevi, la precisione dei tuoi consigli migliorerà.

Un esempio di feedback da parte dell'utente: l'utente seleziona se gli piace o non gli piace l'azione proposta e il sistema tiene conto di questa scelta quando formula ulteriori raccomandazioni. Piace non piace:

Le azioni correttive consigliate per un particolare allarme si basano su una combinazione di feedback che determina se l'azione è accettabile. DX OI viene fornito con l'integrazione immediata con Automic Automation.

Integrazione di DX OI con sistemi di terze parti

Non ci soffermeremo nel dettaglio sull’integrazione dei dati provenienti dai prodotti di monitoraggio nativi di Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). Invece, diamo un'occhiata a come vengono integrati i dati provenienti da sistemi di terze parti e guardiamo un esempio di integrazione con uno dei sistemi più popolari: Zabbix.

Per l'integrazione con sistemi di terze parti, viene utilizzato il componente DX Gateway. DX Gateway è costituito da 3 componenti: gateway in sede, RESTmon e raccoglitore di log (Logstash). È possibile installare tutti e 3 i componenti o solo quello necessario modificando il file di configurazione generale durante l'installazione di DX Gateway. La figura seguente mostra l'architettura DX Gateway.

Esaminiamo separatamente lo scopo dei componenti DX Gateway.

Gateway in sede. Questa è l'interfaccia che raccoglie gli allarmi dalla piattaforma DX e invia gli eventi di allarme a sistemi di terze parti. Il gateway in sede funge da poller che raccoglie periodicamente i dati degli eventi dall'OI DX utilizzando l'API di richiesta HTTPS, quindi invia avvisi a un server di terze parti integrato con la piattaforma DX utilizzando webhook.

Raccoglitore di registri DX riceve il syslog dai dispositivi o dai server di rete e li carica su OI. DX Log Collector ti consente di separare il software che genera i messaggi, il sistema che li archivia e il software che li segnala e li analizza. Ogni messaggio è contrassegnato da un codice entità che indica il tipo di software che genera il messaggio e gli viene assegnato un livello di gravità. Potrai visualizzare tutto questo più tardi in DX Dashboards.

DX RESTmon si integra con prodotti/servizi di terze parti tramite API REST e trasmette i dati a OI. La figura seguente mostra lo schema di funzionamento di DX RESTmon utilizzando l'esempio di integrazione con i sistemi di monitoraggio Solarwinds e SCOM.

Caratteristiche principali di DX RESTmon:

• Connettiti a qualsiasi origine dati di terze parti per ricevere dati:
  • PULL: connessione e recupero dati da API REST pubbliche;
  • PUSH: flusso di dati a RESTmon tramite REST.
• Supporto per i formati JSON e XML;
• Acquisisci metriche, avvisi, gruppi, topologia, inventario e registri;
• Connettori già pronti per vari strumenti/tecnologie; è anche possibile sviluppare un connettore verso qualsiasi sorgente con un'API aperta (l'elenco dei connettori in scatola è nella figura sotto);
• Supporto per l'autenticazione di base (impostazione predefinita) quando si accede all'interfaccia e all'API Swagger;
• Supporto HTTPS (per impostazione predefinita) per tutti i messaggi in entrata e in uscita;
• Supporto per proxy in entrata e in uscita;
• Potenti funzionalità di analisi del testo per i log ricevuti tramite REST;
• Analisi personalizzata con RESTmon per un'analisi e una visualizzazione efficienti dei log;
• Supporto per l'estrazione di informazioni sui gruppi di dispositivi dalle applicazioni di monitoraggio e il caricamento in OI per l'analisi e la visualizzazione;
• Supporto per la corrispondenza delle espressioni regolari. Può essere utilizzato per analizzare e abbinare i messaggi di registro ricevuti tramite REST e per generare o chiudere eventi in base a determinate condizioni di espressione regolare.

Ora diamo un'occhiata al processo di impostazione dell'integrazione DX OI con Zabbix tramite DX RESTmon. L'integrazione in scatola prende i seguenti dati da Zabbix:

• dati di inventario;
• topologia;
• I problemi;
• metrica.

Poiché il connettore per Zabbix è disponibile immediatamente, tutto ciò che devi fare per impostare l'integrazione è aggiornare il tuo profilo con l'indirizzo IP e l'account dell'API del server Zabbix, quindi caricare il profilo tramite l'interfaccia web Swagger. Un esempio nelle due immagini seguenti.

Dopo aver impostato l'integrazione, le funzioni analitiche DX OI sopra descritte saranno disponibili per i dati provenienti da Zabbix, ovvero: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics e Remediation. La figura seguente mostra un esempio di analisi delle metriche prestazionali per gli oggetti integrati da Zabbix.

conclusione

DX OI è un moderno strumento di analisi che fornirà una significativa efficienza operativa ai dipartimenti IT, consentendo di prendere decisioni più rapide e corrette per migliorare la qualità dei servizi IT e aziendali attraverso l'analisi contestuale interdominio. Per i proprietari di applicazioni e le unità aziendali, DX OI calcolerà l'indicatore di disponibilità e la qualità dei servizi non solo nel contesto degli indicatori tecnologici IT, ma anche dei KPI aziendali estratti dalle statistiche transazionali sugli utenti finali.

Se desideri saperne di più su questa soluzione, invia una richiesta per una demo o un progetto pilota in un modo conveniente per te sul nostro sito

Fonte: habr.com