În septembrie, Broadcom (fostă CA) a lansat noua versiune 20.2 a soluției sale DX Operations Intelligence (DX OI). Pe piata, acest produs este pozitionat ca un sistem de monitorizare umbrela. Sistemul este capabil să primească și să combine date de la sisteme de monitorizare din diverse domenii (rețea, infrastructură, aplicații, baze de date) atât de la CA, cât și de la producători terți, inclusiv soluții open source (Zabbix, Prometheus și altele).

Funcția principală a DX OI este crearea unui model complet de servicii de resurse (RSM) bazat pe elemente de configurare (CU) care umple baza de date de inventar atunci când este integrat cu sisteme terțe. DX OI implementează funcții de învățare automată și inteligență artificială (ML și AI) peste datele care intră în platformă, ceea ce vă permite să evaluați / preziceți probabilitatea de eșec a unui anumit CI și gradul de impact al unui eșec asupra unui serviciu de afaceri pe baza un CI specific. În plus, DX OI este un singur punct de colectare a evenimentelor de monitorizare și, în consecință, de integrare cu sistemul Service Desk, ceea ce reprezintă un avantaj incontestabil al utilizării sistemului în centre de monitorizare unificate prin schimburile de serviciu ale organizațiilor. În acest articol, vă vom spune mai multe despre funcționalitatea sistemului și vă vom arăta interfețele utilizator și administrator.

Arhitectura soluției DX OI

Platforma DX are o arhitectură de microservicii, instalată și rulând Kubernetes sau OpenShift. Următoarea figură prezintă componentele soluției care pot fi utilizate ca instrumente independente de monitorizare sau pot fi înlocuite cu sisteme de monitorizare existente cu funcții similare (sunt exemple de astfel de sisteme în figură) și apoi conectate la umbrela DX OI. În diagrama de mai jos:

• Monitorizarea aplicațiilor mobile în DX App Experience Analytics;
• Monitorizarea performanței aplicației în DX APM;
• Monitorizarea infrastructurii în DX Infrastructure Manager;
• Monitorizarea dispozitivelor de rețea în DX NetOps Manager.

Componentele DX rulează pe un cluster Kubernetes și se scalează prin simpla lansare de noi POD-uri. Mai jos este o diagramă a soluției de nivel superior.

Administrarea, scalarea și modernizarea platformei DX se face în consola administrativă. Dintr-o singură consolă, puteți gestiona o arhitectură cu mai mulți chiriași care poate cuprinde mai multe întreprinderi sau mai multe unități de afaceri din cadrul unei companii. În acest model, fiecare unitate poate fi configurată individual ca chiriaș cu propriul set de configurații.

Consola de administrare este un instrument de management al operațiunilor și sistemului bazat pe web, care oferă administratorilor o interfață coerentă și unificată pentru realizarea sarcinilor de monitorizare a managementului clusterului.

Noi chiriași pentru unitățile de afaceri sau întreprinderile din cadrul companiei sunt implementați în câteva minute. Acesta este un avantaj dacă doriți să aveți un sistem de monitorizare unificat, dar, în același timp, la nivel de platformă (și nu drepturi de acces), delimitați obiectele de monitorizare între departamente.

Modele de resurse-servicii și monitorizarea serviciilor de afaceri

DX OI are mecanisme încorporate pentru crearea de servicii și dezvoltarea PCM clasică cu sarcina logicii de influență și ponderi între componentele serviciului. Există, de asemenea, mecanisme pentru exportul PCM dintr-un CMDB extern. Figura de mai jos arată editorul PCM încorporat (atenție la greutățile linkurilor).

DX OI oferă o vedere holistică a indicatorilor cheie de performanță pentru afaceri sau servicii IT la un nivel granular, inclusiv disponibilitatea serviciilor și predicția riscului de eșec. Instrumentul poate oferi, de asemenea, o perspectivă asupra impactului unei probleme de performanță sau al unei schimbări în structura componentelor IT (aplicație sau infrastructură) asupra unui serviciu de afaceri. Figura de mai jos este un tablou de bord interactiv care afișează starea tuturor serviciilor.

Să aruncăm o privire mai atentă la serviciul Digital Banking ca exemplu. Făcând clic pe numele serviciului, mergem la serviciul PCM detaliat. Vedem că statutul serviciului Digital Banking depinde de starea infrastructurii și a subserviciilor tranzacționale cu ponderi diferite. Lucrul cu greutăți și afișarea lor este un avantaj interesant al DX OI.

Topologia este un element important al monitorizării operaționale a întreprinderii, permițând operatorilor și inginerilor să analizeze relația dintre componente, să găsească cauza principală și influența.

DX OI Topology Viewer este un serviciu care utilizează date topologice din sistemele de monitorizare a domeniului care colectează date direct de la obiectele de monitorizare. Instrumentul este conceput pentru a căuta mai multe straturi de stocare a topologiei și pentru a afișa o hartă a relațiilor specifice contextului. Pentru a investiga problemele, puteți accesa subserviciul Backend Banking problematic și puteți vedea topologia și componentele problematice. Mesajele de alarmă și valorile de performanță pot fi, de asemenea, analizate pentru fiecare componentă.

Atunci când analizăm componentele tranzacționale ale plăților (tranzacțiile utilizatorului), putem urmări valorile KPI de afaceri, care sunt luate în considerare și la calcularea stării de disponibilitate și a stării de sănătate a serviciului. Un exemplu de KPI de afaceri este prezentat mai jos:

Analiza evenimentelor (Analitica alarmelor)

Reducerea algoritmică a zgomotului prin gruparea accidentelor

Una dintre caracteristicile cheie ale DX OI în gestionarea evenimentelor este gruparea. Mecanismul funcționează pe toate alertele care vin în sistem pentru a identifica modele bazate pe diferite contexte și pentru a le combina în grupuri. Aceste clustere sunt de auto-învățare și nu trebuie să fie configurate manual.

Astfel, gruparea permite utilizatorilor să combine și să grupeze un număr mare de evenimente și să le analizeze doar pe cele care au un context comun. De exemplu, un set de evenimente care reprezintă un incident care afectează aplicațiile sau un centru de date. Situațiile sunt create folosind algoritmi de grupare bazați pe învățarea automată care utilizează corelația temporală, relația topologică și procesarea limbajului nativ pentru analiză. Figurile de mai jos prezintă exemple de vizualizare a grupurilor grupate de mesaje, așa-numitele alarme de situații și cronologie a dovezilor, care afișează principalii parametri de grupare și procesul de reducere a numărului de evenimente de zgomot.

Analiza problemelor rădăcină și corelarea blocurilor

În mediul hibrid de astăzi, o tranzacție de utilizator poate afecta mai multe sisteme care sunt utilizate dinamic. Ca rezultat, mai multe alerte pot fi generate de la sisteme diferite, dar legate de aceeași problemă sau incident. DX OI utilizează mecanisme proprietare pentru a suprima alertele redundante și duplicate și pentru a corela alertele aferente pentru o detectare îmbunătățită a problemelor critice și o rezolvare mai rapidă.

Să luăm în considerare un exemplu când sistemul primește numeroase mesaje de urgență pentru diferite obiecte (KE) care stau la baza unui serviciu. În caz de impact asupra disponibilității și operabilității serviciului, sistemul va genera o alarmă de service (Service Alarm), va indica și va desemna cauza principală probabilă (problema CI și mesajul de alarmă pe CI) care a contribuit la scăderea performanței sau defectarea serviciului. Figura de mai jos arată vizualizarea blocării pentru un serviciu Webex.

DX OI vă permite să lucrați cu evenimente prin acțiuni intuitive în interfața web a sistemului. Utilizatorii pot atribui manual evenimente angajatului responsabil pentru depanare, resetare/confirmare alerte, crea bilete sau trimite notificări prin e-mail, rula scripturi automate pentru a rezolva o urgență (flux de lucru de remediere, mai multe despre asta mai târziu). În acest fel, DX OI permite operatorilor de schimb să se concentreze asupra mesajului de alarmă rădăcină și, de asemenea, să simplifice procesul de sortare a mesajelor în matrice grupate.

Algoritmi de mașină pentru procesarea valorilor și analiza datelor de performanță

Învățarea automată vă permite să urmăriți, să agregați și să vizualizați indicatorii cheie de performanță pentru orice perioadă de timp, ceea ce oferă utilizatorului următoarele beneficii:

• Detectarea blocajelor și a anomaliilor de performanță;
• Compararea mai multor indicatori pentru aceleași dispozitive, interfețe sau rețele;
• Compararea acelorași indicatori la mai multe obiecte;
• Compararea diverșilor indicatori pentru unul și mai multe obiecte;
• Comparație de metrici multidimensionale pentru mai multe obiecte.

Pentru a analiza metricile care intră în sistem, DX OI utilizează funcțiile de analiză a mașinii folosind algoritmi matematici, care ajută la reducerea timpului la stabilirea pragurilor statice și la generarea de avertismente atunci când apar anomalii.

Rezultatul aplicării algoritmilor matematici este construcția așa-numitelor distribuții de probabilitate ale valorii metrice (Rar, Probabil, Centru, Medie, Actual). Cifrele de mai sus și de mai jos arată distribuțiile de probabilitate.

Cele două diagrame de mai sus prezintă următoarele date:

• Date reale (Actuale). Datele reale sunt reprezentate ca o linie neagră continuă (fără alarme) sau o linie continuă colorată (condiție de alarmă). Linia este calculată pe baza datelor reale ale valorii. Comparând datele reale și mediana, puteți vedea rapid variația valorii. Când are loc un eveniment, linia neagră se schimbă într-o linie continuă colorată care corespunde gravității evenimentului și afișează pictograme cu severitatea corespunzătoare deasupra graficului. De exemplu, roșu pentru o anomalie critică, portocaliu pentru o anomalie majoră și galben pentru o anomalie minoră.
• Valoarea medie a indicatorului (Valoarea medie). Mediana sau media pentru o măsură este afișată ca o linie gri în diagramă. Valoarea medie este afișată atunci când nu există suficiente date istorice.
• Valoarea mediană a indicatorului (valoarea centrală). Linia mediană este mijlocul intervalului și este afișată ca o linie punctată verde. Zonele cele mai apropiate de această linie sunt cele mai apropiate de valorile tipice ale indicatorului.
• Date comune (Valoare comună). Datele zonei totale urmăresc cel mai aproape de linia centrală sau normal pentru valoarea dvs. și sunt afișate ca o bară verde închis. Calculele analitice plasează zona totală cu o percentilă deasupra sau sub normal.
• date probabilistice. Datele zonei de probabilitate sunt afișate pe grafic cu o bară verde. Sistemul plasează zona de probabilitate cu două percentile deasupra sau sub normal.
• Date rare. Datele rare ale zonei sunt afișate pe grafic ca o bară verde deschis. Sistemul plasează o zonă cu valori metrice rare cu trei percentile deasupra sau sub normă și semnalează comportamentul indicatorului în afara intervalului normal, în timp ce sistemul generează așa-numita Alertă de anomalie.

O anomalie este o măsurătoare sau un eveniment care nu este în concordanță cu performanța normală a unei valori. Detectarea anomaliilor pentru a identifica problemele și a înțelege tendințele în infrastructură și aplicații este o caracteristică cheie a DX OI. Detectarea anomaliilor vă permite atât să recunoașteți un comportament neobișnuit (de exemplu, un server care răspunde mai lent decât de obicei, sau o activitate neobișnuită de rețea cauzată de un hack) și să răspundeți în consecință (inițialând un incident, rulând un script de remediere automată).

Caracteristica de detectare a anomaliilor DX OI oferă următoarele beneficii:

• Nu trebuie să setați praguri. DX OI va compara datele în mod independent și va identifica anomaliile.
• DX OI include mai mult de zece algoritmi de inteligență artificială și învățare automată, inclusiv EWMA (Exponentially-Weighted-Moving-Average) și KDE (Kernel Density Estimation). Acești algoritmi vă permit să efectuați o analiză rapidă a cauzei principale și să preziceți valorile viitoare.

Analize predictive și alerte de eșec

Predictive Insights este o caracteristică care folosește puterea învățării automate pentru a identifica modele și tendințe. Pe baza acestor tendințe, sistemul prezice evenimente care pot apărea în viitor. Aceste mesaje indică faptul că trebuie luate măsuri înainte ca valorile metrice să depășească intervalul normal, impactând serviciile de afaceri critice. Perspectivele predictive sunt prezentate în figura de mai jos.

Și aceasta este o vizualizare a alertelor predictive pentru o anumită măsură.

Prognoza sarcinii puterii de calcul cu funcția de stabilire a scenariilor de sarcină

Caracteristica de planificare a capacității Capacity Analytics ajută la gestionarea resurselor IT, asigurându-se că resursele sunt dimensionate corespunzător pentru a satisface nevoile actuale și viitoare ale afacerii. Veți putea optimiza performanța și eficiența resurselor existente, planificați și justificați orice investiție financiară.

Caracteristica Capacity Analytics din DX OI oferă următoarele beneficii:

• Capacități de prognoză în sezonul de vârf;
• Determinarea momentului în care sunt necesare resurse suplimentare pentru asigurarea calității serviciului;
• Achiziționarea de resurse suplimentare numai atunci când este necesar;
• Gestionarea eficientă a infrastructurii și a rețelei;
• Eliminați costurile inutile cu energia prin identificarea resurselor subutilizate;
• Efectuați estimarea încărcării resurselor în cazul unei creșteri planificate a cererii pentru un serviciu sau o resursă.

Pagina Capacity Analytics DX OI (prezentată mai jos) are următoarele widget-uri:

• Starea capacității resurselor;
• Grupuri/servicii controlate (Grupuri/Servicii monitorizate);
• Mari consumatori de resurse (Top Capacity Consumers).

Pagina principală Capacity Analytics arată componentele resurselor care sunt suprautilizate și epuizează capacitatea. Această pagină îi ajută pe administratorii platformei să găsească resurse suprautilizate și îi ajută să redimensioneze și să optimizeze resursele. Starea resurselor poate fi analizată pe baza codurilor de culoare și a valorilor acestora. Resursele sunt clasificate în funcție de gradul de congestie pe pagina de stare a capacității resurselor. Puteți face clic pe fiecare dintre culori pentru a vedea o listă a componentelor din categoria selectată. În continuare, este afișată o hartă termică cu toate obiectele și prognozele pe 12 luni, care vă permite să identificați resursele care sunt pe cale să fie epuizate.

Pentru fiecare dintre valorile din Capacity Analytics, puteți specifica filtrele pe care DX Operational Intelligence le folosește pentru a face prognoze (figura de mai jos).

Sunt disponibile următoarele filtre:

• Metric. Valoarea care trebuie utilizată pentru prognoză.
• Bazat pe. Selectarea cantității de date istorice care vor fi utilizate pentru a construi previziuni pentru viitor. Acest câmp este folosit pentru a compara și analiza tendințele lunii trecute, tendințele ultimelor 3 luni, tendințele anuale etc.
• Creştere. Rata de creștere așteptată a volumului de lucru pe care doriți să o utilizați pentru a modela prognoza capacității. Aceste date pot fi folosite pentru a prognoza creșterea dincolo de prognoze. De exemplu, utilizarea resurselor este de așteptat să crească cu încă 40 la sută din cauza deschiderii unui nou birou.

Analiza jurnalelor

Caracteristica de analiză a jurnalului DX OI oferă:

• colectarea, agregarea jurnalelor din diferite surse (inclusiv cele obținute prin metode de agenție și fără agent);
• analizarea și normalizarea datelor;
• analiza pentru conformitatea cu conditiile stabilite si generarea evenimentelor;
• corelarea evenimentelor pe baza jurnalelor, inclusiv a evenimentelor primite ca urmare a monitorizării infrastructurii IT;
• vizualizarea datelor bazată pe analiză în DX Dashboards;
• concluzii despre disponibilitatea serviciilor pe baza analizei datelor din jurnalele.

Colectarea jurnalelor folosind o metodă fără agent este efectuată de sistem pentru jurnalele de evenimente Windows și Syslog. Modalitate bazată pe agenți de a colecta jurnalele de text.

Funcție automată de rezolvare a situațiilor de urgență (remediere)

Acțiunile automate de corectare a situației de urgență (Remediation Workflow) vă permit să rezolvați problemele care au determinat generarea unui eveniment în DX OI. De exemplu, dacă o problemă de utilizare a procesorului generează o alarmă, fluxul de lucru de remediere rezolvă problema repornind serverul care are problema. Integrarea dintre DX OI și sistemul de automatizare permite ca procesele de remediere să fie declanșate din consola de evenimente din DX Operational Intelligence și urmărite în consola sistemului de automatizare.

După integrarea cu un sistem de automatizare, puteți declanșa acțiuni automate pentru a corecta orice urgență în consola DX OI din contextul unei alarme. Puteți vizualiza acțiunile recomandate împreună cu informații despre procentele de încredere (probabilitatea ca situația să fie rezolvată prin luarea măsurii).

Inițial, atunci când nu există statistici privind rezultatele fluxului de lucru de remediere, motorul de recomandare sugerează candidați pe baza căutărilor de cuvinte cheie, apoi sunt utilizate rezultatele învățării automate, iar motorul începe să recomande o tehnică de remediere bazată pe euristică. De îndată ce începeți să evaluați rezultatele sugestiilor primite, acuratețea recomandărilor se va îmbunătăți.

Un exemplu de feedback al utilizatorului: utilizatorul alege dacă îi place sau nu acțiunea propusă, iar sistemul ia în considerare această alegere atunci când face recomandări ulterioare. Place displace:

Acțiunile corective recomandate pentru o anumită alarmă se bazează pe o combinație de feedback care determină dacă acțiunea este acceptabilă. DX OI vine cu integrare gata de utilizare cu Automic Automation.

Integrarea DX OI cu sisteme terțe

Nu ne vom opri asupra integrării datelor din produsele native de monitorizare Broadcom (DX NetOps, DX Infrastructure Management, DX Application Performance Management). În schimb, să ne uităm la modul în care sunt integrate datele de la sisteme terțe terțe și să luăm în considerare un exemplu de integrare cu unul dintre cele mai populare sisteme - Zabbix.

Pentru integrarea cu sisteme terțe, se utilizează componenta DX Gateway. DX Gateway constă din 3 componente - On-Prem Gateway, RESTmon și Log Collector (Logstash). Puteți instala toate cele 3 componente sau doar pe cea de care aveți nevoie schimbând fișierul de configurare generală la instalarea DX Gateway. Figura de mai jos prezintă arhitectura DX Gateway.

Să luăm în considerare separat scopul componentelor DX Gateway.

Gateway On-Prem. Aceasta este o interfață care colectează alarme de pe platforma DX și trimite evenimente de alarmă către sisteme terțe. Gateway-ul On-Prem acționează ca un poller care colectează periodic date despre evenimente de la DX OI folosind API-ul de solicitare HTTPS, apoi trimite alerte către un server terță parte care este integrat cu platforma DX folosind webhook-uri.

DX Log Collector primește syslog de la dispozitivele de rețea sau de la servere și le încarcă în OI. DX Log Collector vă permite să separați software-ul care generează mesajele, sistemul care le stochează și software-ul care le raportează și le analizează. Fiecare mesaj este etichetat cu un cod obiect care indică tipul de software care generează mesajul și îi este atribuit un nivel de severitate. În DX Dashboards, toate acestea pot fi apoi vizualizate.

DX RESTmon se integrează cu produse/servicii terță parte prin API-ul REST și transmite date către OI. Figura de mai jos arată funcționarea DX RESTmon folosind exemplul de integrare cu sistemele de monitorizare Solarwinds și SCOM.

Caracteristici cheie ale DX RESTmon:

• Conectați-vă la orice sursă de date terță parte pentru a primi date:
  • PULL: conectarea și preluarea datelor din API-urile REST publice;
  • PUSH: flux de date către RESTmon prin REST.
• Suport pentru formatele JSON și XML;
• Primiți valori, alerte, grupuri, topologie, inventar și jurnale;
• Conectori gata făcut pentru diverse instrumente/tehnologii, este, de asemenea, posibil să se dezvolte un conector la orice sursă cu un API deschis (lista conectorilor în cutie în figura de mai jos);
• Suport pentru autentificarea de bază (implicit) atunci când accesați interfața și API-ul Swagger;
• Suport HTTPS (implicit) pentru toate mesajele primite și trimise;
• Suport pentru proxy-uri de intrare și de ieșire;
• Capacități puternice de analizare a textului pentru jurnalele primite prin REST;
• Parsare personalizabilă cu RESTmon pentru analizarea și vizualizarea eficientă a jurnalelor;
• Suport pentru extragerea de informații despre grupuri de dispozitive din aplicațiile de monitorizare și descărcarea în OI pentru analiză și vizualizare;
• Suport pentru potrivirea expresiilor regulate. Acesta poate fi folosit pentru a analiza și potrivi mesajele de jurnal primite prin REST și pentru a genera sau închide evenimente bazate pe anumite condiții de expresie regulată.

Acum să ne uităm la procesul de configurare a integrării DX OI cu Zabbix prin DX RESTmon. Integrarea în casetă preia următoarele date de la Zabbix:

• date de inventar;
• topologie;
• Probleme;
• metrici.

Deoarece conectorul pentru Zabbix este disponibil din cutie, tot ce trebuie făcut pentru a configura integrarea este să actualizați profilul cu adresa IP și contul API al serverului Zabbix, apoi să încărcați profilul prin interfața web Swagger. . Un exemplu este în următoarele două figuri.

După configurarea integrării, funcțiile analitice DX OI descrise mai sus vor fi disponibile pentru datele provenite de la Zabbix, și anume: Alarm Analytics, Performance Analytics, Predictive Insights, Service Analytics și Remediation. Figura de mai jos arată un exemplu de analiză a valorilor de performanță pentru obiectele integrate din Zabbix.

Concluzie

DX OI este un instrument de analiză de ultimă generație care va oferi eficiență operațională semnificativă departamentelor IT, permițându-vă să luați decizii mai rapide și mai corecte pentru a îmbunătăți calitatea serviciilor IT și a serviciilor de afaceri prin analiză contextuală interdomeniu. Pentru proprietarii de aplicații și unitățile de afaceri, DX OI va calcula disponibilitatea și calitatea serviciului nu numai în contextul metricilor tehnologiei IT, ci și a KPI-urilor de afaceri derivate din statisticile tranzacționale ale utilizatorilor finali.

Dacă doriți să aflați mai multe despre această soluție, vă rugăm să aplicați pentru un demo sau pilot într-un mod convenabil pentru tine pe site-ul nostru.

Sursa: www.habr.com