September ini, Broadcom (sebelumnya CA) merilis versi baru 20.2 dari solusi DX Operations Intelligence (DX OI). Di pasaran, produk ini diposisikan sebagai sistem pemantauan payung. Sistem ini dapat menerima dan menggabungkan data dari sistem pemantauan berbagai domain (jaringan, infrastruktur, aplikasi, basis data) dari CA dan pabrikan pihak ketiga, termasuk solusi sumber terbuka (Zabbix, Prometheus, dan lainnya).

Fungsi utama DX OI adalah pembuatan model layanan sumber daya (RSM) lengkap berdasarkan item konfigurasi (CU) yang mengisi database inventaris saat terintegrasi dengan sistem pihak ketiga. DX OI mengimplementasikan fungsi Pembelajaran Mesin dan Kecerdasan Buatan (ML dan AI) pada data yang masuk ke platform, yang memungkinkan Anda mengevaluasi/memprediksi kemungkinan kegagalan CI tertentu dan tingkat dampak kegagalan pada layanan bisnis berdasarkan KI tertentu. Selain itu, DX OI adalah satu titik kumpulan peristiwa pemantauan dan, karenanya, integrasi dengan sistem Meja Layanan, yang merupakan keuntungan tak terbantahkan dari penggunaan sistem di pusat pemantauan terpadu melalui pergantian tugas organisasi. Pada artikel ini, kami akan memberi tahu Anda lebih banyak tentang fungsionalitas sistem dan menunjukkan antarmuka pengguna dan administrator.

Arsitektur Solusi DX OI

Platform DX memiliki arsitektur layanan mikro, terinstal dan menjalankan Kubernetes atau OpenShift. Gambar berikut menunjukkan komponen solusi yang dapat digunakan sebagai alat pemantauan independen atau dapat diganti dengan sistem pemantauan yang ada dengan fungsi serupa (contoh sistem tersebut ada pada gambar) dan kemudian dihubungkan ke payung DX OI. Dalam diagram di bawah ini:

• Pemantauan aplikasi seluler di DX App Experience Analytics;
• Pemantauan kinerja aplikasi di DX APM;
• Pemantauan infrastruktur di DX Infrastructure Manager;
• Memantau perangkat jaringan di DX NetOps Manager.

Komponen DX berjalan pada kluster dan penskalaan Kubernetes hanya dengan meluncurkan POD baru. Di bawah ini adalah diagram solusi tingkat atas.

Administrasi, penskalaan, dan pemutakhiran platform DX dilakukan di konsol administratif. Dari satu konsol, Anda dapat mengelola arsitektur multi-penyewa yang dapat menjangkau beberapa perusahaan atau beberapa unit bisnis dalam satu perusahaan. Dalam model ini, setiap fasilitas dapat dikonfigurasi secara individual sebagai penyewa dengan rangkaian konfigurasinya sendiri.

Konsol Administrasi adalah alat manajemen sistem dan operasi berbasis web yang menyediakan administrator dengan antarmuka yang konsisten dan terpadu untuk melakukan tugas manajemen klaster pemantauan.

Penyewa baru untuk unit bisnis atau perusahaan dalam perusahaan dikerahkan dalam hitungan menit. Ini adalah keuntungan jika Anda ingin memiliki sistem pemantauan terpadu, tetapi pada saat yang sama, di tingkat platform (dan bukan hak akses), batasi objek pemantauan antar departemen.

Model layanan sumber daya dan pemantauan layanan bisnis

DX OI memiliki mekanisme bawaan untuk membuat layanan dan mengembangkan PCM klasik dengan tugas logika pengaruh dan bobot antar komponen layanan. Ada juga mekanisme untuk mengekspor PCM dari CMDB eksternal. Gambar di bawah menunjukkan editor PCM bawaan (perhatikan bobot tautan).

DX OI memberikan gambaran menyeluruh tentang indikator kinerja utama untuk bisnis atau layanan TI pada tingkat terperinci, termasuk ketersediaan layanan dan prediksi risiko kegagalan. Alat tersebut juga dapat memberikan wawasan tentang dampak masalah kinerja atau perubahan struktur komponen TI (aplikasi atau infrastruktur) pada layanan bisnis. Gambar di bawah ini adalah dasbor interaktif yang menampilkan status semua layanan.

Mari kita lihat lebih dekat layanan Perbankan Digital sebagai contoh. Dengan mengklik nama layanan, kami pergi ke layanan PCM terperinci. Kami melihat bahwa status layanan Perbankan Digital bergantung pada keadaan infrastruktur dan sublayanan transaksional dengan bobot yang berbeda. Bekerja dengan bobot dan menampilkannya adalah keuntungan menarik dari DX OI.

Topologi adalah elemen penting dari pemantauan operasional perusahaan, yang memungkinkan operator dan insinyur menganalisis hubungan antar komponen, menemukan akar penyebab dan pengaruhnya.

DX OI Topology Viewer adalah layanan yang menggunakan data topologi dari sistem pemantauan domain yang mengumpulkan data langsung dari objek pemantauan. Alat ini dirancang untuk mencari beberapa lapisan penyimpanan topologi dan menampilkan peta hubungan khusus konteks. Untuk menyelidiki masalah, Anda dapat membuka sublayanan Backend Banking yang bermasalah dan melihat topologi dan komponen yang bermasalah. Pesan alarm dan metrik kinerja juga dapat dianalisis untuk setiap komponen.

Saat menganalisis komponen transaksi Pembayaran (transaksi pengguna), kami dapat melacak nilai KPI bisnis, yang juga diperhitungkan saat menghitung status ketersediaan dan kesehatan layanan. Contoh KPI bisnis ditunjukkan di bawah ini:

Analisis peristiwa (Analitik Alarm)

Pengurangan noise algoritmik karena crash clustering

Salah satu fitur utama DX OI dalam penanganan kejadian adalah pengelompokan. Mekanisme bekerja pada semua peringatan yang masuk ke sistem untuk mengidentifikasi pola berdasarkan konteks yang berbeda dan menggabungkannya ke dalam grup. Cluster ini belajar mandiri dan tidak perlu dikonfigurasi secara manual.

Dengan demikian, pengelompokan memungkinkan pengguna untuk menggabungkan dan mengelompokkan sejumlah besar peristiwa dan hanya menganalisis peristiwa yang memiliki konteks yang sama. Misalnya, sekumpulan peristiwa yang merepresentasikan insiden yang memengaruhi aplikasi atau pusat data. Situasi dibuat menggunakan algoritma pengelompokan berbasis pembelajaran mesin yang menggunakan korelasi temporal, hubungan topologi, dan pemrosesan bahasa asli untuk analisis. Gambar di bawah ini menunjukkan contoh visualisasi kelompok pesan yang dikelompokkan, yang disebut Alarm Situasi, dan Timeline Bukti, yang menampilkan parameter pengelompokan utama dan proses pengurangan jumlah kejadian kebisingan.

Analisis akar masalah dan korelasi kecelakaan

Dalam lingkungan hibrid saat ini, transaksi pengguna dapat memengaruhi banyak sistem yang digunakan secara dinamis. Akibatnya, banyak peringatan dapat dihasilkan dari sistem yang berbeda, tetapi terkait dengan masalah atau insiden yang sama. DX OI menggunakan mekanisme hak milik untuk menekan redundan dan peringatan duplikat dan menghubungkan peringatan terkait untuk peningkatan deteksi masalah kritis dan penyelesaian yang lebih cepat.

Mari kita perhatikan contoh ketika sistem menerima banyak pesan darurat untuk berbagai objek (KE) yang mendasari satu layanan. Jika terjadi dampak pada ketersediaan dan pengoperasian layanan, sistem akan menghasilkan alarm layanan (Alarm Layanan), menunjukkan dan menetapkan kemungkinan akar penyebab (masalah CI dan pesan alarm pada CI) yang berkontribusi terhadap penurunan kinerja atau kegagalan layanan. Gambar di bawah menunjukkan visualisasi kerusakan untuk layanan Webex.

DX OI memungkinkan Anda bekerja dengan acara melalui tindakan intuitif di antarmuka web sistem. Pengguna dapat menetapkan acara secara manual kepada karyawan yang bertanggung jawab untuk pemecahan masalah, menyetel ulang/mengakui peringatan, membuat tiket atau mengirim pemberitahuan email, menjalankan skrip otomatis untuk mengatasi keadaan darurat (Alur Kerja Remediasi, lebih lanjut nanti). Dengan cara ini, DX OI memungkinkan operator shift untuk fokus pada pesan alarm root dan juga membantu menyederhanakan proses penyortiran pesan ke dalam array yang dikelompokkan.

Algoritme mesin untuk memproses metrik dan menganalisis data kinerja

Pembelajaran mesin memungkinkan Anda untuk melacak, mengumpulkan, dan memvisualisasikan indikator kinerja utama untuk jangka waktu tertentu, yang memberi pengguna manfaat berikut:

• Deteksi kemacetan dan anomali kinerja;
• Perbandingan beberapa indikator untuk perangkat, antarmuka, atau jaringan yang sama;
• Perbandingan indikator yang sama pada beberapa objek;
• Perbandingan berbagai indikator untuk satu dan beberapa objek;
• Perbandingan metrik multidimensi untuk beberapa objek.

Untuk menganalisis metrik yang memasuki sistem, DX OI menggunakan fungsi analitik mesin menggunakan algoritme matematika, yang membantu mengurangi waktu saat menyetel ambang batas statis dan menghasilkan peringatan saat terjadi anomali.

Hasil dari penerapan algoritme matematika adalah konstruksi dari apa yang disebut distribusi probabilitas dari nilai metrik (Rare, Probable, Center, Mean, Actual). Angka-angka di atas dan di bawah menunjukkan distribusi probabilitas.

Dua grafik di atas menunjukkan data berikut:

• Data aktual (Aktual). Data aktual diplot sebagai garis hitam pekat (tanpa alarm) atau garis padat berwarna (kondisi alarm). Garis dihitung berdasarkan data aktual untuk metrik. Dengan membandingkan data aktual dan median, Anda dapat dengan cepat melihat variasi dalam metrik. Ketika suatu peristiwa terjadi, garis hitam berubah menjadi garis padat berwarna yang sesuai dengan tingkat keparahan peristiwa dan menampilkan ikon dengan tingkat keparahan yang sesuai di atas grafik. Misalnya, merah untuk anomali kritis, oranye untuk anomali besar, dan kuning untuk anomali kecil.
• Nilai rata-rata indikator (Mean value). Median atau rata-rata untuk ukuran ditampilkan sebagai garis abu-abu di bagan. Nilai rata-rata ditampilkan saat data historis tidak cukup.
• Nilai median indikator (Nilai tengah). Garis median adalah bagian tengah rentang dan ditampilkan sebagai garis putus-putus berwarna hijau. Zona yang paling dekat dengan garis ini paling dekat dengan nilai tipikal indikator.
• Data umum (Common Value). Data Zona Total melacak yang paling dekat dengan garis tengah atau normal untuk metrik Anda dan ditampilkan sebagai bilah hijau tua. Perhitungan analitik menempatkan zona total satu persentil di atas atau di bawah normal.
• data probabilistik. Data zona probabilitas ditampilkan pada grafik dengan bilah hijau. Sistem menempatkan zona probabilitas dua persentil di atas atau di bawah normal.
• Data langka. Data zona langka ditampilkan pada grafik sebagai bilah hijau muda. Sistem menempatkan zona dengan nilai metrik langka tiga persentil di atas atau di bawah norma dan menandakan perilaku indikator di luar kisaran normal, sementara sistem menghasilkan apa yang disebut Peringatan Anomali.

Anomali adalah pengukuran atau peristiwa yang tidak konsisten dengan kinerja normal metrik. Deteksi anomali untuk mengidentifikasi masalah dan memahami tren dalam infrastruktur dan aplikasi adalah fitur utama DX OI. Deteksi anomali memungkinkan Anda mengenali perilaku yang tidak biasa (misalnya, server yang merespons lebih lambat dari biasanya, atau aktivitas jaringan yang tidak biasa yang disebabkan oleh peretasan) dan merespons sesuai (memulai insiden, menjalankan skrip Remediasi otomatis).

Fitur deteksi anomali DX OI memberikan keuntungan sebagai berikut:

• Anda tidak perlu menetapkan ambang batas. DX OI akan membandingkan data secara independen dan mengidentifikasi anomali.
• DX OI mencakup lebih dari sepuluh kecerdasan buatan dan algoritme pembelajaran mesin, termasuk EWMA (Exponentially-Weighted-Moving-Average) dan KDE (Kernel Density Estimation). Algoritme ini memungkinkan Anda untuk melakukan analisis akar masalah dengan cepat dan memprediksi metrik di masa mendatang.

Analitik prediktif dan peringatan kegagalan

Wawasan Prediktif adalah fitur yang menggunakan kekuatan pembelajaran mesin untuk mengidentifikasi pola dan tren. Berdasarkan tren tersebut, sistem memprediksi kejadian yang mungkin terjadi di masa mendatang. Pesan ini menunjukkan bahwa tindakan harus diambil sebelum nilai metrik melampaui kisaran normal, yang berdampak pada layanan bisnis penting. Wawasan Prediktif ditunjukkan pada gambar di bawah ini.

Dan ini adalah visualisasi peringatan prediktif untuk metrik tertentu.

Peramalan beban daya komputasi dengan fungsi mengatur skenario beban

Fitur perencanaan kapasitas Capacity Analytics membantu mengelola sumber daya TI dengan memastikan bahwa sumber daya berukuran tepat untuk memenuhi kebutuhan bisnis saat ini dan di masa mendatang. Anda akan dapat mengoptimalkan kinerja dan efisiensi sumber daya yang ada, merencanakan dan membenarkan setiap investasi keuangan.

Fitur Capacity Analytics di DX OI memberikan keuntungan sebagai berikut:

• Peramalan kapasitas selama musim puncak;
• Penentuan kapan sumber daya tambahan diperlukan untuk memastikan kualitas layanan;
• Membeli sumber daya tambahan hanya saat dibutuhkan;
• Infrastruktur yang efisien dan manajemen jaringan;
• Hilangkan biaya energi yang tidak perlu dengan mengidentifikasi sumber daya yang kurang dimanfaatkan;
• Melakukan estimasi beban sumber daya jika ada rencana peningkatan permintaan untuk layanan atau sumber daya.

Laman Capacity Analytics DX OI (ditampilkan di bawah) memiliki widget berikut:

• Status Kapasitas Sumber Daya;
• Grup / layanan terkontrol (Monitored Groups / Services);
• Konsumen sumber daya yang besar (Konsumen Kapasitas Teratas).

Laman utama Analisis Kapasitas menunjukkan komponen sumber daya yang digunakan secara berlebihan dan kehabisan kapasitas. Halaman ini membantu administrator platform menemukan sumber daya yang terlalu sering digunakan dan membantu mereka mengubah ukuran serta mengoptimalkan sumber daya. Status sumber daya dapat dianalisis berdasarkan kode warna dan nilainya masing-masing. Sumber daya dikategorikan menurut tingkat kepadatannya di halaman status kapasitas sumber daya. Anda dapat mengklik setiap warna untuk melihat daftar komponen dalam kategori yang dipilih. Selanjutnya, peta panas dengan semua objek dan prakiraan selama 12 bulan ditampilkan, yang memungkinkan Anda mengidentifikasi sumber daya yang akan habis.

Untuk setiap metrik di Capacity Analytics, Anda dapat menentukan filter yang digunakan DX Operational Intelligence untuk membuat prakiraan (gambar di bawah).

Filter berikut tersedia:

• Metrik. Metrik yang akan digunakan untuk perkiraan.
• Berdasarkan. Pemilihan jumlah data historis yang akan digunakan untuk membangun prakiraan di masa mendatang. Bidang ini digunakan untuk membandingkan dan menganalisis tren bulan lalu, tren 3 bulan terakhir, tren tahunan, dll.
• Pertumbuhan. Tingkat pertumbuhan yang diharapkan dari beban kerja yang ingin Anda gunakan untuk memodelkan perkiraan kapasitas. Data ini dapat digunakan untuk meramalkan pertumbuhan di luar perkiraan. Misalnya, penggunaan sumber daya diperkirakan akan meningkat 40 persen lagi karena pembukaan kantor baru.

Analisis log

Fitur analisis log DX OI menyediakan:

• pengumpulan, agregasi log dari berbagai sumber (termasuk yang diperoleh dengan metode agen dan tanpa agen);
• parsing dan normalisasi data;
• analisis untuk kepatuhan dengan kondisi yang ditetapkan dan pembuatan peristiwa;
• korelasi peristiwa berdasarkan log, termasuk peristiwa yang diterima sebagai hasil pemantauan infrastruktur TI;
• visualisasi data berdasarkan analisis di Dasbor DX;
• kesimpulan tentang ketersediaan layanan berdasarkan analisis data dari log.

Pengumpulan log menggunakan metode tanpa agen dilakukan oleh sistem untuk Windows Event logs dan Syslog. Cara berbasis agen untuk mengumpulkan log teks.

Fungsi Resolusi Darurat Otomatis (Remediasi)

Tindakan otomatis untuk memperbaiki keadaan darurat (Alur Kerja Remediasi) memungkinkan Anda memecahkan masalah yang menyebabkan terjadinya peristiwa di DX OI. Misalnya, jika masalah penggunaan CPU menimbulkan alarm, Alur Kerja Remediasi memecahkan masalah dengan memulai ulang server yang bermasalah. Integrasi antara DX OI dan sistem otomasi memungkinkan proses remediasi dipicu dari konsol peristiwa di DX Operational Intelligence dan dilacak di konsol sistem otomasi.

Setelah berintegrasi dengan sistem otomasi, Anda dapat memicu tindakan otomatis untuk memperbaiki keadaan darurat apa pun di konsol DX OI dari konteks alarm. Anda dapat melihat tindakan yang disarankan bersama dengan informasi tentang persentase kepercayaan (kemungkinan situasi akan teratasi dengan mengambil tindakan).

Awalnya, ketika tidak ada statistik hasil Alur Kerja Remediasi, mesin rekomendasi menyarankan kandidat berdasarkan pencarian kata kunci, kemudian hasil pembelajaran mesin digunakan, dan mesin mulai merekomendasikan teknik remediasi berbasis heuristik. Segera setelah Anda mulai mengevaluasi hasil dari petunjuk yang diterima, keakuratan rekomendasi akan meningkat.

Contoh umpan balik pengguna: pengguna memilih apakah dia suka atau tidak suka tindakan yang diusulkan, dan sistem mempertimbangkan pilihan ini saat membuat rekomendasi lebih lanjut. Suka tidak suka:

Tindakan korektif yang disarankan untuk alarm tertentu didasarkan pada kombinasi umpan balik yang menentukan apakah tindakan tersebut dapat diterima. DX OI hadir dengan integrasi siap pakai dengan Automic Automation.

Integrasi DX OI dengan sistem pihak ketiga

Kami tidak akan memikirkan integrasi data dari produk pemantauan Broadcom asli (DX NetOps, Manajemen Infrastruktur DX, Manajemen Kinerja Aplikasi DX). Sebagai gantinya, mari kita lihat bagaimana data dari sistem pihak ketiga pihak ketiga diintegrasikan dan pertimbangkan contoh integrasi dengan salah satu sistem paling populer - Zabbix.

Untuk integrasi dengan sistem pihak ketiga, komponen DX Gateway digunakan. DX Gateway terdiri dari 3 komponen - On-Prem Gateway, RESTmon, dan Log Collector (Logstash). Anda dapat menginstal semua 3 komponen atau hanya yang Anda perlukan dengan mengubah file konfigurasi umum saat menginstal DX Gateway. Gambar di bawah menunjukkan arsitektur DX Gateway.

Mari pertimbangkan tujuan dari komponen DX Gateway secara terpisah.

Gerbang Lokal. Ini adalah antarmuka yang mengumpulkan alarm dari platform DX dan mengirimkan kejadian alarm ke sistem pihak ketiga. On-Prem Gateway bertindak sebagai poller yang secara berkala mengumpulkan data peristiwa dari DX OI menggunakan API permintaan HTTPS, lalu mengirimkan peringatan ke server pihak ketiga yang terintegrasi dengan platform DX menggunakan webhook.

Kolektor Log DX menerima syslog dari perangkat jaringan atau server dan mengunggahnya ke OI. DX Log Collector memungkinkan Anda memisahkan perangkat lunak yang menghasilkan pesan, sistem yang menyimpannya, dan perangkat lunak yang melaporkan dan menganalisisnya. Setiap pesan diberi tag dengan kode objek yang menunjukkan jenis perangkat lunak yang menghasilkan pesan, dan tingkat keparahan ditetapkan untuknya. Di Dasbor DX, semua ini kemudian dapat dilihat.

DX RESTmon terintegrasi dengan produk/layanan pihak ketiga melalui REST API dan meneruskan data ke OI. Gambar di bawah menunjukkan pengoperasian DX RESTmon menggunakan contoh integrasi dengan sistem pemantauan Solarwinds dan SCOM.

Fitur utama DX RESTmon:

• Sambungkan ke sumber data pihak ketiga mana pun untuk menerima data:
  • PULL: menghubungkan dan mengambil data dari API REST publik;
  • PUSH: aliran data ke RESTmon melalui REST.
• Dukungan untuk format JSON dan XML;
• Terima metrik, peringatan, grup, topologi, inventaris, dan log;
• Konektor siap pakai untuk berbagai alat/teknologi, juga memungkinkan untuk mengembangkan konektor ke sumber apa pun dengan API terbuka (daftar konektor kotak pada gambar di bawah);
• Dukungan untuk otentikasi dasar (default) saat mengakses antarmuka dan API Swagger;
• Dukungan HTTPS (default) untuk semua pesan masuk dan keluar;
• Dukungan untuk proxy masuk dan keluar;
• Kemampuan penguraian teks yang kuat untuk log yang diterima melalui REST;
• Penguraian yang dapat disesuaikan dengan RESTmon untuk penguraian dan visualisasi log yang efisien;
• Dukungan untuk mengekstraksi informasi tentang grup perangkat dari aplikasi pemantauan dan pengunduhan ke OI untuk analisis dan visualisasi;
• Dukungan untuk pencocokan ekspresi reguler. Ini dapat digunakan untuk mengurai dan mencocokkan pesan log yang diterima melalui REST, dan untuk membuat atau menutup peristiwa berdasarkan kondisi ekspresi reguler tertentu.

Sekarang mari kita lihat proses pengaturan integrasi DX OI dengan Zabbix melalui DX RESTmon. Integrasi kotak mengambil data berikut dari Zabbix:

• data inventaris;
• topologi;
• Masalah;
• metrik.

Karena konektor untuk Zabbix tersedia di luar kotak, semua yang perlu dilakukan untuk menyiapkan integrasi adalah memperbarui profil dengan alamat IP dan akun API server Zabbix, lalu mengunggah profil melalui antarmuka web Swagger . Contohnya ada di dua gambar berikutnya.

Setelah mengonfigurasi integrasi, fungsi analitik DX OI yang dijelaskan di atas akan tersedia untuk data yang berasal dari Zabbix, yaitu: Analisis Alarm, Analisis Kinerja, Wawasan Prediktif, Analisis Layanan, dan Remediasi. Gambar di bawah menunjukkan contoh analisis metrik performa untuk objek yang terintegrasi dari Zabbix.

Kesimpulan

DX OI adalah alat analitik canggih yang akan memberikan efisiensi operasional yang signifikan bagi departemen TI, memungkinkan Anda membuat keputusan yang lebih cepat dan tepat untuk meningkatkan kualitas layanan TI dan layanan bisnis melalui analisis kontekstual lintas domain. Untuk pemilik aplikasi dan unit bisnis, DX OI akan menghitung ketersediaan dan kualitas layanan tidak hanya dalam konteks metrik teknologi TI, tetapi juga KPI bisnis yang diperoleh dari statistik transaksional pengguna akhir.

Jika Anda ingin mempelajari lebih lanjut tentang solusi ini, ajukan demo atau percontohan dengan cara yang nyaman bagi Anda di situs web kami.

Sumber: www.habr.com