Sistem pendukung dokumentasi di bank kami terus berkembang dan berkembang, dan persyaratan untuk kecepatan dan toleransi kesalahan semakin meningkat. Pada titik tertentu, mempertahankan LMS tanpa pemantauan terpusat yang efektif menjadi terlalu berisiko. Untuk mengamankan proses bisnis di VTB dan menyederhanakan pekerjaan administrator, kami menerapkan solusi berdasarkan serangkaian teknologi terbuka. Dengan bantuannya, kita dapat merespons insiden secara proaktif, mencegah potensi masalah. Di bawah ini adalah cerita tentang pengalaman kami dalam menggunakan perangkat lunak gratis untuk memantau sistem bisnis skala besar.
Mengapa memantau sistem manajemen dokumen Anda?
Sejak tahun 2005, dukungan dokumentasi di VTB Bank telah βdikelolaβ oleh sistem CompanyMedia. LMS mempekerjakan lebih dari 60 ribu pengguna yang membuat lebih dari satu juta dokumen baru setiap bulannya. Server kami harus berfungsi 24 jam sehari: hampir setiap saat terdapat 2500β3000 orang dalam sistem, yang terhubung di seluruh negeri, dari Petropavlovsk-Kamchatsky hingga Kaliningrad. Setiap detik pengoperasian LMS berarti 10β15 perubahan.
Untuk memastikan bahwa sistem secara akurat memenuhi tugas yang diberikan, kami telah menerapkan infrastruktur yang toleran terhadap kesalahan menggunakan server proxy, penyeimbangan permintaan, perlindungan informasi, pencarian teks lengkap, rute integrasi, dan pencadangan. Untuk mendukung dan mengelola proyek sebesar ini memerlukan sumber daya yang sangat besar. Administrator memantau informasi dasar tentang operasi server, beban RAM, waktu CPU, subsistem I/O, dan sebagainya sepanjang waktu. Namun selain itu, diperlukan analisis yang lebih halus:
- menghitung waktu yang dihabiskan untuk melaksanakan skenario bisnis;
- memantau dinamika kinerja sistem dan bebannya;
- mencari penyimpangan komponen sistem dari persyaratan non-fungsional yang disetujui.
11 tahun setelah diperkenalkannya LMS, masalah respons proaktif terhadap berbagai jenis kesalahan menjadi sangat akut. Manajemen bank menyadari bahwa bekerja tanpa monitor dan konsol kehidupan sistem adalah bermain api: kegagalan sekecil apa pun dalam sistem bisnis pada tingkat ini dapat mengakibatkan kerugian jutaan dolar.
Pada tahun 2016, kami mulai memperkenalkan alat untuk mengidentifikasi masalah dengan cepat dalam fungsi LMS, termasuk memantau parameter yang kami minati secara real time. Sebelumnya, sistem pemantauan yang diterapkan diterapkan dan diuji dalam kerangka infrastruktur perusahaan InterTrust.
Bagaimana semuanya dimulai
Saat ini, sistem pemantauan aplikasi terpusat dari VTB LMS, berdasarkan produk perangkat lunak sumber terbuka, membantu mencegah sebagian besar kesalahan yang terkait dengan aliran dokumen, mengklasifikasikan masalah dengan cepat dan akurat, dan segera merespons setiap insiden. Ini mencakup dua subsistem:
- untuk memantau infrastruktur TI dari layanan sistem;
- untuk memantau terjadinya kesalahan dalam pengoperasian LMS.
Semuanya dimulai dengan satu aplikasi pemantauan gratis. Setelah melalui beberapa pilihan, kami memilih Zabbix - perangkat lunak gratis yang awalnya ditulis untuk layanan dan peralatan perbankan. Sistem berbasis web PHP yang dapat menyimpan data di MySQL, PostgreSQL, SQLite atau Oracle Database, sangat sesuai dengan kebutuhan kami.
Zabbix menjalankan agennya di setiap server dan mengumpulkan informasi tentang metrik yang diinginkan secara real time ke dalam satu database. Dengan menggunakan aplikasi ini, akan lebih mudah untuk mengumpulkan data tentang beban pada prosesor dan RAM, tentang penggunaan jaringan dan komponen lainnya, memeriksa ketersediaan dan respons layanan standar (SMTP atau HTTP), menjalankan program eksternal, dan mendukung pemantauan melalui SNMP.
Setelah menerapkan Zabbix, kami mengonfigurasi metrik perangkat keras standar, dan pada awalnya ini sudah cukup. Namun VTB SDO terus berkembang dan berkembang: pada tahun 2016, jumlah server meningkat secara signifikan, proses migrasi muncul, Bank of Moscow, VTB Capital, dan VTB24 bergabung dengan sistem. Metrik standar tidak lagi cukup, dan kami mengajarkan Zabbix untuk melacak informasi tentang keberadaan antrian di setiap volume yang terhubung ke server (di luar kotak, Zabbix hanya mencerminkan antrian disk umum), serta waktu yang dibutuhkan untuk menyelesaikan prosedur tertentu.
Selain itu, kami melengkapi sistem dengan beberapa pemicu - kondisi di mana pemberitahuan dikirim ke administrator (pesan di Telegram, SMS ke nomor telepon atau email). Pemicu dapat dikonfigurasi untuk serangkaian parameter apa pun. Misalnya, Anda dapat menentukan persentase tertentu dari ruang disk kosong, dan sistem akan memperingatkan administrator ketika ambang batas yang ditentukan tercapai, atau memberi tahu Anda jika prosedur latar belakang berjalan lebih lama dari biasanya.
Konektivitas Java dan visualisasi data
Kami secara signifikan memperluas jangkauan data yang dianalisis, namun hal ini tidak cukup untuk melakukan pemantauan yang efektif. Memanfaatkan fakta bahwa LMS CompanyMedia adalah aplikasi Java, kami terhubung ke Java Virtual Machine melalui antarmuka JMX dan dapat mengambil metrik Java secara langsung. Dan tidak hanya parameter standar aktivitas vital Java, seperti intensitas kerja GC atau konsumsi Heap, tetapi juga pengujian spesifik yang terkait langsung dengan kode aplikasi yang dapat dieksekusi.
Pada tahun 2017, sekitar satu tahun setelah penerapan sistem pemantauan, menjadi jelas bahwa agar dapat berfungsi secara normal dengan sejumlah besar data yang dikumpulkan di Zabbix, visualisasi - layar yang rumit tidak mencukupi. Solusi terbaik untuk masalah ini sekali lagi adalah perangkat lunak gratis - Grafana, dasbor metrik yang nyaman yang memungkinkan Anda menggabungkan semua data dalam satu layar.
Antarmuka Grafana bersifat interaktif, mengingatkan pada sistem OLAP. Subsistem menampilkan data yang diterima Zabbix dalam satu layar, menyajikan informasi dalam bentuk grafik dan diagram yang mudah dianalisis. Administrator dapat dengan mudah menyesuaikan irisan yang dia butuhkan.
Pemantauan dan pencegahan penghapusan kesalahan pada sistem LMS
Platform perangkat lunak sumber terbuka ELK membantu Anda memfilter dan menganalisis informasi yang diterima selama pemantauan. Produk sumber terbuka ini terdiri dari tiga alat canggih untuk mengumpulkan, menyimpan, dan menganalisis data: Elasticsearch, Logstash, dan Kibana. Penerapan subsistem ini memungkinkan, khususnya, untuk melihat secara real time berapa banyak kesalahan yang terjadi dalam sistem, di server mana dan apakah kesalahan ini berulang.
Sekarang administrator dapat mendeteksi masalah pada tahap awal, bahkan sebelum pengguna menemukannya. Pemantauan proaktif semacam itu memungkinkan Anda mencegah malfungsi sistem dengan menghilangkan kesalahan secara tepat waktu. Selain itu, kami dapat memahami bagaimana perilaku sistem berubah setelah pembaruan, serta mendeteksi masalah baru jika muncul.
Pemantauan Operasi Bisnis
Selain fungsi dasar memantau konsumsi sumber daya, sistem memiliki kemampuan untuk menganalisis dan mengendalikan operasi bisnis.
Memantau keseluruhan waktu pelaksanaan operasi bisnis memungkinkan Anda mengidentifikasi faktor-faktor baru dan memahami dampaknya terhadap pengoperasian sistem.
Memantau waktu pelaksanaan permintaan untuk setiap layanan bisnis memungkinkan untuk mendeteksi operasi yang menyimpang dari norma.
Tangkapan layar di atas adalah contoh pemantauan tugas latar belakang dalam hal penyimpangannya dari norma.
Daftar tugas yang dikontrol berdasarkan aktivitasnya di server tertentu memungkinkan Anda mengidentifikasi kesalahan - termasuk duplikasi pelaksanaan tugas - di semua server.
Tren waktu pelaksanaan prosedur latar belakang juga dipantau.
Sistem tumbuh, berkembang dan membantu mengatasi permasalahan
Dengan penerapan sistem yang dijelaskan, pemantauan pengoperasian server LMS menjadi jauh lebih sederhana. Meski demikian, berbagai macam konflik muncul dari waktu ke waktu sehingga mempengaruhi kecepatan aliran dokumen dan menimbulkan keluhan pengguna. Jadi kami menyadari bahwa penting untuk mengontrol perilaku aplikasi itu sendiri, dan bukan hanya servernya.
Untuk mengatasi masalah ini, penyeimbang dihubungkan ke sistem pemantauan melalui API, yang bekerja dengan sekelompok server aplikasi. Berkat ini, administrator dapat melihat berapa lama waktu yang dibutuhkan server untuk merespons setiap permintaan pengguna.
Data waktu respons server tersedia untuk dianalisis, yang memungkinkan untuk menghubungkan perlambatan LMS dengan proses yang terjadi di server. Secara khusus, situasi menarik muncul: server berjalan lambat, meskipun saat ini tidak dimuat. Menganalisis anomali tersebut, kami menemukan penyimpangan dalam pengoperasian Pengumpul Sampah Jawa. Pada akhirnya, ternyata pengoperasian layanan yang salah inilah yang menyebabkan situasi ini. Dengan mengambil kendali Java Pengumpul Sampah, kami sepenuhnya menghilangkan masalah tersebut.
Beginilah cara perangkat lunak bebas membantu sistem manajemen dokumen di industri perbankan berkembang dan berkembang. Kami hanya membahas masalah utama yang terkait dengan sistem pemantauan VTB SDO. Jika Anda tertarik dengan detailnya, tanyakan di komentar, kami akan dengan senang hati berbagi pengalaman kami dengan Anda.
Sumber: www.habr.com