Bankamızdaki dokümantasyon destek sistemi sürekli gelişiyor ve ölçekleniyor, hız ve hata toleransı gereksinimleri de artıyor. Bir noktada, etkili merkezi izleme olmadan bir ÖYS/LMS'yi sürdürmek çok riskli hale geldi. VTB'de iş süreçlerini güvence altına almak ve yöneticilerin işini basitleştirmek için bir dizi açık teknolojiye dayalı bir çözüm uyguladık. Onun yardımıyla olaylara proaktif bir şekilde müdahale ederek olası sorunları önleyebiliriz. Kesimin altında, büyük ölçekli iş sistemlerini izlemek için özgür yazılım kullanma konusundaki deneyimimizle ilgili bir hikaye var.
Doküman yönetim sisteminizi neden izlemelisiniz?
2005 yılından bu yana VTB Bank'taki dokümantasyon desteği CompanyMedia sistemi tarafından "yönetilmektedir". LMS, her ay bir milyondan fazla yeni belge oluşturan 60 binden fazla kullanıcıya sahiptir. Sunucularımız günün 24 saati çalışmalıdır: Sistemde neredeyse her an Petropavlovsk-Kamchatsky'den Kaliningrad'a kadar ülke genelinde bağlantılı 2500-3000 kişi bulunmaktadır. LMS işleminin her saniyesi 10-15 değişiklik anlamına gelir.
Sistemin kendisine atanan görevleri doğru bir şekilde yerine getirmesini sağlamak için proxy sunucuları, istek dengelemeyi, bilgi korumayı, tam metin aramayı, entegrasyon yollarını ve yedeklemeyi kullanarak hataya dayanıklı bir altyapı kurduk. Bu ölçekte bir projeyi desteklemek ve yönetmek çok büyük kaynaklar gerektirir. Yöneticiler sunucunun çalışması, RAM yükü, CPU zamanı, G/Ç alt sistemi vb. hakkındaki temel bilgileri günün her saati izler. Ancak bunun yanında daha ince analizlere ihtiyaç var:
- iş senaryolarının yürütülmesi için harcanan sürenin hesaplanması;
- sistem performansının dinamiklerini ve üzerindeki yükü izlemek;
- Sistem bileşenlerinde onaylanmış işlevsel olmayan gereksinimlerden sapmaların araştırılması.
ÖYS/LMS'nin piyasaya sürülmesinden 11 yıl sonra, çeşitli hata türlerine proaktif yanıt verme konusu özellikle akut hale geldi. Banka yönetimi, monitörler ve sistem yaşam konsolu olmadan çalışmanın ateşle oynamak olduğunu fark etti: Bu seviyedeki bir iş sistemindeki en ufak bir arıza, milyonlarca kayba yol açabilir.
2016 yılında, bizi ilgilendiren parametrelerin gerçek zamanlı olarak izlenmesi de dahil olmak üzere, ÖYS/LMS'nin işleyişindeki sorunları hızla tespit etmeye yönelik araçları sunmaya başladık. Uygulanan izleme sistemi daha önce InterTrust şirket altyapısı çerçevesinde kurulup test edilmişti.
Her şey nasıl başladı
Bugün, VTB LMS'nin açık kaynaklı yazılım ürünlerini temel alan merkezi uygulama izleme sistemi, belge akışıyla ilgili çoğu hatanın önlenmesine, sorunların hızlı ve doğru bir şekilde sınıflandırılmasına ve her türlü olaya anında müdahale edilmesine yardımcı oluyor. İki alt sistem içerir:
- sistem hizmetlerinin BT altyapısını izlemek için;
- ÖYS/LMS'nin işleyişindeki hataların oluşumunu izlemek için.
Her şey tek bir ücretsiz izleme uygulamasıyla başladı. Çeşitli seçenekleri inceledikten sonra, başlangıçta bankacılık hizmetleri ve ekipmanları için yazılmış ücretsiz bir yazılım olan Zabbix'te karar kıldık. Verileri MySQL, PostgreSQL, SQLite veya Oracle Database'de depolayabilen bu PHP web tabanlı sistem, ihtiyaçlarımıza mükemmel bir şekilde uyuyordu.
Zabbix, aracılarını her sunucuda çalıştırır ve ilgilenilen ölçümlere ilişkin bilgileri gerçek zamanlı olarak tek bir veritabanında toplar. Uygulamayı kullanarak, işlemciler ve RAM üzerindeki yük, ağ ve diğer bileşenlerin kullanımı hakkında veri toplamak, standart hizmetlerin (SMTP veya HTTP) kullanılabilirliğini ve yanıtını kontrol etmek, harici programları çalıştırmak ve aracılığıyla izlemeyi desteklemek uygundur. SNMP.
Zabbix'i konuşlandırdıktan sonra standart donanım metriklerini yapılandırdık ve ilk başta bu yeterliydi. Ancak VTB SDO sürekli gelişiyor ve büyüyor: 2016'da sunucu sayısı gözle görülür şekilde arttı, geçiş süreçleri ortaya çıktı, Moskova Bankası, VTB Capital ve VTB24 sisteme katıldı. Artık yeterli standart ölçüm yok ve Zabbix'e, sunucuya bağlı her bir birimdeki kuyrukların varlığı hakkındaki bilgileri (kutudan çıktığı haliyle Zabbix yalnızca genel disk kuyruğunu yansıtır) ve bunun için geçen süreyi izlemeyi öğrettik. Belirli bir prosedürü tamamlamak için.
Ek olarak, sistemi birden fazla tetikleyiciyle donattık - yöneticiye bir bildirimin gönderildiği koşullar (Telegram'da bir mesaj, bir telefon numarasına SMS veya bir e-posta). Tetikleyiciler herhangi bir parametre seti için yapılandırılabilir. Örneğin, boş disk alanının belirli bir yüzdesini belirtebilirsiniz; sistem, belirtilen eşiğe ulaşıldığında yöneticiyi uyaracak veya bir arka plan prosedürünün normalden daha uzun süre çalışıp çalışmadığını size bildirecektir.
Java bağlantısı ve veri görselleştirme
Analiz edilen verilerin kapsamını önemli ölçüde genişlettik, ancak kısa süre sonra bu, etkili izleme için yeterli olmadı. CompanyMedia'nın LMS'inin bir Java uygulaması olmasından faydalanarak JMX arayüzü üzerinden Java Virtual Machine'e bağlanarak Java metriklerini doğrudan alabildik. Ve yalnızca GC iş yoğunluğu veya Yığın tüketimi gibi hayati önem taşıyan Java etkinliğinin standart parametreleri değil, aynı zamanda yürütülebilir uygulama koduyla doğrudan ilgili özel testler de yapılır.
2017 yılında, izleme sisteminin uygulanmasından yaklaşık bir yıl sonra, Zabbix'te toplanan muazzam miktarda veriyle normal şekilde çalışabilmek için yeterli görselleştirmenin - karmaşık ekranların olmadığı ortaya çıktı. Bu soruna en iyi çözüm yine ücretsiz yazılımdı; tüm verileri tek bir ekranda toplamanıza olanak tanıyan, ölçümler için kullanışlı bir kontrol paneli olan Grafana.
Grafana arayüzü etkileşimlidir ve OLAP sistemini anımsatır. Alt sistem, Zabbix tarafından alınan verileri tek bir ekranda görüntüleyerek bilgileri analiz edilmesi kolay grafik ve diyagramlar halinde sunar. Yönetici ihtiyaç duyduğu dilimleri kolaylıkla özelleştirebilir.
LMS sistemindeki hataların izlenmesi ve önleyici giderilmesi
ELK açık kaynaklı yazılım platformu, izleme sırasında alınan bilgileri filtrelemenize ve analiz etmenize yardımcı olur. Bu açık kaynaklı ürün, verileri toplamak, depolamak ve analiz etmek için üç güçlü araçtan oluşur: Elasticsearch, Logstash ve Kibana. Bu alt sistemin uygulanması, özellikle sistemde kaç hatanın oluştuğunu, hangi sunucularda oluştuğunu ve bu hataların tekrarlanıp tekrarlanmadığını gerçek zamanlı olarak görmeye olanak tanır.
Artık yönetici, kullanıcı sorunla karşılaşmadan önce bile sorunu erken bir aşamada tespit edebilir. Bu tür proaktif izleme, hataları zamanında ortadan kaldırarak sistem arızalarını önlemenize olanak tanır. Ayrıca güncellemeden sonra sistemin davranışının nasıl değiştiğini anlayabilir ve ortaya çıkan yeni sorunları tespit edebiliriz.
İş Operasyonlarının Takibi
Sistem, kaynak tüketimini izleme temel işlevlerine ek olarak iş operasyonlarını analiz etme ve kontrol etme yeteneğine de sahiptir.
İş operasyonlarının genel yürütme süresinin izlenmesi, yeni faktörleri tanımlamanıza ve bunların sistemin işleyişi üzerindeki etkisini anlamanıza olanak tanır.
Her bir iş hizmeti için isteklerin yürütme süresinin izlenmesi, normdan sapan operasyonların tespit edilmesini mümkün kılar.
Yukarıdaki ekran görüntüsü, bir arka plan görevinin normdan sapması açısından izlenmesine bir örnektir.
Belirli bir sunucudaki etkinlikleri açısından kontrol edilen görevlerin listesi, tüm sunucularda görev yürütmenin yinelenmesi de dahil olmak üzere hataları tanımlamanıza olanak tanır.
Arka plan prosedürlerinin yürütme süresindeki eğilimler de izlenir.
Sistem büyüyor, gelişiyor ve sorunlarla baş etmeye yardımcı oluyor
Açıklanan sistemin uygulanmasıyla LMS sunucularının çalışmasının izlenmesi önemli ölçüde basitleştirildi. Ancak zaman zaman çeşitli çatışmalar ortaya çıkıyor, belge akış hızını etkiliyor ve kullanıcı şikayetlerine neden oluyor. Böylece yalnızca sunucuların değil, uygulamanın davranışını da kontrol etmenin gerekli olduğunu fark ettik.
Bu sorunu çözmek için izleme sistemine API aracılığıyla bir dizi uygulama sunucusuyla çalışan bir dengeleyici bağlandı. Bu sayede yönetici, sunucunun her kullanıcı isteğine yanıt vermesinin ne kadar sürdüğünü görebilir.
Sunucu yanıt sürelerine ilişkin veriler analiz için kullanılabilir hale geldi ve bu, LMS'deki yavaşlamanın sunucuda meydana gelen işlemlerle ilişkilendirilmesini mümkün kıldı. Özellikle ilginç bir durum ortaya çıktı: Sunucu şu anda yüklü olmamasına rağmen yavaş çalışıyor. Anormalliği analiz ettiğimizde Çöp Toplayıcı Java'nın çalışmasında sapmalar tespit ettik. Sonunda bu duruma yol açan şeyin bu hizmetin yanlış çalışması olduğu ortaya çıktı. Çöp Toplayıcı Java'nın kontrolünü alarak sorunu tamamen ortadan kaldırdık.
Özgür yazılım, bankacılık sektöründeki belge yönetim sisteminin gelişmesine ve büyümesine bu şekilde yardımcı olur. VTB SDO izleme sistemi ile ilgili sadece ana konulara değindik. Detaylarla ilgileniyorsanız, yorumlardan isteyin, deneyimlerimizi sizinle paylaşmaktan mutluluk duyarız.
Kaynak: habr.com