LMS 用のオープンソース ソフトウェア: VTB での重要なビジネス システムの管理に無料のソフトウェアがどのように役立つか

当銀行の文書サポート システムは継続的に開発および拡張されており、速度とフォールト トレランスに対する要件は高まるばかりです。 ある時点で、効果的な集中監視なしで LMS を維持することは非常に危険になりました。 VTB でのビジネス プロセスを保護し、管理者の作業を簡素化するために、私たちはオープン テクノロジーのスタックに基づくソリューションを実装しました。 その助けを借りて、インシデントに積極的に対応し、潜在的な問題を防ぐことができます。 このカットの下には、大規模なビジネス システムを監視するためにフリー ソフトウェアを使用した経験についてのストーリーが含まれています。

文書管理システムを監視する必要があるのでしょうか?

2005 年以来、VTB Bank での文書サポートは CompanyMedia システムによって「管理」されています。 LMS には 60 万人を超えるユーザーがおり、毎月 24 万件以上の新しいドキュメントを作成しています。 当社のサーバーは 2500 日 3000 時間稼働する必要があります。システムにはほぼ常に 10 ～ 15 人のユーザーが存在し、ペトロパブロフスク・カムチャツキーからカリーニングラードに至るまで国中から接続しています。 LMS 操作の XNUMX 秒ごとに XNUMX ～ XNUMX の変更が行われることを意味します。

システムが割り当てられたタスクを正確に実行できるようにするために、プロキシ サーバー、リクエスト バランシング、情報保護、全文検索、統合ルート、バックアップを使用したフォールト トレラント インフラストラクチャを導入しました。 この規模のプロジェクトをサポートおよび管理するには、膨大なリソースが必要です。 管理者は、サーバーの動作、RAM 負荷、CPU 時間、I/O サブシステムなどに関する基本情報を XNUMX 時間監視します。 しかし、これに加えて、より微妙な分析が必要です。

• ビジネスシナリオの実行に費やされる時間を計算する。
• システムのパフォーマンスと負荷のダイナミクスを監視します。
• システムコンポーネントの、承認された非機能要件からの逸脱を検索します。

LMS の導入から 11 年が経過し、さまざまなタイプのエラーに対するプロアクティブな対応の問題が特に深刻になってきています。 銀行の経営陣は、モニターやシステム ライフ コンソールなしで業務を行うことは火遊びであることに気づきました。このレベルのビジネス システムでのわずかな障害が数百万ドルの損失につながる可能性があります。

2016 年に、関心のあるパラメーターをリアルタイムで監視するなど、LMS の機能の問題を迅速に特定するためのツールの導入を開始しました。 以前は、応用監視システムは InterTrust 企業インフラストラクチャのフレームワーク内で導入およびテストされていました。

それがどうして始まったのか

現在、オープンソース ソフトウェア製品をベースにした VTB LMS の集中アプリケーション監視システムは、ドキュメント フローに関連するほとんどのエラーを防止し、問題を迅速かつ正確に分類し、あらゆるインシデントに迅速に対応するのに役立ちます。 これには XNUMX つのサブシステムが含まれています。

• システムサービスのITインフラストラクチャを監視するため。
• LMS の動作におけるエラーの発生を監視します。

すべては XNUMX つの無料監視アプリから始まりました。 いくつかの選択肢を検討した結果、もともと銀行サービスおよび機器用に作成された無料ソフトウェアである Zabbix に落ち着きました。 MySQL、PostgreSQL、SQLite、または Oracle Database にデータを保存できるこの PHP Web ベース システムは、私たちのニーズにぴったりでした。

Zabbix は各サーバー上でエージェントを実行し、関心のあるメトリクスに関する情報を単一のデータベースにリアルタイムで収集します。 このアプリケーションを使用すると、プロセッサと RAM の負荷、ネットワークやその他のコンポーネントの使用状況に関するデータを収集し、標準サービス (SMTP または HTTP) の可用性と応答を確認し、外部プログラムを実行し、監視をサポートするのに便利です。 SNMP。

Zabbix をデプロイした後、標準のハードウェア メトリクスを構成しましたが、最初はこれで十分でした。 しかし、VTB SDO は常に開発と成長を続けています。2016 年にはサーバーの数が著しく増加し、移行プロセスが登場し、モスクワ銀行、VTB Capital、および VTB24 がシステムに参加しました。 標準的なメトリクスはもはや十分ではないため、サーバーに接続されている各ボリューム上のキューの存在 (初期状態の Zabbix は一般的なディスク キューのみを反映します) とそれにかかる時間に関する情報を追跡するように Zabbix に教えました。特定の手順を完了するため。

さらに、システムには複数のトリガー、つまり管理者に通知が送信される条件 (電報のメッセージ、電話番号への SMS、または電子メール) が装備されました。 トリガーは、任意のパラメーターのセットに対して構成できます。 たとえば、空きディスク領域の一定の割合を指定すると、指定したしきい値に達したときにシステムが管理者に警告を発したり、バックグラウンド プロシージャの実行時間が通常より長くなった場合に通知したりすることができます。

Java 接続とデータの視覚化

分析データの範囲を大幅に拡大しましたが、すぐにこれでは効果的なモニタリングには十分ではなくなりました。 CompanyMedia の LMS が Java アプリケーションであるという事実を利用して、JMX インターフェイス経由で Java 仮想マシンに接続し、Java メトリクスを直接取得することができました。 また、GC 作業強度やヒープ消費量など、Java の重要なアクティビティの標準パラメータだけでなく、実行可能なアプリケーション コードに直接関連する特定のテストも含まれます。

監視システムの導入から約 2017 年後の XNUMX 年、Zabbix で収集された膨大な量のデータを正常に操作するには、複雑な画面という視覚化が不十分であることが明らかになりました。 この問題に対する最良の解決策は、やはりフリー ソフトウェアである Grafana でした。これは、すべてのデータを XNUMX つの画面に集約できるメトリクス用の便利なダッシュボードです。

Grafana インターフェイスは対話型で、OLAP システムを彷彿とさせます。 サブシステムは、Zabbix が受信したデータを XNUMX つの画面に表示し、分析しやすいグラフや図の形式で情報を表示します。 管理者は、必要なスライスを簡単にカスタマイズできます。

LMS システムのエラーの監視と予防的排除

ELK オープン ソース ソフトウェア プラットフォームは、監視中に受信した情報をフィルタリングして分析するのに役立ちます。 このオープンソース製品は、データの収集、保存、分析のための XNUMX つの強力なツール、Elasticsearch、Logstash、Kibana で構成されています。 このサブシステムを実装すると、特に、システム内でどのサーバー上で発生したエラーの数と、これらのエラーが繰り返されるかどうかをリアルタイムで確認できます。

管理者は、ユーザーが問題に遭遇する前であっても、早い段階で問題を検出できるようになりました。 このようなプロアクティブな監視により、エラーをタイムリーに排除することでシステムの誤動作を防ぐことができます。 さらに、アップデート後にシステムの動作がどのように変化したかを理解し、新たな問題が発生した場合はそれを検出できます。

業務運営の監視

このシステムは、リソース消費を監視する基本機能に加えて、業務運営を分析および制御する機能を備えています。

ビジネス操作の全体的な実行時間を監視すると、新しい要因を特定し、それがシステムの操作に与える影響を理解できます。

ビジネスサービスごとのリクエストの実行時間を監視することで、標準から逸脱した操作を検知できます。

上のスクリーンショットは、標準からの逸脱という観点からバックグラウンド タスクを監視する例です。

特定のサーバー上のアクティビティに関する制御されたタスクのリストを使用すると、すべてのサーバーにわたるエラー (タスク実行の重複を含む) を識別できます。

バックグラウンドプロシージャの実行時間の傾向も監視されます。

システムは成長、発展し、問題への対処に役立ちます

説明したシステムの実装により、LMS サーバーの動作の監視が大幅に簡素化されました。 それにもかかわらず、さまざまな種類の競合が時々発生し、文書の流れの速度に影響を与え、ユーザーからの苦情の原因となります。 そこで私たちは、サーバーだけでなくアプリケーション自体の動作を制御する必要があることに気づきました。

この問題を解決するために、アプリケーション サーバーのクラスターと連携する API 経由でバランサーを監視システムに接続しました。 このおかげで、管理者は、サーバーが各ユーザーの要求に応答するまでにどれくらいの時間がかかるかを確認できます。

サーバーの応答時間に関するデータが分析に利用できるようになり、LMS の速度低下とサーバーで発生するプロセスを結び付けることが可能になりました。 特に、現時点では負荷がかかっていないにもかかわらず、サーバーの動作が遅いという興味深い状況が発生しました。 異常を分析したところ、ガベージ コレクター Java の動作に逸脱があることが判明しました。 結局、このような状況を引き起こしたのは、このサービスの誤った操作であったことが判明しました。 ガベージ コレクター Java を制御することにより、この問題は完全に解消されました。

このようにして、フリー ソフトウェアが銀行業界の文書管理システムの発展と成長に役立っています。 VTB SDO 監視システムに関連する主な問題のみに触れてきました。 詳細に興味がある場合は、コメントで質問してください。私たちの経験を喜んで共有します。

出所： habr.com