Kubernetes へのログイン: EFK と PLG

分散システムの複雑化に伴い、監視はクラウドソリューションの成長において非常に重要な要素となっています。分散システムの挙動を理解することは不可欠です。あらゆるサービスからデータを収集し、パフォーマンス分析、エラーの検証、可用性、ログを単一のインターフェースで専門家に提供できるスケーラブルなツールが必要です。

これらのツールは、効率的かつ生産的でなければなりません。この記事では、EFK（Elasticsearch）とPLG（Loki）という2つの人気のテクノロジースタックを取り上げ、それぞれのアーキテクチャと違いを分析します。

EFKスタック

非常に人気の高いELKやEFKについて聞いたことがあるかもしれません。このスタックは、Elasticsearch（オブジェクトストレージ）、LogstashまたはFluentD（ログ収集と集約）、そして可視化のためのKibanaといった、複数の異なるパーツで構成されています。

典型的な作業計画は次のようになります。

Elasticsearch リアルタイム検索と分析機能を備えた分散オブジェクトストレージ。ログなどの半構造化データに最適なソリューションです。情報はJSONドキュメントとして保存され、リアルタイムでインデックス化され、クラスターノードに分散されます。Apache Lucene検索エンジンをベースにした全文検索では、すべての一意の単語とそれに関連するドキュメントを含む転置インデックスが使用されます。

流暢なD — は、データの収集と消費の過程でデータの統合を行うデータコレクタです。可能な限りJSON形式でデータを整理しようとします。アーキテクチャは拡張可能で、より多くの 数百種類の異なる拡張機能あらゆる機会にコミュニティがサポートします。

木場 — 時系列分析、グラフ分析、機械学習など、さまざまな追加機能を備えた Elasticsearch のデータ視覚化ツールです。

Elasticsearchアーキテクチャ

Elasticsearchクラスターは、ノードに分散してデータを保存し、可用性と回復力を向上させます。クラスターは複数のノードで構成され、どのノードでもクラスターのすべての役割を実行できますが、大規模な導入では通常、ノードに個別のタスクが割り当てられます。

クラスター ノードの種類:

• マスター ノード - クラスターを管理します。少なくとも 3 つ必要で、1 つは常にアクティブです。
• データ ノード - インデックス付けされたデータを保存し、それを使用してさまざまなタスクを実行します。
• 取り込みノード - インデックス作成前のデータ変換用のパイプラインを整理します。
• 調整ノード - リクエストのルーティング、検索処理フェーズの短縮、大量インデックスの調整。
• アラートノード - アラート時にタスクを起動します。
• 機械学習ノード - 機械学習タスクを処理します。

下の図は、データの可用性を高めるために、データがどのようにノード間で保存および複製されるかを示しています。

各レプリカのデータは転置インデックスに保存されます。下の図はこれがどのように行われるかを示しています。

インストール

詳細は以下をご覧ください ここで、私はHelmチャートを使います:

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

PLGスタック

この頭字語が見つからなくても驚かないでください。Grafana Lokiとしてよく知られています。いずれにせよ、このスタックは実績のある技術的ソリューションを使用しているため、人気が高まっています。人気の可視化ツールであるGrafanaについて聞いたことがあるかもしれません。その開発者は、Prometheusに触発されて、水平スケーラブルで高性能なログ集約システムであるLokiを開発しました。Lokiはログ自体ではなくメタデータのみをインデックス化するため、操作が簡単でコスト効率に優れています。

プロムテール — オペレーティング システムから Loki クラスターにログを送信するエージェント。 グラファナ — Loki のデータに基づいた視覚化ツール。

Loki は Prometheus と同じ原理に基づいて構築されているため、Kubernetes ログの保存と分析に適しています。

ロキの建築

Loki は、シングルプロセス モードまたはマルチプロセス モードのいずれかで実行でき、水平スケーリングが可能です。

モノリシックアプリケーションとしてもマイクロサービスとしても動作可能です。単一プロセスとして実行することで、ローカル開発や小規模な監視に便利です。産業用途での実装やスケーラブルな負荷には、マイクロサービスオプションの使用をお勧めします。データの書き込みパスと読み取りパスが分離されているため、必要に応じて微調整やスケーリングが可能です。

ログ収集システムのアーキテクチャを詳細なしで見てみましょう。

説明は次のとおりです（マイクロサービス アーキテクチャ）：

コンポーネント：

プロムテール — ノードに（サービスセットとして）インストールされたエージェント。タスクからログを取得し、Kubernetes APIを呼び出してログのラベル付けに使用するメタデータを取得します。その後、ログをメインのLokiサービスに送信します。メタデータのマッチングには、Prometheusと同じラベル付けルールがサポートされています。

ディストリビューター — バッファとして機能する配信サービスです。数百万件ものレコードを処理するために、受信データをブロックに圧縮します。複数のデータレシーバーが同時に動作しますが、3つの受信データストリームに属するログは、そのすべてのブロックにおいて、いずれかのレシーバーにのみ格納されます。これは、レシーバーのリングとシーケンシャルハッシュによって構成されます。フォールトトレランスと冗長性を確保するため、この処理はn回（未設定の場合はXNUMX回）実行されます。

インジェスター — 受信側サービス。データブロックはログが追加された圧縮状態で到着します。ブロックが十分な大きさになると、データベースにフラッシュされます。メタデータはインデックスに、ログを含むブロックのデータはチャンク（通常はオブジェクトストレージ）に送られます。フラッシュ後、受信側は新しいブロックを作成し、そこに新しいレコードを追加します。

目次 — データベース、DynamoDB、Cassandra、Google BigTable など。

チャンク — 圧縮されたログ ブロック。通常は S3 などのオブジェクト ストレージに保存されます。

クエリア — 面倒な作業をすべて行う読み取りパスです。時間範囲とタグを確認し、インデックスを参照して一致するものを探します。そして、データブロックを読み取り、フィルタリングして結果を取得します。

それでは、実際に動作を見てみましょう。

インストール

Kubernetesにインストールする最も簡単な方法は、helmを使うことです。すでにインストールと設定が完了していることを前提としています（そして第3バージョン！ 約。 翻訳者)

リポジトリを追加してスタックを設定します。

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

以下は、Etcd メトリクスの Prometheus と Etcd ポッド ログの Loki からのデータを表示するダッシュボードの例です。

それでは、両システムのアーキテクチャについて説明し、それぞれの機能を比較してみましょう。

比較

クエリ言語

Elasticsearchは、Query DSLとLuceneクエリ言語を使用して全文検索機能を提供します。幅広い演算子をサポートする、成熟した強力な検索エンジンです。コンテキスト検索と関連性に基づくソートが可能です。

リングの反対側には、PromQL（Prometheusクエリ言語）の後継であるLokiで使用されているLogQLがあります。LogQLはログタグを使用してログデータをフィルタリングおよび取得します。前述のように、いくつかの演算子と算術演算を使用できます。 ここでしかし、機能面では Elastic 言語に遅れをとっています。

Loki のクエリはラベルに関連付けられているため、メトリックと簡単に相関関係をとることができ、それらを使用して運用監視を整理しやすくなります。

スケーラビリティ

どちらのスタックも水平方向にスケーラブルですが、Loki は読み取りと書き込みのパスが分離されており、マイクロサービスアーキテクチャを採用しているため、より容易に拡張できます。Loki はニーズに合わせてカスタマイズでき、非常に大量のログデータを処理できます。

マルチテナント

クラスターのマルチテナントはOPEX削減の共通のテーマであり、どちらのスタックもマルチテナント機能を提供します。Elasticsearchには、いくつかの 方法 クライアント分離：クライアントごとに個別のインデックス、クライアントベースのルーティング、クライアント固有のフィールド、検索フィルター。Lokiは サポート HTTP X-Scope-OrgID ヘッダーの形式です。

のコスト

Lokiはデータをインデックスするのではなく、メタデータのみをインデックスするため、非常に費用対効果が高いです。これにより、 ストレージの節約 オブジェクト ストレージは、Elasticsearch クラスターで使用されるブロック ストレージよりも安価であるため、メモリ (キャッシュ) も節約できます。

まとめ

EFKスタックは、分析、可視化、クエリのための最大限の柔軟性と機能豊富なKibanaインターフェースを備え、様々な用途に使用できます。機械学習機能を追加することで、さらに強化することも可能です。

Lokiスタックは、メタデータ検出メカニズムを備えているため、Kubernetesエコシステムで役立ちます。Grafanaとログの時系列に基づいて、監視用のデータを簡単に相関させることができます。

コストと長期的なログ保持に関して言えば、Loki はクラウド ソリューションへの参入に最適な選択肢です。

市場には他にも多くの代替手段があり、中にはあなたにとってより適したものもあるかもしれません。例えば、GKE向けのStackdriver統合は優れた監視ソリューションを提供します。この記事の分析ではこれらを含めていません。

リンク：

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

この記事は従業員によって翻訳され、Habr 向けに作成されました。 スラームトレーニングセンター — 実践的な専門家による集中コース、ビデオコース、企業研修（Kubernetes、DevOps、Docker、Ansible、Ceph、SRE、Agile）

出所： habr.com