Kubernetes へのログイン: EFK と PLG

分散システムの複雑さが増すにつれて、監視は成長するクラウド ソリューションの非常に重要なコンポーネントになっています。 彼らの行動を理解することが必要です。 すべてのサービスからデータを収集し、パフォーマンス分析、エラー デモンストレーション、可用性、ログを備えた単一のインターフェイスを専門家に提供できる、スケーラブルなツールが必要です。

これらの同じツールは効率的かつ生産的でなければなりません。 この記事では、EFK (Elasticsearch) と PLG (Loki) という XNUMX つの人気のあるテクノロジー スタックを取り上げ、それらのアーキテクチャと違いを調べます。

EFKスタック

非常に人気のある ELK または EFK については、すでに聞いたことがあるかもしれません。 スタックは、Elasticsearch (オブジェクト ストレージ)、Logstash または FluentD (ログの収集と集約)、および視覚化のための Kibana といういくつかの異なる部分で構成されます。

一般的なワークフローは次のようになります。

Elasticsearch — 検索機能とリアルタイム分析機能を備えた分散オブジェクト ストレージ。 ログなどの半構造化データに最適なソリューション。 情報は JSON ドキュメントとして保存され、リアルタイムでインデックス付けされ、クラスター ノード全体に分散されます。 逆索引が使用され、全文検索用にすべての一意の単語と関連ドキュメントが含まれます。これは、Apache Lucene 検索エンジンに基づいています。

流暢なD は、データを収集および使用する際にデータを統合するデータ コレクターです。 可能な限り JSON でデータを整理しようとします。 そのアーキテクチャは拡張可能であり、さらに多くのものがあります 何百もの異なる拡張子、コミュニティでサポートされ、あらゆる機会に対応します。

木場 - 時系列分析、グラフ分析、機械学習などのさまざまな追加機能を備えた Elasticsearch 用のデータ視覚化ツール。

Elasticsearch アーキテクチャ

Elasticsearch クラスターのデータは、そのすべてのノードに分散して保存されます。 クラスターは、可用性と復元力を向上させるために複数のノードで構成されます。 どのノードもクラスターのすべての役割を実行できますが、大規模なスケールアウト展開では、通常、ノードには個別のタスクが割り当てられます。

クラスターノードのタイプ:

• マスターノード - クラスターを管理します。少なくとも XNUMX つが必要で、XNUMX つは常にアクティブです。
• データ ノード - インデックス付きデータを保存し、それを使用してさまざまなタスクを実行します。
• 取り込みノード - インデックス付けの前にデータを変換するためのパイプラインを編成します。
• 調整ノード - リクエストのルーティング、検索処理フェーズの短縮、大量のインデックス付けの調整。
• アラートノード — アラートタスクの起動。
• 機械学習ノード - 機械学習タスクを処理します。

以下の図は、より高いデータ可用性を実現するために、ノード間でデータがどのように保存および複製されるかを示しています。

各レプリカのデータは転置インデックスに保存されます。以下の図は、これがどのように起こるかを示しています。

インストール

詳細が閲覧できます ここで, Helm チャートを使用します。

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

PLGスタック

この頭字語が見つからなくても驚かないでください。Grafana Loki としてよく知られています。 いずれにせよ、このスタックは実績のある技術ソリューションを使用しているため、人気が高まっています。 人気のある視覚化ツールである Grafana については、すでに聞いたことがあるかもしれません。 その作成者は、Prometheus からインスピレーションを得て、水平スケーラブルな高性能ログ集約システムである Loki を開発しました。 Loki はジャーナル自体ではなくメタデータのみにインデックスを作成します。これは、使いやすくコスト効率の高い技術ソリューションです。

プロムテール - オペレーティング システムから Loki クラスターにログを送信するエージェント。 グラファナ は、Loki のデータに基づく視覚化ツールです。

Loki は Prometheus と同じ原理に基づいて構築されているため、Kubernetes ログの保存と分析に適しています。

ロキの建築

Loki は単一プロセスとして実行することも、複数のプロセスとして実行することもでき、水平方向のスケーリングが可能です。

モノリシック アプリケーションまたはマイクロサービスとしても機能します。 単一プロセスとして実行すると、ローカル開発や小規模な監視に役立ちます。 産業用の実装とスケーラブルなワークロードの場合は、マイクロサービス オプションを使用することをお勧めします。 データの書き込みと読み取りのパスが分離されているため、必要に応じて微調整したり拡張したりできます。

詳細には触れずに、ログ収集システムのアーキテクチャを見てみましょう。

説明は次のとおりです (マイクロサービス アーキテクチャ)。

コンポーネント：

プロムテール — ノードに (サービスのセットとして) インストールされるエージェント。タスクからログを削除し、Kubernetes API にアクセスしてログにタグを付けるメタデータを取得します。 次に、ログをメインの Loki サービスに送信します。 メタデータ マッピングは、Prometheus と同じタグ付けルールをサポートします。

ディストリビューター — バッファとして機能するサービスディストリビュータ。 数百万のレコードを処理するために、受信データをパックし、受信時にブロックに圧縮します。 複数のデータ シンクが同時に実行されていますが、3 つの受信データ ストリームに属するログは、そのすべてのブロックについてそのうちの XNUMX つにのみ表示される必要があります。 これは、シンクのリングと順次ハッシュで構成されます。 フォールト トレランスと冗長性のために、これは n 回 (構成されていない場合は XNUMX 回) 実行されます。

インジェスター — サービス受信者。 データ ブロックは、ログが追加されて圧縮されて到着します。 ブロックが十分なサイズになると、ブロックはデータベースにフラッシュされます。 メタデータはインデックスに送られ、ログ ブロックのデータはチャンク (通常はオブジェクト ストレージ) に送られます。 リセット後、受信機は新しいブロックを作成し、そこに新しいエントリが追加されます。

インデックス - データベース、DynamoDB、Cassandra、Google BigTable など。

チャンク — 圧縮形式のログ ブロック。通常はオブジェクト ストレージ (S3 など) に保存されます。

クエリア - すべての汚い仕事を行う読み取りパス。 時間範囲とタイムスタンプを調べてから、インデックスを調べて一致するものを見つけます。 次に、データのブロックを読み取り、フィルタリングして結果を取得します。

それでは、実際の動作を見てみましょう。

インストール

Kubernetes にインストールする最も簡単な方法は、helm を使用することです。 すでにインストールして構成していることを前提としています (そして第XNUMXバージョン！ 約。 翻訳者)

リポジトリを追加し、スタックをインストールします。

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

以下は、Prometheus for Etcd メトリクスと Loki for Etcd ポッド ログのデータを表示するダッシュボードの例です。

ここで、両方のシステムのアーキテクチャについて説明し、それらの機能を相互に比較しましょう。

比較

クエリ言語

Elasticsearch は、Query DSL と Lucene クエリ言語を使用して、全文検索機能を提供します。 これは、幅広いオペレーターをサポートする確立された強力な検索エンジンです。 これを使用すると、コンテキストで検索し、関連性で並べ替えることができます。

リングの反対側には、PromQL (Prometheus クエリ言語) の後継である Loki で使用される LogQL があります。 ログタグを使用してログデータをフィルタリングして選択します。 説明されているように、いくつかの演算子と算術を使用することができます。 ここで, しかし、機能の点ではElastic言語に遅れをとっています。

Loki のクエリはタグに関連付けられているため、メトリクスとの関連付けが容易になり、その結果、運用監視を整理しやすくなります。

スケーラビリティ

どちらのスタックも水平方向にスケーラブルですが、Loki には個別の読み取りパスと書き込みパスとマイクロサービス アーキテクチャがあるため、それが容易になります。 Loki はニーズに合わせてカスタマイズでき、非常に大量のログ データに使用できます。

マルチテナンシー

クラスターのマルチテナントは OPEX の略語で共通のテーマであり、両方のスタックがマルチテナントを提供します。 Elasticsearchにはいくつかあります 方法 クライアントの分離: クライアントごとに個別のインデックス、クライアントベースのルーティング、一意のクライアント フィールド、検索フィルター。 ロキは サポート HTTP X-Scope-OrgID ヘッダーの形式で。

のコスト

Loki はデータのインデックスを作成せず、メタデータのみを作成するため、非常にコスト効率が高くなります。 これにより、 ストレージの節約 オブジェクト ストレージは、Elasticsearch クラスターで使用されるブロック ストレージよりも安価であるため、メモリ (キャッシュ) が必要になります。

まとめ

EFK スタックはさまざまな目的に使用でき、分析、視覚化、クエリのための最大限の柔軟性と機能豊富な Kibana インターフェイスを提供します。 機械学習機能によってさらに強化することができます。

Loki スタックは、そのメタデータ検出メカニズムにより、Kubernetes エコシステムで役立ちます。 Grafana とログの時系列に基づいて、監視するデータを簡単に関連付けることができます。

コストと長期ログ ストレージに関して言えば、Loki はクラウド ソリューションへの優れたエントリー ポイントです。

市場にはさらに多くの代替品があり、その中にはあなたにとってより良いものもあるかもしれません。 たとえば、GKE には Stackdriver が統合されており、優れたモニタリング ソリューションを提供します。 この記事の分析にはそれらを含めませんでした。

リンク：

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

この記事は従業員によって翻訳され、Habr 向けに作成されました。 スラームトレーニングセンター — 実践スペシャリストによる集中コース、ビデオコース、企業トレーニング (Kubernetes、DevOps、Docker、Ansible、Ceph、SRE、Agile)

出所： habr.com