Loki - Prometheus アプローチを使用したログ収集

ハブロフスク住民の皆さん、敬礼！ コースの新規登録開始前夜 「DevOps の実践とツール」 興味深い資料の翻訳を用意しました。

この記事は Loki についての簡単な紹介です。 プロジェクト・ロキ グラファナによるサポート (サーバーまたはコンテナーからの) ログを一元的に収集することを目的としています。

ロキの主なインスピレーションは次のとおりです。 プロメテウス 彼のアプローチをログ管理に適用するというアイデア:

• ラベルを使用してデータを保存する
• 資源の消費が少ない

Prometheus がどのように機能するかに戻り、Kubernetes のコンテキストでの Prometheus の使用例をいくつか示します。

プロメテウスについて一言

Loki がどのように機能するかを完全に理解するには、一歩下がって Prometheus について少し思い出すことが重要です。

Prometheus の特徴的な機能の XNUMX つは、収集ポイントから (エクスポーター経由で) メトリクスを抽出し、それらをラベルの形式でメタデータを追加して TSDB (時系列データベース) に保存することです。

なぜあなたはそれが必要ですか

最近、Prometheus はコンテナーと Kubernetes の世界における事実上の標準になりました。そのインストールは非常に簡単で、Kubernetes クラスターには Prometheus のネイティブ エンドポイントが付属しています。 Prometheus は、特定のラベルを保存しながら、コンテナーにデプロイされたアプリケーションからメトリクスを抽出することもできます。 したがって、アプリケーションの監視は非常に簡単に実装できます。

残念ながら、ログ管理のためのターンキー ソリューションはまだ存在せず、自分でソリューションを見つける必要があります。

• ログを一元管理するためのマネージド クラウド サービス (AWS、Azure、または Google)
• 監視サービス「サービスとしての監視」（Datadog など）
• 独自のログ収集サービスを作成します。

XNUMX 番目のオプションについては、必ずしも Elasticsearch に満足しているわけではありませんでしたが (特に構成の重さと複雑さ)、私は従来 Elasticsearch を使用していました。

Loki は、次の原則に従って実装を簡素化するように設計されました。

• 簡単に始められること
• ほとんどリソースを消費しない
• 特別なメンテナンスなしで独立して動作します
• バグ調査を支援するための Prometheus への追加機能として機能します

ただし、このシンプルさにはいくつかの妥協が伴います。 そのうちの XNUMX つは、コンテンツのインデックスを作成しないことです。 したがって、テキスト検索はあまり効率的でも機能的でもなく、テキストの内容に関する統計を取得できません。 しかし、Loki は grep と同等であり、Prometheus を補完するものであることを望んでおり、これは欠点ではありません。

事件調査

Loki にインデックス作成が必要ない理由をよりよく理解するために、Loki 開発者が使用したインシデント調査方法に戻ってみましょう。

1 アラート → 2 ダッシュボード → 3 アドホック クエリ → 4 ログ集約 → 5 分散トレース → 6 修正!
(1 警告 → 2 ダッシュボード → 3 アドホック クエリ → 4 ログ集約 → 5 分散トレース → 6 修正!)

考え方としては、何らかのアラート (Slack 通知、SMS など) を受信した後、次のようになります。

• Grafana ダッシュボードを見てください
• サービスメトリクスを確認する (Prometheus など)
• ログエントリを確認します（たとえば、Elasticsearch）
• 分散トレース (Jaeger、Zipkin など) を見てみましょう。
• そして最終的に元の問題を修正します。

ここで、Grafana + Prometheus + Elasticsearch + Zipkin スタックの場合、6 つの異なるツールを使用する必要があります。 時間を短縮するには、Grafana という XNUMX つのツールを使用してこれらすべての手順を実行できれば便利です。 注目に値するのは、この研究アプローチが Grafana のバージョン XNUMX 以降に実装されているということです。これにより、Grafana から Prometheus データに直接アクセスできるようになります。

エクスプローラー画面をプロメテウスとロキに分割

この画面から、分割画面の概念を使用して、Prometheus メトリクスに関連する Loki ログを表示できます。 バージョン 6.5 以降、Grafana では、Loki ログ エントリのトレース ID を解析して、お気に入りの分散トレース ツール (Jaeger) へのリンクをたどることができます。

ローカルの Loki テスト

Loki をローカルでテストする最も簡単な方法は、docker-compose を使用することです。 docker-compose ファイルは Loki リポジトリにあります。 次のコマンドを使用してリポジトリを取得できます git:

$ git clone https://github.com/grafana/loki.git

次に、本番ディレクトリに移動する必要があります。

$ cd production

これにより、最新バージョンの Docker イメージを取得できるようになります。

$ docker-compose pull

最後に、次のコマンドを使用して Loki スタックが起動します。

$ docker-compose up

ロキの建築

以下に、Loki アーキテクチャの小さな図を示します。

Loki アーキテクチャの原則

Web クライアントはサーバー上でアプリケーションを実行し、Promtail はログを収集して Loki に送信し、Web クライアントはメタデータも Loki に送信します。 Loki はすべてを集約して Grafana に送信します。
ロキが起動します。 利用可能なコンポーネントを表示するには、次のコマンドを実行します。

$ docker ps

新しくインストールされた Docker の場合、コマンドは次の結果を返すはずです。

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

次のコンポーネントが表示されます。

• Promtail: ログの一元管理を担当するエージェント
• Grafana: 有名なダッシュボード ツール
• Loki: データ集中化デーモン

クラシック インフラストラクチャ (たとえば、仮想マシンに基づく) の一部として、Promtail エージェントを各マシンにデプロイする必要があります。 Grafana と Loki は同じマシンにインストールできます。

Kubernetes へのデプロイメント

Kubernetes への Loki コンポーネントのインストールは次のようになります。

• サーバー クラスター内の各マシンに Promtail エージェントをデプロイするための daemonSet
• 展開ロキ
• 最後は Grafana のデプロイメントです。

幸いなことに、Loki は Helm パッケージとして入手できるため、簡単にデプロイできます。

Hemlによるインストール

Heml はすでにインストールされているはずです。 プロジェクトの GitHub リポジトリからダウンロードできます。 これは、アーキテクチャに対応するアーカイブを解凍し、helm を追加することでインストールされます。 $PATH.

注意： Helm のバージョン 3.0.0 が最近リリースされました。 多くの変更が加えられているため、使用する前に少し待つことをお勧めします。.

Helm のソースを追加する

最初のステップは、次のコマンドを使用して「loki」リポジトリを追加することです。

$ helm add loki https://grafana.github.io/loki/charts

この後、「loki」という名前のパッケージを検索できます。

$ helm search loki

結果：

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

これらのパッケージには次の機能があります。

• パッケージ ロキ/ロキ Loki サーバーのみに一致します
• パッケージ ロキ/フルーエントビット Promtail の代わりに、fluent-bin を使用してログを収集する DaemonSet をデプロイできます。
• パッケージ ロキ/プロムテール ログ ファイル収集エージェントが含まれています
• パッケージ ロキ/ロキスタックを使用すると、Loki を Promtail と一緒にすぐにデプロイできます。

Loki のインストール

Loki を Kubernetes にデプロイするには、「monitoring」名前空間で次のコマンドを実行します。

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

ディスクに保存するには、パラメータを追加します --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

注意： Grafana を同時にデプロイする場合は、パラメーターを追加します --set grafana.enabled = true

このコマンドを実行すると、次の出力が得られるはずです。

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

「モニタリング」名前空間内のポッドの状態を見ると、すべてがデプロイされていることがわかります。

$ kubectl -n monitoring get pods -l release=loki

結果：

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

すべてのポッドが実行されています。 今度はいくつかのテストを行ってみましょう。

グラファナへの接続

Kubernetes で Grafana に接続するには、そのポッドへのトンネルを開く必要があります。 以下は、Grafana ポッドのポート 3000 を開くコマンドです。

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

もう XNUMX つの重要な点は、Grafana 管理者パスワードを回復する必要があることです。 パスワードは秘密にされます loki-grafana フィールドで .data.admin-user Base64形式で。

復元するには、次のコマンドを実行する必要があります。

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

このパスワードは、デフォルトの管理者アカウント (admin) と組み合わせて使用​​します。

Grafana での Loki データ ソースの定義

まず、Loki データ ソースが作成されていることを確認します (構成/データソース)。
次に例を示します：

Loki のデータ ソースのセットアップ例

「テスト」をクリックすると、Loki との接続を確認できます。

ロキにリクエストをする

次に、Grafana の「Explore」セクションに移動します。 コンテナからログを受信すると、Loki は Kubernetes からメタデータを追加します。 これにより、特定のコンテナのログを参照することが可能になります。

たとえば、promtail コンテナーのログを選択するには、次のクエリを使用できます。 {container_name = "promtail"}.
ここでも、忘れずに Loki データ ソースを選択してください。

このクエリは次のようにコンテナ アクティビティを返します。

Grafana でのクエリ結果

ダッシュボードに追加

Grafana 6.4 以降では、ログ情報をダッシュ​​ボードに直接配置できるようになりました。 この後、ユーザーはサイト上のリクエスト数とアプリケーション トレースをすばやく切り替えることができるようになります。

以下は、この対話を実装するダッシュボードの例です。

Prometheus メトリクスと Loki ログを含むサンプル ダッシュボード

ロキの未来

私は 0.1 月か 1 月にバージョン 1.1 で Loki を使い始めました。 現在、バージョン 1.2、さらには XNUMX と XNUMX がすでにリリースされています。

バージョン 0.1 が十分に安定していなかったことを認めなければなりません。 しかし、0.3 はすでに成熟の兆しを見せており、その後のバージョン (0.4、その後 1.0) はこの印象をさらに強めただけでした。

1.0.0 以降、この素晴らしいツールを使わない言い訳は誰にもできなくなります。

さらなる改善は Loki に関するものではなく、優れた Grafana との統合に関するものであるべきです。 実際、Grafana 6.4 はすでにダッシュボードと適切に統合されています。

最近リリースされた Grafana 6.5 では、JSON 形式のログ内容を自動的に認識することで、この統合がさらに改善されました。

以下のビデオは、このメカニズムの小さな例を示しています。

Grafana で公開されている Loki 文字列の使用

たとえば、JSON フィールドの XNUMX つを次の目的で使用できるようになります。

• 外部ツールへのリンク
• ログ内容のフィルタリング

たとえば、traceId をクリックすると、Zipkin または Yeter に移動できます。

いつものように、皆様からのコメントをお待ちしております。 オープンウェビナーでは、2019 年に DevOps 業界がどのように発展したかについて説明し、2020 年に考えられる発展の道筋について説明します。

出所： habr.com