🥇サービストレーシング、OpenTracing、Jaeger

私たちのプロジェクトではマイクロサービスアーキテクチャを使用しています。パフォーマンスのボトルネックが発生すると、ログの監視と解析に多くの時間が費やされます。個々の操作のタイミングをログファイルに記録する場合、通常、これらの操作が呼び出された原因を理解して、アクションのシーケンスや、異なるサービスにおける別の操作に対する XNUMX つの操作の時間シフトを追跡することは困難です。

手作業を最小限に抑えるために、トレースツールの XNUMX つを使用することにしました。トレースを使用する方法とその理由、およびその実行方法については、この記事で説明します。

トレースによってどのような問題が解決できるか

単一サービス内と、参加しているすべてのサービス間の実行ツリー全体の両方でパフォーマンスのボトルネックを見つけます。例えば：
- ジオコーディングやデータベースなど、サービス間の多数の短い連続呼び出し。
- ネットワーク転送やディスク読み取りなどの長い I/O 待機。
- 長いデータの解析。
- CPUを必要とする長時間の操作。
- 最終結果を得るために必要ではないコードのセクションは、削除または遅延することができます。
どのような順序で何が呼び出され、操作が実行されると何が起こるかを明確に理解します。

たとえば、リクエストが WS サービスに届いた -> WS サービスが R サービスを通じてデータを補完 -> 次に V サービスにリクエストを送信 -> V サービスがサービスから大量のデータをロードしたことがわかります。 R サービス -> P サービスに移動 -> P サービスは再びサービス R に移動 -> サービス V は結果を無視してサービス J に移動 -> その後、サービス WS に応答を返し、その間に他の計算を継続背景。
このようなトレースやプロセス全体の詳細なドキュメントがなければ、初めてコードを見たときに何が起こっているのかを理解するのは非常に難しく、コードはさまざまなサービスに散在し、多数のビンやインターフェイスの後ろに隠れています。
後続の遅延分析のための実行ツリーに関する情報の収集。実行の各段階で、この段階で利用可能なトレースに情報を追加し、どの入力データが同様のシナリオにつながったかを把握できます。例えば：
- ユーザーID
- 権利
- 選択したメソッドの種類
- ログまたは実行エラー
トレースをメトリクスのサブセットに変換し、すでにメトリクスの形式でさらに分析します。

ログに記録できるトレース。スパン

トレースにはスパンの概念があり、これはコンソールにおける XNUMX つのログに相当します。スパには以下が備わっています。

名前 (通常は実行されたメソッドの名前)
スパンが生成されたサービスの名前
独自の固有ID
ログインされているキー/値の形式の何らかのメタ情報。たとえば、メソッドのパラメータやメソッドがエラーで終了したかどうかなどです。
このスパンの開始時間と終了時間
親スパンID

各スパンはスパンコレクターに送信され、実行が完了するとすぐに後で確認できるようデータベースに保存されます。将来的には、親 ID で接続することにより、すべてのスパンのツリーを構築できるようになります。分析すると、たとえば、あるサービスで時間がかかったすべてのスパンを見つけることができます。さらに、特定のスパンに移動すると、このスパンの上下にあるツリー全体が表示されます。

Opentrace、Jagger、およびそれをプロジェクトに実装した方法

共通の基準があるオープントレースこれは、言語の特定の実装を追跡することに縛られることなく、何をどのように収集する必要があるかを説明します。たとえば、Java では、トレースに関するすべての作業は共通の Opentrace API を通じて実行され、その下で、たとえば、Jaeger や何も行わない空のデフォルト実装を非表示にすることができます。
私たちが使用しているのはイェーガー Opentrace の実装として。これはいくつかのコンポーネントで構成されています。

Jaeger-agent は通常、各マシンにインストールされるローカルエージェントであり、サービスはローカルのデフォルトポートでログインします。エージェントが存在しない場合、通常、このマシン上のすべてのサービスのトレースは無効になります。
イェーガーコレクター - すべてのエージェントが収集したトレースをイェーガーコレクターに送信し、それらを選択したデータベースに入れます。
データベースは推奨の cassandra ですが、私たちは elasticsearch を使用しています。他のデータベースの実装と、ディスクに何も保存しないインメモリ実装があります。
Jaeger-query は、データベースにアクセスし、分析のためにすでに収集されたトレースを返すサービスです。
Jaeger-ui はトレースを検索および表示するための Web インターフェイスであり、jaeger-query に移動します。

別のコンポーネントは、特定の言語用の opentrace jaeger の実装と呼ぶことができ、これを通じてスパンが jaeger-agent に送信されます。
Java で Jagger を接続する結局のところ、io.opentracing.Tracer インターフェイスを実装すると、それを介したすべてのトレースが実際のエージェントに飛ぶようになります。

ばねコンポーネントについても、次のように接続できます。 opentracing-spring-cloud-starter そしてJaegerからの実装 opentracing-spring-jaeger-cloud-starter これにより、これらのコンポーネントを通過するすべてのもの (コントローラーへの http リクエスト、jdbc を介したデータベースへのリクエストなど) のトレースが自動的に設定されます。

Java でのトレースログ記録

最上位レベルのどこかで、最初のスパンを作成する必要があります。これは、たとえばリクエストを受信したときにスプリングコントローラーによって自動的に実行でき、リクエストがない場合は手動で実行できます。その後、以下のスコープを通じて送信されます。以下のメソッドのいずれかが Span を追加する場合、スコープから現在の activeSpan を取得し、新しい Span を作成し、その親が結果の activeSpan であると示し、新しい Span をアクティブにします。外部サービスを呼び出すと、現在アクティブなスパンが外部サービスに渡され、それらのサービスはこのスパンを参照して新しいスパンを作成します。
すべての作業は Tracer インスタンスを介して行われ、DI メカニズムを介して取得できます。DI メカニズムが機能しない場合は GlobalTracer.get () をグローバル変数として取得できます。デフォルトでは、トレーサーが初期化されていない場合、NoopTracer が返され、何も行われません。
さらに、現在のスコープは ScopeManager を通じてトレーサから取得され、現在のスコープから新しいスパンのバインディングを使用して新しいスコープが作成され、作成されたスコープが閉じられます。これにより、作成されたスパンが閉じられ、以前のスコープが返されます。アクティブな状態。スコープはスレッドに関連付けられているため、マルチスレッドプログラミングの場合は、このスパンを参照して別のスレッドのスコープをさらにアクティブ化するために、アクティブなスパンを別のスレッドに転送することを忘れないでください。

io.opentracing.Tracer tracer = ...; // GlobalTracer.get()

void DoSmth () {
   try (Scope scope = tracer.buildSpan("DoSmth").startActive(true)) {
      ...
   }
}
void DoOther () {
    Span span = tracer.buildSpan("someWork").start();
    try (Scope scope = tracer.scopeManager().activate(span, false)) {
        // Do things.
    } catch(Exception ex) {
        Tags.ERROR.set(span, true);
        span.log(Map.of(Fields.EVENT, "error", Fields.ERROR_OBJECT, ex, Fields.MESSAGE, ex.getMessage()));
    } finally {
        span.finish();
    }
}

void DoAsync () {
    try (Scope scope = tracer.buildSpan("ServiceHandlerSpan").startActive(false)) {
        ...
        final Span span = scope.span();
        doAsyncWork(() -> {
            // STEP 2 ABOVE: reactivate the Span in the callback, passing true to
            // startActive() if/when the Span must be finished.
            try (Scope scope = tracer.scopeManager().activate(span, false)) {
                ...
            }
        });
    }
}

マルチスレッドプログラミングの場合、非同期タスクの起動時に現在のスパンをスレッドに自動的に転送する TracedExecutorService および同様のラッパーもあります。

private ExecutorService executor = new TracedExecutorService(
    Executors.newFixedThreadPool(10), GlobalTracer.get()
);

外部 http リクエストの場合は、トレースHTTPクライアント

HttpClient httpClient = new TracingHttpClientBuilder().build();

私たちが直面した問題

トレーサがサービスまたはコンポーネントで使用されていない場合、Bean と DI は常に機能するとは限りません。自動配線 Tracer が機能しない可能性があるため、GlobalTracer.get() を使用する必要があります。
アノテーションがコンポーネントまたはサービスでない場合、またはメソッドが同じクラスの隣接メソッドから呼び出された場合、アノテーションは機能しません。 @Traced が機能しない場合は、何が機能するかを慎重に確認し、手動トレース作成を使用する必要があります。 Java アノテーション用に追加のコンパイラをアタッチすることもできます。そうすれば、アノテーションはどこでも機能するはずです。
古い Spring と Spring Boot では、DI のバグにより opentraing Spring Cloud の自動構成が機能しません。Spring コンポーネントのトレースを自動的に機能させたい場合は、次のように類推できます。 github.com/opentracing-contrib/java-spring-jaeger/blob/master/opentracing-spring-jaeger-starter/src/main/java/io/opentracing/contrib/java/spring/jaeger/starter/JaegerAutoConfiguration.java
リソースを使用した Try は Groovy では機能しません。最後に Try を使用する必要があります。
各サービスには、トレースが記録される独自の spring.application.name が必要です。一緒に邪魔にならないように、販売とテストに別の名前を付けるのはどうですか。
GlobalTracer と Tomcat を使用する場合、この Tomcat で実行されているすべてのサービスには XNUMX つの GlobalTracer があるため、すべて同じサービス名になります。
メソッドにトレースを追加するときは、そのメソッドがループ内で何度も呼び出されないようにする必要があります。すべての呼び出しに対して XNUMX つの共通トレースを追加する必要があります。これにより、合計作業時間が保証されます。そうしないと、過剰な負荷が発生します。
一度 jaeger-ui に入ると、大量のトレースに対して大きすぎるリクエストが行われ、応答を待たなかったため、再度リクエストが行われました。その結果、jaeger-query は大量のメモリを消費し、Elastic の速度を低下させ始めました。 jaeger-queryを再起動すると解決します

トレースのサンプリング、保存、表示

XNUMXつのタイプがありますサンプリングトレース:

すべてのトレースを送信して保存する定数。
特定の確率でトレースをフィルタリングする確率論的。
Ratelimiting は 1 秒あたりのトレース数を制限します。これらの設定は、jaeger-agent またはコレクターのクライアントで構成できます。リクエストはそれほど多くありませんが、時間がかかるため、評価スタックで const XNUMX を使用します。将来的に、これによってシステムに過剰な負荷がかかる場合は、制限することができます。

cassandra を使用する場合、デフォルトではトレースは XNUMX 日間のみ保存されます。私たちが使用しているのはエラスティックサーチトレースは常に保存され、削除されません。日ごとに個別のインデックスが作成されます (例: jaeger-service-2019-03-04)。将来的には、古いトレースの自動クリーニングを構成する必要があります。

トレースを表示するには、次のものが必要です。

トレースをフィルタリングするサービスを選択します。たとえば、Tomcat で実行されており、独自の名前を持つことができないサービスの場合は、tomcat7-default です。
次に、長い実行のみを行うための操作、時間間隔、および最小操作時間を (たとえば 10 秒から) 選択します。
トレースの XNUMX つに移動し、そこで何が減速しているのかを確認します。

また、リクエスト ID がわかっている場合、この ID がトレーススパンに記録されていれば、タグ検索を通じてこの ID によるトレースを見つけることができます。

Документация

オープントレースのドキュメント opentracing.io/docs/overview/what-is-tracing
イェーガーのドキュメント www.jaegertracing.io/docs/1.10
イェーガー Java 接続 github.com/jaegertracing/jaeger-client-java
スプリングオープントレース接続
github.com/jaegertracing/jaeger-client-java
github.com/opentracing-contrib/java-spring-cloud

物品

habr.com/ru/company/carprice/blog/340946 実際の PHP および Golang プロジェクトにおける Yetager Opentracing とマイクロサービス
www.uber.com/distributed-tracing Uber Engineering における分散トレーシングの進化
opentracing.io/guides/java
Medium.com/jaegertracing/running-jaeger-agent-on-bare-metal-d1fc47d31fab ベアメタル上でのJaeger Agentの実行

ビデオ

www.youtube.com/watch?v=qg0ENOdP1Lo イェーガーとプロメテウスを使用して超高速のユーザークエリを提供する方法 — ブライアンボアハム
www.youtube.com/watch?v=WRntQsUajow イントロ: イェーガー - ユーリ・シュクロ、ウーバー & パボル・ロフェイ、レッドハット
www.youtube.com/watch?v=fsHb0qK37bc Serghei Iakovlev、「大きな勝利の小さな物語: OpenTracing、AWS、Jaeger」

出所： habr.com

サービストレーシング、OpenTracing、Jaeger