.Net マイクロサービス環境での実際のログイン

ロギングは開発者にとって非常に重要なツールですが、分散システムを構築する際には、アプリケーションの基盤にしっかりと組み込む必要がある重要なツールになります。そうしないと、マイクロサービスの開発の複雑さがすぐに明らかになります。

.Net Core 3では素晴らしい機能が追加されました HTTP ヘッダーで相関コンテキストを渡す機能したがって、アプリケーションがサービス間通信に直接 HTTP 呼び出しを使用する場合は、このすぐに使用できる機能を利用できます。ただし、バックエンド アーキテクチャにメッセージ ブローカー (RabbitMQ、Kafka など) を介したやり取りが含まれる場合は、これらのメッセージを介して相関コンテキストを渡すことを自分で考慮する必要があります。

この記事では、シンプルなWeb APIアプリケーションを取り上げ、ログを整理して

• 独立したサービスのログ間のエンドツーエンドの相関関係を維持し、クライアントからの特定のリクエストによって発生したすべてのアクティビティを簡単に表示できるようにします。

• 便利な分析機能を備えた単一のエントリポイントがあるため、「このようなリクエストIDのアプリケーションでエラーが発生しました」などの質問を受けるサポート担当者でも、ログツールを使用できます。

まず、アプリケーションのログ記録プロバイダーを決定する必要があります。最新のログ記録の主な要件は構造です。つまり、フラットなテキスト メッセージではなく、オブジェクトを使用して作業する必要があります。このようなログのおかげで、さまざまなセクションでメッセージの表現を簡単に構築し、分析を実行できます。

私たちのアプリケーションでは、構造化ログと豊富なアドオン システムの優れたサポートを備えた Serilog パッケージを使用します。基本的な設定手順は省略します（このトピックについては多くの記事があります）。

• Serilog はすでに構成されており、依存性注入プロバイダーのデフォルトのロガーです。

• その構成には、コンテキスト プロパティによるメッセージの強化が含まれます (Enrich.FromLogContext)

次のステップは、Serilog からメッセージを送信する集中ログ収集システムを選択することです。おそらく、今日のオープンソース ソフトウェアの最も一般的なオプションは ELK スタック (Elasticsearch、Logstash、Kibana) なので、これを採用しましょう。これを行うには、 ログ — 無料プランに登録すると、Lucene 検索エンジンの全機能を利用できるようになります。

残っているのは、プロジェクトにパッケージを追加することだけです。 Serilog.Sinks.Logzio

Install-Package Serilog.Sinks.Logzio

そして、対応するエンリッチャーをロガー設定に追加し、アクセストークンを供給します。

LoggerConfiguration loggerConfig = new LoggerConfiguration();
loggerConfig.WriteTo.Logzio(secrets.LogzioToken, 10, TimeSpan.FromSeconds(10), null, LogEventLevel.Debug);

アプリケーションを実行すると、コンソールだけでなく Kibana でもメッセージを確認できるようになります。

インターフェイス

サービス型アプリケーションでは、外部とのやり取りにおいて 2 つの主要なインターフェースを区別できます。これらを垂直と水平として指定します。垂直インターフェースは、クライアント アプリケーションからの呼び出しが到着する Web API です。 Horizo​​ntal は、他の内部サービスとデータを交換するために使用されるメッセージ ブローカーです。

これらの各インターフェースで相関関係を実装する段階を考えてみましょう。

HTTPリクエストの相関関係

できるだけ多くの情報を取得するには、アクティビティの開始にできるだけ近い時点で、つまりゲートウェイ上またはクライアント (モバイルまたは Web) 上で直接相関識別子を生成する必要があります。今日はバックエンド アプリケーションを扱っているので、Web API へのすべてのリクエストに必須の「X-Correlation-ID」ヘッダーの要件を指定します。

パッケージの追加 相関IDの機能は、必要なヘッダーから値を取得することです

Install-Package CorrelationID

リクエスト処理パイプラインに追加してみましょう

public class Startup
{
    public void Configure(IApplicationBuilder application)
    {
        application
	    .UseCorrelationId(new CorrelationIdOptions
        {
            Header = "X-Correlation-ID",
            IncludeInResponse = false,
            UpdateTraceIdentifier = false,
            UseGuidForCorrelationId = false
        });
    }
}

それでは、これを使用して簡単なアクション フィルターを作成しましょう。

public sealed class ApiRequestFilter : ActionFilterAttribute
{
    public ApiRequestFilter(IApiRequestTracker apiRequestTracker, ICorrelationContextAccessor correlationContextAccessor)
    {
        _correlationContextAccessor = correlationContextAccessor ?? throw new ArgumentNullException(nameof(correlationContextAccessor));
    }
    
    private readonly ICorrelationContextAccessor _correlationContextAccessor;
    
    public override async Task OnActionExecutionAsync(ActionExecutingContext context, ActionExecutionDelegate next)
    {
        if (!Guid.TryParse(_correlationContextAccessor.CorrelationContext.CorrelationId, out Guid correlationId))
        {
            context.Result = new BadRequestResult();
            return;
        }
    
        await next.Invoke();
    }
    
    public override async Task OnResultExecutionAsync(ResultExecutingContext context, ResultExecutionDelegate next)
    {
        await next.Invoke();
    }
}

それをコントローラーに追加しましょう

[Route("[controller]")]
[ApiController]
[ServiceFilter(typeof(ApiRequestFilter))]
public class CarsController : ControllerBase
{

}

その結果、コントローラーは、対応する識別子を持つヘッダーのないすべてのリクエストに対して 400 Bad request を出力します。

クライアントから識別子を受信し始めたら、それをログ コンテキストに追加する必要があります。そのためのフレーミング レイヤーを作成しましょう。

public class CorrelationIdContextLogger
{
    public CorrelationIdContextLogger(RequestDelegate next)
    {
        _next = next ?? throw new ArgumentNullException(nameof(next));
    }
    
    readonly RequestDelegate _next;
    
    public async Task InvokeAsync(HttpContext httpContext, ILogger<CorrelationIdContextLogger> logger, ICorrelationContextAccessor correlationContextAccessor)
    {
        if (Guid.TryParse(correlationContextAccessor.CorrelationContext.CorrelationId, out Guid correlationId))
        {
            using (logger.BeginScopeWith(("CorrelationId", correlationId)))
            {
                await _next(context);
            }
        }
        else
        {
            await _next(context);
        }
    }
}

私たちのアプリケーションでは、Microsoft.Extensions.Logging.Abstractions パッケージの標準 ILogger を使用しているため、簡単な拡張機能を使用して値を追加します。

public static IDisposable BeginScopeWith(this ILogger logger, params (string key, object value)[] keys)
{
    return logger.BeginScope(keys.ToDictionary(x => x.key, x => x.value));
}

リクエスト処理パイプラインにレイヤーを追加し、目的の結果を取得します。

public class Startup
{
    public void Configure(IApplicationBuilder application)
    {
        application.UseMiddleware<CorrelationIdContextLogger>();
    }
}

現在、Web API へのリクエストによって生成されたすべてのアクティビティには相関識別子が含まれており、これにより簡単にリンクできます。

ブローカーメッセージの相関関係

次に設定する必要があるのは、メッセージ ブローカーを介した相関識別子の送受信です。この例では、RabbitMQ を使用し、MassTransit フレームワークをクライアントとして使用します。ここでも、MassTransit を操作するための初期設定をスキップして、ログの設定に直接進みましょう。

まず、MassTransit自体のログを有効にすることができます。そのためには、アプリケーションにパッケージを追加します。 MassTransit.Serilog 統合

Install-Package MassTransit.SerilogIntegration

ロガーを MassTransit 設定に追加すると、フレームワーク ログを確認できるようになります。

services
    .AddSingleton(provider =>
        {
            return Bus.Factory.CreateUsingRabbitMq(cfg =>
            {
                cfg.UseSerilog();
            });
        });

アプリケーションが POST リクエストへの応答として、値「done」を持つ SomethingDoneMessage イベントを送信するとします。このようなメッセージの契約は次のように記述できます。

namespace MbMessages
{
    public interface ISomethingDoneMessageV1
    {
        string Value { get; }
    }
}

MassTransit メッセージは、本質的にはブローカー メッセージを含むエンベロープです。封筒は次のようになります。

{
  "messageId": "59020000-5dba-0015-10b8-08d77ec28593",
  "requestId": "59020000-5dba-0015-5674-08d77ec28592",
  "conversationId": "59020000-5dba-0015-bca8-08d77ec28594",
  "destinationAddress": "rabbitmq://bear.rmq.cloudamqp.com/aelzlsta/ya.servicetemplate.receiveendpoint",
  "headers": {},
  "messageType": [
    "urn:message:MbMessages:ISomethingDoneMessageV1"
  ],
  "message": {
    "value": "done"
  }
}

メッセージには、フレームワーク自体が動作するために必要なサービス フィールドが表示されますが、このエンベロープに独自の追加プロパティを追加することもできます。さらに、MassTransit にはいくつかのオプション フィールドを操作するためのツールが組み込まれていますが、私たちにとって最も興味深いのは CorrelationId です。

メッセージ コントラクトに CorrelatedBy インターフェイスを追加しましょう。

namespace MbMessages
{
    public interface ISomethingDoneMessageV1 : CorrelatedBy<Guid>
    {
        string Value { get; }
    }
}

これを実装し、メッセージを作成するときに CorrelationId プロパティに値を割り当ててみましょう。

internal class SomethingDoneMessageV1 : ISomethingDoneMessageV1
{
    internal SomethingDoneMessageV1(Guid correlationId, string value)
    {
        CorrelationId = correlationId;
        Value = value;
    }
    
    public Guid CorrelationId { get; private set; }
    public string Value { get; private set; }
}

更新されたメッセージを見ると、相関識別子がメッセージの一部になっているだけでなく、エンベロープの一部にもなっていることがわかります。この識別子はすべての MassTransit ログでも使用されるようになり、メッセージ ブローカー レベルでの問題の処理がはるかに容易になります。

{
  "messageId": "59020000-5dba-0015-10b8-08d77ec28593",
  "requestId": "59020000-5dba-0015-5674-08d77ec28592",
  "conversationId": "59020000-5dba-0015-bca8-08d77ec28594",
  "correlationId": "c7ff562a-b639-415b-9add-c9e524a727cc",
  "destinationAddress": "rabbitmq://bear.rmq.cloudamqp.com/aelzlsta/ya.servicetemplate.receiveendpoint",
  "headers": {},
  "messageType": [
    "urn:message:MbMessages:ISomethingDoneMessageV1"
  ],
  "message": {
    "correlationId": "c7ff562a-b639-415b-9add-c9e524a727cc",
    "value": "Hello"
  }
}

メッセージのこれらのサービスプロパティのログ記録を構成する必要があります。そのためには、プロジェクトにパッケージを追加します。 Serilog.Enrichers.MassTransitMessage。このパッケージは、メッセージ コンテキストをスレッドセーフ スタックにスタックするフィルターを MassTransit メッセージ処理パイプラインに追加します。 Serilog はスタックからコンテキストを読み取り、これらの追加プロパティをログ オブジェクトに追加します。

Install-Package Serilog.Enrichers.MassTransitMessage

MassTransitではフィルターを挿入します

services
    .AddSingleton(provider =>
        {
            return Bus.Factory.CreateUsingRabbitMq(cfg =>
            {
                cfg.UseSerilog();
                cfg.UseSerilogMessagePropertiesEnricher();
            });
        });

Serilogの設定ではEnricherを追加します

Log.Logger = new LoggerConfiguration()
    .Enrich.FromMassTransitMessage()
    .CreateLogger();

RabbitMQ キューからメッセージを受信するアプリケーションは MassTransit エンベロープのすべてのプロパティにアクセスできるため、結果として得られる相関識別子を消費アプリケーション内で使用し、呼び出しチェーンのさらに下方に渡すこともできます。

その結果、ログには 1 つのサービス内だけでなく、他のアプリケーションとやり取りするときにも CorrelationId が含まれるようになりました。

したがって、.Net アプリケーションのログ システムにより、メッセージ ブローカーを介して動作するマイクロサービスであっても、まったく異なるマイクロサービスからのログを問題なく関連付けることができます。また、Elasticsearch の助けを借りて、Kibana で必要なダッシュボードを構築することで、ログをすばやく便利に分析できます (投稿の画像に例が示されています)。

もちろん、このフォームでログインしても、サービスとさまざまな外部システム間の複雑なやり取りはカバーされませんが、プロジェクト開発の最初にこのような順序を確立することは、何度も感謝することになるでしょう。

プロジェクト内の結果として得られるシステムのソース コードを理解できます。 github.com/a-postx/YA.ServiceTemplate

出所： habr.com