व्यवहार में .Net माइक्रोसर्विस वातावरण में लॉग इन करना

लॉगिंग एक डेवलपर के लिए एक बहुत ही महत्वपूर्ण उपकरण है, लेकिन वितरित प्रणालियों का निर्माण करते समय, यह एक ऐसा पत्थर बन जाता है जिसे आपके एप्लिकेशन की नींव में सही ढंग से रखा जाना चाहिए, अन्यथा माइक्रोसर्विसेस विकसित करने की जटिलता जल्द ही स्पष्ट हो जाएगी।

.Net Core 3 ने एक बेहतरीन सुविधा जोड़ी है HTTP हेडर में सहसंबंध संदर्भ पारित करने की क्षमता, इसलिए यदि आपके एप्लिकेशन इंटरसर्विस संचार के लिए सीधे HTTP कॉल का उपयोग करते हैं, तो आप इस आउट-ऑफ-द-बॉक्स कार्यक्षमता का उपयोग कर सकते हैं। हालाँकि, यदि आपका बैकएंड आर्किटेक्चर किसी मैसेज ब्रोकर (रैबिटएमक्यू, काफ़्का, आदि) के माध्यम से संचार का तात्पर्य करता है, तो आपको अभी भी इन संदेशों के माध्यम से सहसंबंध संदर्भ को स्वयं पास करने के बारे में चिंता करने की आवश्यकता है।

इस लेख में, हम एक सरल वेब एपीआई एप्लिकेशन लेंगे और लॉगिंग को व्यवस्थित करेंगे

• स्वतंत्र सेवाओं के लॉग के बीच अंत-से-अंत सहसंबंध बनाए रखें ताकि आप किसी क्लाइंट के विशिष्ट अनुरोध के कारण होने वाली सभी गतिविधियों को आसानी से देख सकें

• सुविधाजनक विश्लेषण के साथ एक एकल प्रवेश बिंदु है, ताकि सपोर्ट भी, जिसे "मुझे ऐसे-ऐसे अनुरोध आईडी वाले एप्लिकेशन में त्रुटि मिली" जैसे प्रश्न प्राप्त होते हैं, लॉगिंग टूल का उपयोग कर सके

सबसे पहले, हमें अपने एप्लिकेशन में लॉगिंग प्रदाता पर निर्णय लेना होगा। आधुनिक लॉगिंग के लिए मुख्य आवश्यकता संरचना है, यानी हमें फ्लैट टेक्स्ट संदेशों के साथ नहीं, बल्कि ऑब्जेक्ट्स के साथ काम करना चाहिए। ऐसे लॉग की बदौलत, हम आसानी से विभिन्न अनुभागों में अपने संदेशों का प्रतिनिधित्व बना सकते हैं और विश्लेषण कर सकते हैं।

हमारे एप्लिकेशन के लिए, हम Serilog पैकेज का उपयोग करेंगे, जिसमें संरचित लॉगिंग और एक समृद्ध ऐड-ऑन सिस्टम के लिए उत्कृष्ट समर्थन है। मैं इसे सेट करने के बुनियादी चरणों को छोड़ दूंगा (आप इस विषय पर बहुत सारे लेख पा सकते हैं) और यह मान लूंगा कि

• सेरिलॉग पहले से ही कॉन्फ़िगर किया गया है और यह आपके निर्भरता इंजेक्शन प्रदाता के लिए डिफ़ॉल्ट लॉगर है।

• इसके कॉन्फ़िगरेशन में सन्दर्भ गुणों के साथ संदेशों का संवर्धन शामिल है (Enrich.FromLogContext)

अगला चरण यह चुनना है कि Serilog से संदेश भेजने के लिए कौन सी केंद्रीकृत लॉग संग्रह प्रणाली है। शायद आज सबसे आम ओपन सोर्स विकल्प ELK स्टैक (इलास्टिकसर्च, लॉगस्टैश और किबाना) है, तो चलिए इसे लेते हैं। इसके लिए, हम सेरिलॉग से ऑफ़र का उपयोग करेंगे लॉगज़.आईओ - निःशुल्क योजना के लिए पंजीकरण करने के बाद, ल्यूसीन सर्च इंजन की पूरी शक्ति हमारे हाथों में है।

अब हमें बस अपनी परियोजना में एक पैकेज जोड़ना है सेरिलॉग.सिंक्स.लॉगज़ियो

Install-Package Serilog.Sinks.Logzio

और हमारे लॉगर कॉन्फ़िगरेशन में संबंधित एनरिचर जोड़ें, इसे एक्सेस टोकन खिलाएं

LoggerConfiguration loggerConfig = new LoggerConfiguration();
loggerConfig.WriteTo.Logzio(secrets.LogzioToken, 10, TimeSpan.FromSeconds(10), null, LogEventLevel.Debug);

एप्लिकेशन चलाने से हम अपने संदेशों को न केवल कंसोल में, बल्कि किबाना में भी देख पाएंगे।

इंटरफेस

सेवा-प्रकार के अनुप्रयोग में, हम बाहरी दुनिया के साथ इसके संपर्क के दो मुख्य इंटरफेस को अलग कर सकते हैं, हम उन्हें ऊर्ध्वाधर और क्षैतिज के रूप में नामित करेंगे। ऊर्ध्वाधर इंटरफ़ेस एक वेब एपीआई है जिसके माध्यम से क्लाइंट एप्लिकेशन से कॉल आते हैं। क्षैतिज एक संदेश ब्रोकर है, जिसका उपयोग अन्य आंतरिक सेवाओं के साथ डेटा का आदान-प्रदान करने के लिए किया जाता है।

आइए इनमें से प्रत्येक इंटरफेस पर सहसंबंध को लागू करने के चरणों पर विचार करें।

HTTP अनुरोधों में सहसंबंध

जितना संभव हो सके उतनी अधिक जानकारी प्राप्त करने के लिए, हमें गतिविधि की शुरुआत के जितना संभव हो सके उतना करीब सहसंबंध पहचानकर्ता उत्पन्न करने की आवश्यकता है, यानी गेटवे पर या सीधे क्लाइंट (मोबाइल या वेब) पर। चूंकि हम आज एक बैकएंड एप्लिकेशन के साथ काम कर रहे हैं, इसलिए हम वेब API के सभी अनुरोधों में अनिवार्य "X-सहसंबंध-ID" हेडर की आवश्यकता को आसानी से निर्दिष्ट करेंगे।

पैकेज जोड़ना सहसंबंधआईडीजिसका कार्य हेडर से वह मान लेना है जिसकी हमें आवश्यकता है

Install-Package CorrelationID

आइए इसे अनुरोध प्रसंस्करण पाइपलाइन में जोड़ें

public class Startup
{
    public void Configure(IApplicationBuilder application)
    {
        application
	    .UseCorrelationId(new CorrelationIdOptions
        {
            Header = "X-Correlation-ID",
            IncludeInResponse = false,
            UpdateTraceIdentifier = false,
            UseGuidForCorrelationId = false
        });
    }
}

अब आइए इसका उपयोग एक सरल क्रिया फ़िल्टर बनाने के लिए करें:

public sealed class ApiRequestFilter : ActionFilterAttribute
{
    public ApiRequestFilter(IApiRequestTracker apiRequestTracker, ICorrelationContextAccessor correlationContextAccessor)
    {
        _correlationContextAccessor = correlationContextAccessor ?? throw new ArgumentNullException(nameof(correlationContextAccessor));
    }
    
    private readonly ICorrelationContextAccessor _correlationContextAccessor;
    
    public override async Task OnActionExecutionAsync(ActionExecutingContext context, ActionExecutionDelegate next)
    {
        if (!Guid.TryParse(_correlationContextAccessor.CorrelationContext.CorrelationId, out Guid correlationId))
        {
            context.Result = new BadRequestResult();
            return;
        }
    
        await next.Invoke();
    }
    
    public override async Task OnResultExecutionAsync(ResultExecutingContext context, ResultExecutionDelegate next)
    {
        await next.Invoke();
    }
}

और चलिए इसे कंट्रोलर में जोड़ते हैं

[Route("[controller]")]
[ApiController]
[ServiceFilter(typeof(ApiRequestFilter))]
public class CarsController : ControllerBase
{

}

परिणामस्वरूप, नियंत्रक संबंधित पहचानकर्ता वाले हेडर के बिना सभी अनुरोधों के लिए 400 खराब अनुरोध आउटपुट करेगा।

जब हम क्लाइंट से पहचानकर्ता प्राप्त करना शुरू कर देते हैं, तो हमें इसे लॉगिंग संदर्भ में जोड़ना होगा, इसके लिए आइए एक फ़्रेमिंग परत बनाएं:

public class CorrelationIdContextLogger
{
    public CorrelationIdContextLogger(RequestDelegate next)
    {
        _next = next ?? throw new ArgumentNullException(nameof(next));
    }
    
    readonly RequestDelegate _next;
    
    public async Task InvokeAsync(HttpContext httpContext, ILogger<CorrelationIdContextLogger> logger, ICorrelationContextAccessor correlationContextAccessor)
    {
        if (Guid.TryParse(correlationContextAccessor.CorrelationContext.CorrelationId, out Guid correlationId))
        {
            using (logger.BeginScopeWith(("CorrelationId", correlationId)))
            {
                await _next(context);
            }
        }
        else
        {
            await _next(context);
        }
    }
}

हमारे अनुप्रयोग में हम Microsoft.Extensions.Logging.Abstractions पैकेज से मानक ILogger का उपयोग करते हैं, इसलिए हम इसमें एक सरल एक्सटेंशन का उपयोग करके मान जोड़ेंगे।

public static IDisposable BeginScopeWith(this ILogger logger, params (string key, object value)[] keys)
{
    return logger.BeginScope(keys.ToDictionary(x => x.key, x => x.value));
}

हम अनुरोध प्रसंस्करण पाइपलाइन में एक परत जोड़ते हैं और वांछित परिणाम प्राप्त करते हैं।

public class Startup
{
    public void Configure(IApplicationBuilder application)
    {
        application.UseMiddleware<CorrelationIdContextLogger>();
    }
}

अब हमारे वेब एपीआई के अनुरोधों द्वारा उत्पन्न सभी गतिविधियों में एक सहसंबंध पहचानकर्ता होता है जिसके द्वारा उन्हें आसानी से जोड़ा जा सकता है।

ब्रोकर संदेशों में सहसंबंध

अगला चरण संदेश ब्रोकर के माध्यम से सहसंबंध पहचानकर्ता के संचरण और प्राप्ति को सेट करना है। हमारे उदाहरण में, हम RabbitMQ का उपयोग करेंगे, और क्लाइंट के रूप में हम MassTransit फ्रेमवर्क लेंगे। फिर से, हम MassTransit के साथ काम करने के शुरुआती सेटअप को छोड़ देंगे और सीधे लॉगिंग सेट अप करने के लिए आगे बढ़ेंगे।

आरंभ करने के लिए, हम स्वयं MassTransit के लॉग को सक्षम कर सकते हैं, इसके लिए हम अपने एप्लिकेशन में एक पैकेज जोड़ेंगे MassTransit.SerilogIntegration

Install-Package MassTransit.SerilogIntegration

अब मासट्रांजिट सेटिंग्स में लॉगर जोड़ने के बाद हम फ्रेमवर्क लॉग देख पाएंगे।

services
    .AddSingleton(provider =>
        {
            return Bus.Factory.CreateUsingRabbitMq(cfg =>
            {
                cfg.UseSerilog();
            });
        });

मान लीजिए कि हमारा एप्लिकेशन POST अनुरोध के जवाब के रूप में "done" मान के साथ SomethingDoneMessage ईवेंट भेजता है। ऐसे संदेश के अनुबंध को इस प्रकार वर्णित किया जा सकता है:

namespace MbMessages
{
    public interface ISomethingDoneMessageV1
    {
        string Value { get; }
    }
}

मासट्रांजिट संदेश मूलतः एक लिफाफा है जिसमें ब्रोकर संदेश संलग्न होते हैं। लिफाफा कुछ इस तरह दिखता है:

{
  "messageId": "59020000-5dba-0015-10b8-08d77ec28593",
  "requestId": "59020000-5dba-0015-5674-08d77ec28592",
  "conversationId": "59020000-5dba-0015-bca8-08d77ec28594",
  "destinationAddress": "rabbitmq://bear.rmq.cloudamqp.com/aelzlsta/ya.servicetemplate.receiveendpoint",
  "headers": {},
  "messageType": [
    "urn:message:MbMessages:ISomethingDoneMessageV1"
  ],
  "message": {
    "value": "done"
  }
}

संदेश उन सेवा क्षेत्रों को दिखाता है जो फ्रेमवर्क के काम करने के लिए आवश्यक हैं, लेकिन हमारे पास इस लिफ़ाफ़े में अपने स्वयं के अतिरिक्त गुण जोड़ने की क्षमता है। इसके अलावा, MassTransit में कुछ वैकल्पिक फ़ील्ड के साथ काम करने के लिए बिल्ट-इन टूल हैं, जिनमें से हम CorrelationId सहसंबंध पहचानकर्ता में सबसे अधिक रुचि रखते हैं।

आइए संदेश अनुबंध में CorrelatedBy इंटरफ़ेस जोड़ें:

namespace MbMessages
{
    public interface ISomethingDoneMessageV1 : CorrelatedBy<Guid>
    {
        string Value { get; }
    }
}

आइए इसे क्रियान्वित करें और संदेश बनाते समय CorrelationId गुण को एक मान निर्दिष्ट करें:

internal class SomethingDoneMessageV1 : ISomethingDoneMessageV1
{
    internal SomethingDoneMessageV1(Guid correlationId, string value)
    {
        CorrelationId = correlationId;
        Value = value;
    }
    
    public Guid CorrelationId { get; private set; }
    public string Value { get; private set; }
}

यदि हम अद्यतन संदेश को देखें, तो हम देखेंगे कि सहसंबंध पहचानकर्ता न केवल हमारे संदेश का हिस्सा बन गया है, बल्कि लिफाफे का भी हिस्सा बन गया है - यह पहचानकर्ता अब सभी मासट्रांजिट लॉग में भी उपयोग किया जाएगा, जिसका अर्थ है कि संदेश ब्रोकर स्तर पर समस्याओं से निपटना हमारे लिए बहुत आसान हो जाएगा।

{
  "messageId": "59020000-5dba-0015-10b8-08d77ec28593",
  "requestId": "59020000-5dba-0015-5674-08d77ec28592",
  "conversationId": "59020000-5dba-0015-bca8-08d77ec28594",
  "correlationId": "c7ff562a-b639-415b-9add-c9e524a727cc",
  "destinationAddress": "rabbitmq://bear.rmq.cloudamqp.com/aelzlsta/ya.servicetemplate.receiveendpoint",
  "headers": {},
  "messageType": [
    "urn:message:MbMessages:ISomethingDoneMessageV1"
  ],
  "message": {
    "correlationId": "c7ff562a-b639-415b-9add-c9e524a727cc",
    "value": "Hello"
  }
}

हमें अभी भी संदेश के इन सेवा गुणों की लॉगिंग को कॉन्फ़िगर करने की आवश्यकता है, इसके लिए हम परियोजना में एक पैकेज जोड़ेंगे सेरिलॉग.एनरिचर्स.मासट्रांजिटमैसेजपैकेज MassTransit संदेश प्रसंस्करण पाइपलाइन में एक फ़िल्टर जोड़ता है जो संदेश संदर्भ को थ्रेड-सुरक्षित स्टैक पर धकेलता है। Serialog स्टैक से संदर्भ पढ़ता है और इन अतिरिक्त गुणों को हमारे लॉग ऑब्जेक्ट में जोड़ता है।

Install-Package Serilog.Enrichers.MassTransitMessage

मासट्रांजिट में हम एक फिल्टर डालते हैं

services
    .AddSingleton(provider =>
        {
            return Bus.Factory.CreateUsingRabbitMq(cfg =>
            {
                cfg.UseSerilog();
                cfg.UseSerilogMessagePropertiesEnricher();
            });
        });

और सेरिलॉग कॉन्फ़िगरेशन में हम एनरिचर जोड़ते हैं

Log.Logger = new LoggerConfiguration()
    .Enrich.FromMassTransitMessage()
    .CreateLogger();

चूंकि RabbitMQ कतार से संदेश प्राप्त करने वाले अनुप्रयोग के पास MassTransit लिफाफे के सभी गुणों तक पहुंच होती है, इसलिए हम परिणामी सहसंबंध पहचानकर्ता का उपयोग उपभोक्ता अनुप्रयोग के भीतर कर सकते हैं और इसे कॉल श्रृंखला में आगे भी भेज सकते हैं।

परिणामस्वरूप, हमारे लॉग में न केवल एक सेवा के भीतर, बल्कि अन्य अनुप्रयोगों के साथ बातचीत करते समय भी CorrelationId शामिल होने लगी।

इसलिए, .Net अनुप्रयोगों में परिणामी लॉगिंग सिस्टम हमें बिना किसी समस्या के पूरी तरह से अलग-अलग माइक्रोसर्विस से लॉग को सहसंबंधित करने की अनुमति देता है - यहां तक ​​कि वे भी जो संदेश ब्रोकर के माध्यम से काम करते हैं। और इलास्टिक्सर्च की मदद से, हम किबाना में अपनी ज़रूरत के डैशबोर्ड बनाकर लॉग का तेज़ी से और आसानी से विश्लेषण कर सकते हैं (पोस्ट की तस्वीर में एक उदाहरण दिया गया है)।

बेशक, इस फॉर्म में लॉग इन करने से आपकी सेवाओं और विभिन्न बाहरी प्रणालियों के बीच जटिल अंतःक्रियाएं कवर नहीं होंगी, लेकिन किसी परियोजना के विकास की शुरुआत में इस तरह की व्यवस्था स्थापित करना उन चीजों में से एक है जिसके लिए आप एक से अधिक बार खुद को धन्यवाद देंगे।

आप परियोजना में परिणामी प्रणाली के स्रोत कोड को समझ सकते हैं: github.com/a-postx/YA.ServiceTemplate

स्रोत: www.habr.com