🥇सर्व्हिस ट्रेसिंग, ओपनट्रेसिंग आणि जेगर

आम्ही आमच्या प्रकल्पांमध्ये मायक्रोसर्व्हिस आर्किटेक्चर वापरतो. जेव्हा कार्यप्रदर्शनातील अडथळे येतात, तेव्हा लॉगचे निरीक्षण आणि विश्लेषण करण्यात बराच वेळ जातो. लॉग फाइलवर वैयक्तिक ऑपरेशन्सची वेळ लॉगिंग करताना, या ऑपरेशन्सचे आवाहन कशामुळे झाले हे समजणे सामान्यतः कठीण असते, क्रियांचा क्रम किंवा वेगवेगळ्या सेवांमध्ये एका ऑपरेशनच्या वेळेच्या बदलाचा मागोवा घेणे.

मॅन्युअल श्रम कमी करण्यासाठी, आम्ही ट्रेसिंग साधनांपैकी एक वापरण्याचा निर्णय घेतला. आपण ट्रेसिंग कसे आणि का वापरू शकता आणि आम्ही ते कसे केले याबद्दल आणि या लेखात चर्चा केली जाईल.

ट्रेसिंगसह कोणत्या समस्या सोडवल्या जाऊ शकतात

एकाच सेवेमध्ये आणि सर्व सहभागी सेवांमध्ये कार्यप्रदर्शनातील अडथळे शोधा. उदाहरणार्थ:
- सेवांमधील अनेक लहान सलग कॉल्स, उदाहरणार्थ, जिओकोडिंग किंवा डेटाबेसला.
- दीर्घ I/O प्रतीक्षा, जसे की नेटवर्क हस्तांतरण किंवा डिस्क वाचणे.
- लांब डेटा पार्सिंग.
- दीर्घ ऑपरेशन्ससाठी cpu आवश्यक आहे.
- कोडचे विभाग जे अंतिम परिणाम मिळविण्यासाठी आवश्यक नाहीत आणि काढले जाऊ शकतात किंवा विलंब होऊ शकतात.
ऑपरेशन केल्यावर काय म्हणतात आणि काय होते ते कोणत्या क्रमाने स्पष्टपणे समजून घ्या.

हे पाहिले जाऊ शकते की, उदाहरणार्थ, विनंती WS सेवेकडे आली -> WS सेवेने R सेवेद्वारे डेटाची पूर्तता केली -> नंतर V सेवेला विनंती पाठवली -> V सेवेने भरपूर डेटा लोड केला. R सेवा -> P सेवेकडे गेली -> P सेवा पुन्हा सेवेकडे गेली R -> सेवा V ने निकालाकडे दुर्लक्ष केले आणि J -> सेवेकडे गेले आणि त्यानंतरच डब्ल्यूएस सेवेला प्रतिसाद परत केला, मध्ये आणखी काहीतरी मोजणे सुरू ठेवले. पार्श्वभूमी
संपूर्ण प्रक्रियेसाठी अशा ट्रेस किंवा तपशीलवार दस्तऐवजीकरणाशिवाय, कोड प्रथमच पाहताना काय घडत आहे हे समजणे खूप कठीण आहे आणि कोड वेगवेगळ्या सेवांमध्ये विखुरलेला आहे आणि डब्यांच्या आणि इंटरफेसच्या गुच्छाच्या मागे लपलेला आहे.
त्यानंतरच्या स्थगित विश्लेषणासाठी अंमलबजावणीच्या झाडाबद्दल माहितीचे संकलन. अंमलबजावणीच्या प्रत्येक टप्प्यावर, आपण या टप्प्यावर उपलब्ध असलेल्या ट्रेसमध्ये माहिती जोडू शकता आणि नंतर कोणत्या इनपुट डेटामुळे समान परिस्थिती निर्माण झाली आहे ते शोधून काढू शकता. उदाहरणार्थ:
- वापरकर्ता आयडी
- अधिकार
- निवडलेल्या पद्धतीचा प्रकार
- लॉग किंवा अंमलबजावणी त्रुटी
मेट्रिक्सच्या उपसमूहात ट्रेस बदलणे आणि मेट्रिक्सच्या स्वरूपात पुढील विश्लेषण.

काय ट्रेस लॉग करू शकता. स्पॅन

ट्रेसिंगमध्ये स्पॅनची संकल्पना आहे, हे कन्सोलसाठी एका लॉगचे अॅनालॉग आहे. स्पामध्ये आहे:

नाव, सहसा अंमलात आणलेल्या पद्धतीचे नाव
सेवेचे नाव ज्यामध्ये स्पॅन व्युत्पन्न झाला
स्वतःचा युनिक आयडी
की/मूल्याच्या स्वरूपात काही प्रकारची मेटा माहिती जी त्यात लॉग इन केलेली आहे. उदाहरणार्थ, पद्धत पॅरामीटर्स किंवा पद्धत त्रुटीसह समाप्त झाली किंवा नाही
या कालावधीसाठी प्रारंभ आणि समाप्ती वेळा
पालक स्पॅन आयडी

प्रत्येक स्पॅन त्याची अंमलबजावणी पूर्ण होताच नंतरच्या पुनरावलोकनासाठी डेटाबेसमध्ये संग्रहित करण्यासाठी स्पॅन कलेक्टरकडे पाठविला जातो. भविष्यात, तुम्ही पालक आयडीद्वारे कनेक्ट करून सर्व स्पॅनचे एक झाड तयार करू शकता. विश्लेषण करताना, आपण शोधू शकता, उदाहरणार्थ, काही सेवेमधील सर्व स्पॅन्स ज्यांना काही वेळेपेक्षा जास्त वेळ लागला. पुढे, विशिष्ट स्पॅनवर जाऊन, या स्पॅनच्या वर आणि खाली संपूर्ण झाड पहा.

Opentrace, Jagger आणि आम्ही आमच्या प्रकल्पांसाठी ते कसे लागू केले

एक सामान्य मानक आहे ओपनट्रेस, जे कोणत्याही भाषेतील विशिष्ट अंमलबजावणीचा मागोवा न घेता, कसे आणि काय गोळा करावे याचे वर्णन करते. उदाहरणार्थ, Java मध्ये, ट्रेससह सर्व कार्य सामान्य Opentrace API द्वारे केले जाते आणि त्या अंतर्गत, उदाहरणार्थ, Jaeger किंवा रिक्त डीफॉल्ट अंमलबजावणी जे काहीही करत नाही ते लपवले जाऊ शकत नाही.
आम्ही वापरत आहोत जागर ओपनट्रेसची अंमलबजावणी म्हणून. यात अनेक घटक असतात:

Jaeger-agent हा एक स्थानिक एजंट आहे जो सामान्यतः प्रत्येक मशीनवर स्थापित केला जातो आणि सेवा स्थानिक डीफॉल्ट पोर्टवर लॉग इन केल्या जातात. एजंट नसल्यास, या मशीनवरील सर्व सेवांचे ट्रेस सहसा अक्षम केले जातात
जेगर-कलेक्टर - सर्व एजंट त्याला एकत्रित ट्रेस पाठवतात आणि ते निवडलेल्या डेटाबेसमध्ये ठेवतात
डेटाबेस हा त्यांचा पसंतीचा कॅसॅन्ड्रा आहे, परंतु आम्ही इलास्टिकसर्च वापरतो, इतर काही डेटाबेससाठी अंमलबजावणी आणि मेमरीमधील अंमलबजावणी आहे जी डिस्कवर काहीही जतन करत नाही.
Jaeger-query ही एक सेवा आहे जी डेटाबेसवर जाते आणि विश्लेषणासाठी आधीच गोळा केलेले ट्रेस परत करते
Jaeger-ui हा ट्रेस शोधण्यासाठी आणि पाहण्यासाठी एक वेब इंटरफेस आहे, तो jaeger-query वर जातो

एका वेगळ्या घटकाला विशिष्ट भाषांसाठी ओपनट्रेस जेगरची अंमलबजावणी म्हटले जाऊ शकते, ज्याद्वारे स्पॅन जेगर-एजंटला पाठवले जातात.
Java मध्ये Jagger कनेक्ट करत आहे io.opentracing.Tracer इंटरफेसची अंमलबजावणी करण्यासाठी खाली येते, त्यानंतर त्याद्वारे सर्व ट्रेस वास्तविक एजंटकडे जातील.

तसेच स्प्रिंग घटकासाठी, आपण कनेक्ट करू शकता ओपनट्रेसिंग-स्प्रिंग-क्लाउड-स्टार्टर आणि Jaeger कडून अंमलबजावणी opentracing-spring-jaeger-Cloud-starter जे या घटकांमधून जाणार्‍या प्रत्येक गोष्टीसाठी ट्रेसिंग आपोआप कॉन्फिगर करेल, उदाहरणार्थ HTTP नियंत्रकांना विनंत्या, jdbc द्वारे डेटाबेसला विनंत्या इ.

Java मध्ये लॉगिंग ट्रेस

कुठेतरी वरच्या स्तरावर, प्रथम स्पॅन तयार करणे आवश्यक आहे, हे स्वयंचलितपणे केले जाऊ शकते, उदाहरणार्थ, जेव्हा विनंती प्राप्त होते तेव्हा स्प्रिंग कंट्रोलरद्वारे, किंवा काहीही नसल्यास व्यक्तिचलितपणे. त्यानंतर ते खालील स्कोपद्वारे प्रसारित केले जाते. जर खालीलपैकी कोणत्याही पद्धतीला स्पॅन जोडायचा असेल, तर ती स्कोपमधून सध्याचा ऍक्टिव्हस्पॅन घेते, नवीन स्पॅन तयार करते आणि म्हणते की त्याचे पालक परिणामी सक्रिय स्पॅन आहे आणि नवीन स्पॅन सक्रिय करते. बाह्य सेवांना कॉल करताना, वर्तमान सक्रिय स्पॅन त्यांना दिले जाते आणि त्या सेवा या स्पॅनच्या संदर्भात नवीन स्पॅन तयार करतात.
सर्व काम ट्रेसर उदाहरणाद्वारे होते, तुम्ही ते DI मेकॅनिझम किंवा GlobalTracer.get () द्वारे मिळवू शकता जर DI यंत्रणा काम करत नसेल तर ग्लोबल व्हेरिएबल म्हणून. डीफॉल्टनुसार, ट्रेसर प्रारंभ केला नसल्यास, NoopTracer परत येईल जे काहीही करत नाही.
पुढे, वर्तमान स्कोप ट्रेसरकडून स्कोप मॅनेजरद्वारे प्राप्त केला जातो, नवीन स्पॅनच्या बंधनासह वर्तमान स्कोपमधून एक नवीन स्कोप तयार केला जातो आणि नंतर तयार केलेला स्कोप बंद केला जातो, जो तयार केलेला स्पॅन बंद करतो आणि मागील स्कोपला परत करतो. सक्रिय स्थिती. व्याप्ती एका थ्रेडशी जोडलेली असते, त्यामुळे मल्टी-थ्रेडेड प्रोग्रामिंग करताना, या स्पॅनच्या संदर्भात दुसर्‍या थ्रेडची व्याप्ती आणखी सक्रिय करण्यासाठी तुम्ही सक्रिय स्पॅन दुसर्‍या थ्रेडवर हस्तांतरित करण्यास विसरू नये.

io.opentracing.Tracer tracer = ...; // GlobalTracer.get()

void DoSmth () {
   try (Scope scope = tracer.buildSpan("DoSmth").startActive(true)) {
      ...
   }
}
void DoOther () {
    Span span = tracer.buildSpan("someWork").start();
    try (Scope scope = tracer.scopeManager().activate(span, false)) {
        // Do things.
    } catch(Exception ex) {
        Tags.ERROR.set(span, true);
        span.log(Map.of(Fields.EVENT, "error", Fields.ERROR_OBJECT, ex, Fields.MESSAGE, ex.getMessage()));
    } finally {
        span.finish();
    }
}

void DoAsync () {
    try (Scope scope = tracer.buildSpan("ServiceHandlerSpan").startActive(false)) {
        ...
        final Span span = scope.span();
        doAsyncWork(() -> {
            // STEP 2 ABOVE: reactivate the Span in the callback, passing true to
            // startActive() if/when the Span must be finished.
            try (Scope scope = tracer.scopeManager().activate(span, false)) {
                ...
            }
        });
    }
}

मल्टी-थ्रेडेड प्रोग्रामिंगसाठी, TracedExecutorService आणि तत्सम रॅपर्स देखील आहेत जे अॅसिंक्रोनस टास्क लॉन्च केल्यावर वर्तमान स्पॅन स्वयंचलितपणे थ्रेडवर फॉरवर्ड करतात:

private ExecutorService executor = new TracedExecutorService(
    Executors.newFixedThreadPool(10), GlobalTracer.get()
);

बाह्य http विनंत्यांसाठी आहे TracingHttpClient

HttpClient httpClient = new TracingHttpClientBuilder().build();

आम्हाला ज्या समस्यांचा सामना करावा लागला

ट्रेसर सेवा किंवा घटकामध्ये वापरला नसल्यास बीन्स आणि डीआय नेहमी कार्य करत नाहीत ऑटोवायर्ड ट्रेसर कदाचित काम करणार नाही आणि तुम्हाला GlobalTracer.ge() वापरावे लागेल.
जर ते घटक किंवा सेवा नसेल किंवा पद्धत त्याच वर्गाच्या शेजारच्या पद्धतीवरून कॉल केली असेल तर भाष्ये कार्य करत नाहीत. तुम्हाला काय कार्य करते हे तपासण्यासाठी काळजी घ्यावी लागेल आणि @Traced कार्य करत नसल्यास मॅन्युअल ट्रेस निर्मिती वापरा. तुम्ही जावा भाष्यांसाठी अतिरिक्त कंपाइलर देखील संलग्न करू शकता, नंतर त्यांनी सर्वत्र कार्य केले पाहिजे.
जुन्या स्प्रिंग आणि स्प्रिंग बूटमध्ये, ओपनट्रेंग स्प्रिंग क्लाउड ऑटोकॉन्फिगरेशन डीआय मधील बग्समुळे कार्य करत नाही, नंतर स्प्रिंग घटकांमधील ट्रेस स्वयंचलितपणे कार्य करू इच्छित असल्यास, आपण ते समानतेने करू शकता github.com/opentracing-contrib/java-spring-jaeger/blob/master/opentracing-spring-jaeger-starter/src/main/java/io/opentracing/contrib/java/spring/jaeger/starter/JaegerAutoConfiguration.java
संसाधनांसह प्रयत्न करा ग्रूवीमध्ये कार्य करत नाही, आपण शेवटी प्रयत्न करणे आवश्यक आहे.
प्रत्येक सेवेचे स्वतःचे spring.application.name असणे आवश्यक आहे ज्या अंतर्गत ट्रेस लॉग केले जातील. विक्री आणि चाचणीसाठी वेगळे नाव काय आहे, जेणेकरुन त्यांना एकत्रितपणे व्यत्यय आणू नये.
जर तुम्ही GlobalTracer आणि tomcat वापरत असाल, तर या tomcat मध्ये चालणाऱ्या सर्व सेवांमध्ये एक GlobalTracer आहे, त्यामुळे त्या सर्व सेवांचे नाव समान असेल.
पद्धतीमध्ये ट्रेस जोडताना, आपणास खात्री असणे आवश्यक आहे की ते लूपमध्ये अनेक वेळा कॉल केले जात नाही. सर्व कॉलसाठी एक सामान्य ट्रेस जोडणे आवश्यक आहे, जे एकूण कामाच्या वेळेची हमी देते. अन्यथा, अतिरिक्त भार तयार केला जाईल.
एकदा jaeger-ui मध्ये, मोठ्या संख्येने ट्रेससाठी खूप मोठ्या विनंत्या केल्या गेल्या आणि त्यांनी प्रतिसादाची प्रतीक्षा न केल्यामुळे, त्यांनी ते पुन्हा केले. परिणामी, jaeger-query खूप मेमरी खाण्यास सुरुवात केली आणि लवचिकता कमी झाली. jaeger-query रीस्टार्ट करून मदत केली

नमुना घेणे, साठवणे आणि ट्रेस पाहणे

तीन प्रकार आहेत सॅम्पलिंग ट्रेस:

Const जे सर्व ट्रेस पाठवते आणि जतन करते.
संभाव्यता जे काही दिलेल्या संभाव्यतेसह ट्रेस फिल्टर करते.
रेटलिमिटिंग जे प्रति सेकंद ट्रेसची संख्या मर्यादित करते. तुम्ही या सेटिंग्ज क्लायंटवर कॉन्फिगर करू शकता, एकतर जेगर-एजंटवर किंवा कलेक्टरवर. आता आम्ही व्हॅल्युएटर स्टॅकमध्ये कॉन्स्ट 1 वापरतो, कारण खूप विनंत्या नाहीत, परंतु त्यांना बराच वेळ लागतो. भविष्यात, यामुळे सिस्टमवर जास्त भार पडल्यास, तुम्ही ते मर्यादित करू शकता.

आपण कॅसॅन्ड्रा वापरत असल्यास, डीफॉल्टनुसार ते केवळ दोन दिवसांसाठी ट्रेस संचयित करते. आम्ही वापरत आहोत लवचिक आणि ट्रेस सर्व काळासाठी साठवले जातात आणि हटवले जात नाहीत. प्रत्येक दिवसासाठी स्वतंत्र निर्देशांक तयार केला जातो, उदाहरणार्थ jaeger-service-2019-03-04. भविष्यात, आपल्याला जुन्या ट्रेसची स्वयंचलित साफसफाई कॉन्फिगर करण्याची आवश्यकता आहे.

आपल्याला आवश्यक असलेले ट्रेस पाहण्यासाठी:

ज्या सेवेद्वारे तुम्ही ट्रेस फिल्टर करू इच्छिता ती सेवा निवडा, उदाहरणार्थ, tomcat7-डीफॉल्ट अशा सेवेसाठी जी टॉमकॅटमध्ये चालू आहे आणि तिचे स्वतःचे नाव नाही.
नंतर ऑपरेशन, वेळ मध्यांतर आणि किमान ऑपरेशन वेळ निवडा, उदाहरणार्थ 10 सेकंदांपासून, फक्त दीर्घ अंमलबजावणीसाठी.
एका ट्रेसवर जा आणि तिथे काय मंद होते ते पहा.

तसेच, जर काही रिक्वेस्ट आयडी माहीत असेल तर, जर हा आयडी ट्रेस स्पॅनमध्ये लॉग इन असेल तर तुम्ही टॅग सर्चद्वारे या आयडीद्वारे ट्रेस शोधू शकता.

दस्तऐवजीकरण

ओपनट्रेसिंग दस्तऐवजीकरण opentracing.io/docs/overview/what-is-tracing
jaeger दस्तऐवजीकरण www.jaegertracing.io/docs/1.10
Jaeger जावा कनेक्शन github.com/jaegertracing/jaeger-client-java
स्प्रिंग ओपन ट्रेसिंग कनेक्शन
github.com/jaegertracing/jaeger-client-java
github.com/opentracing-contrib/java-spring-cloud

लेख

habr.com/ru/company/carprice/blog/340946 वास्तविक PHP आणि गोलंग प्रकल्पात जेगर ओपनट्रेसिंग आणि मायक्रोसर्व्हिसेस
www.uber.com/distributed-tracing उबेर अभियांत्रिकी येथे वितरित ट्रेसिंग विकसित करणे
opentracing.io/guides/java
medium.com/jaegertracing/running-jaeger-agent-on-bare-metal-d1fc47d31fab बेअर मेटलवर जेगर एजंट चालवणे

व्हिडिओ

www.youtube.com/watch?v=qg0ENOdP1Lo लाइटनिंग-फास्ट वापरकर्त्याच्या प्रश्नांना वितरीत करण्यासाठी आम्ही जेगर आणि प्रोमिथियस कसे वापरले - ब्रायन बोरेहॅम
www.youtube.com/watch?v=WRntQsUajow परिचय: Jaeger - Yuri Shkuro, Uber आणि Pavol Loffay, Red Hat
www.youtube.com/watch?v=fsHb0qK37bc सेर्गेई इयाकोव्हलेव्ह, "मोठ्या विजयाची एक छोटी गोष्ट: ओपनट्रेसिंग, एडब्ल्यूएस आणि जेगर"

स्त्रोत: www.habr.com

सर्व्हिस ट्रेसिंग, ओपन ट्रेसिंग आणि जेगर