यह कहानी इस बारे में है कि हम उत्पादन परिवेश, विशेष रूप से कुबेरनेट्स में कंटेनरों का उपयोग कैसे करते हैं। यह लेख कंटेनरों से मेट्रिक्स और लॉग एकत्र करने के साथ-साथ छवियों के निर्माण के लिए समर्पित है।

हम फिनटेक कंपनी Exness से हैं, जो B2B और B2C के लिए ऑनलाइन ट्रेडिंग और फिनटेक उत्पादों के लिए सेवाएं विकसित करती है। हमारी R&D में कई अलग-अलग टीमें हैं, विकास विभाग में 100 से अधिक कर्मचारी हैं।

हम उस टीम का प्रतिनिधित्व करते हैं जो हमारे डेवलपर्स के लिए कोड एकत्र करने और चलाने के लिए प्लेटफ़ॉर्म के लिए ज़िम्मेदार है। विशेष रूप से, हम एप्लिकेशन से मेट्रिक्स, लॉग और ईवेंट एकत्र करने, संग्रहीत करने और रिपोर्ट करने के लिए ज़िम्मेदार हैं। वर्तमान में हम उत्पादन परिवेश में लगभग तीन हजार डॉकर कंटेनर संचालित करते हैं, अपने 50 टीबी बड़े डेटा भंडारण को बनाए रखते हैं, और वास्तुशिल्प समाधान प्रदान करते हैं जो हमारे बुनियादी ढांचे के आसपास निर्मित होते हैं: कुबेरनेट्स, रैंचर और विभिन्न सार्वजनिक क्लाउड प्रदाता। 

हमारी प्रेरणा

क्या जल रहा है? कोई जवाब नहीं दे सकता. चूल्हा कहाँ है? इसे समझना कठिन है. इसमें आग कब लगी? आप पता लगा सकते हैं, लेकिन तुरंत नहीं। 

कुछ कंटेनर खड़े क्यों हैं जबकि अन्य गिर गए हैं? किस कंटेनर को दोष देना था? आख़िरकार, कंटेनरों का बाहरी भाग एक जैसा है, लेकिन अंदर प्रत्येक का अपना नियो है।

हमारे डेवलपर सक्षम लोग हैं। वे अच्छी सेवाएँ देते हैं जिससे कंपनी को लाभ होता है। लेकिन विफलताएं तब होती हैं जब अनुप्रयोगों वाले कंटेनर भटक जाते हैं। एक कंटेनर बहुत अधिक CPU का उपभोग करता है, दूसरा नेटवर्क का उपभोग करता है, तीसरा I/O संचालन का उपभोग करता है, और चौथा पूरी तरह से अस्पष्ट है कि यह सॉकेट के साथ क्या करता है। यह सब गिर जाता है और जहाज डूब जाता है। 

एजेंटों

यह समझने के लिए कि अंदर क्या हो रहा है, हमने एजेंटों को सीधे कंटेनरों में रखने का फैसला किया।

ये एजेंट उन प्रोग्रामों पर रोक लगा रहे हैं जो कंटेनरों को ऐसी स्थिति में रखते हैं कि वे एक-दूसरे को न तोड़ें। एजेंटों को मानकीकृत किया गया है, और यह कंटेनरों की सर्विसिंग के लिए एक मानकीकृत दृष्टिकोण की अनुमति देता है। 

हमारे मामले में, एजेंटों को एक मानक प्रारूप में लॉग प्रदान करना होगा, टैग किया गया और थ्रॉटल किया गया। उन्हें हमें मानकीकृत मेट्रिक्स भी प्रदान करने चाहिए जो व्यावसायिक अनुप्रयोग परिप्रेक्ष्य से विस्तार योग्य हों।

एजेंटों का मतलब संचालन और रखरखाव के लिए उपयोगिताओं से भी है जो विभिन्न ऑर्केस्ट्रेशन सिस्टम में काम कर सकते हैं जो विभिन्न छवियों (डेबियन, अल्पाइन, सेंटोस, आदि) का समर्थन करते हैं।

अंत में, एजेंटों को सरल सीआई/सीडी का समर्थन करना चाहिए जिसमें डॉकर फ़ाइलें शामिल हों। अन्यथा, जहाज टूट जाएगा, क्योंकि कंटेनरों को "टेढ़ी" पटरियों पर पहुंचाया जाना शुरू हो जाएगा।

निर्माण प्रक्रिया और लक्ष्य छवि उपकरण

हर चीज़ को मानकीकृत और प्रबंधनीय बनाए रखने के लिए, किसी प्रकार की मानक निर्माण प्रक्रिया का पालन करना आवश्यक है। इसलिए, हमने कंटेनरों को कंटेनरों द्वारा इकट्ठा करने का निर्णय लिया - यह पुनरावृत्ति है।

यहां कंटेनरों को ठोस रूपरेखा द्वारा दर्शाया गया है। साथ ही, उन्होंने उनमें वितरण किट लगाने का निर्णय लिया ताकि "जीवन रसभरी जैसा न लगे।" ऐसा क्यों किया गया, हम नीचे बताएंगे।
 
परिणाम एक बिल्ड टूल है - एक संस्करण-विशिष्ट कंटेनर जो विशिष्ट वितरण संस्करणों और विशिष्ट स्क्रिप्ट संस्करणों का संदर्भ देता है।

हम इसका प्रयोग कैसे करते हैं? हमारे पास एक डॉकर हब है जिसमें एक कंटेनर है। बाहरी निर्भरता से छुटकारा पाने के लिए हम इसे अपने सिस्टम के अंदर प्रतिबिंबित करते हैं। परिणाम पीले रंग में चिह्नित एक कंटेनर है। हम कंटेनर में आवश्यक सभी वितरण और स्क्रिप्ट को स्थापित करने के लिए एक टेम्पलेट बनाते हैं। उसके बाद, हम एक रेडी-टू-यूज़ इमेज इकट्ठा करते हैं: डेवलपर्स इसमें कोड और अपनी कुछ विशेष निर्भरताएँ डालते हैं। 

इस दृष्टिकोण के बारे में क्या अच्छा है? 

• सबसे पहले, बिल्ड टूल्स का पूर्ण संस्करण नियंत्रण - कंटेनर, स्क्रिप्ट और वितरण संस्करण बनाएं। 
• दूसरे, हमने मानकीकरण हासिल कर लिया है: हम उसी तरह टेम्पलेट, मध्यवर्ती और उपयोग में आसान छवि बनाते हैं। 
• तीसरा, कंटेनर हमें पोर्टेबिलिटी देते हैं। आज हम Gitlab का उपयोग करते हैं, और कल हम TeamCity या जेनकिंस पर स्विच करेंगे और हम अपने कंटेनरों को उसी तरह से चलाने में सक्षम होंगे। 
• चौथा, निर्भरता कम करना। यह कोई संयोग नहीं था कि हमने वितरण किट को कंटेनर में रखा, क्योंकि इससे हम उन्हें हर बार इंटरनेट से डाउनलोड करने से बच सकते हैं। 
• पांचवें, निर्माण की गति में वृद्धि हुई है - छवियों की स्थानीय प्रतियों की उपस्थिति आपको डाउनलोड करने में समय बर्बाद करने से बचने की अनुमति देती है, क्योंकि एक स्थानीय छवि है। 

दूसरे शब्दों में, हमने एक नियंत्रित और लचीली असेंबली प्रक्रिया हासिल कर ली है। हम किसी भी पूर्ण संस्करण वाले कंटेनर को बनाने के लिए उन्हीं उपकरणों का उपयोग करते हैं। 

हमारी निर्माण प्रक्रिया कैसे काम करती है

असेंबली को एक कमांड के साथ लॉन्च किया जाता है, प्रक्रिया छवि में निष्पादित की जाती है (लाल रंग में हाइलाइट किया गया)। डेवलपर के पास एक डॉकर फ़ाइल है (पीले रंग में हाइलाइट की गई), हम इसे प्रस्तुत करते हैं, चर को मानों से बदलते हैं। और साथ ही हम शीर्षलेख और पादलेख जोड़ते हैं - ये हमारे एजेंट हैं। 

हेडर संबंधित छवियों से वितरण जोड़ता है। और फूटर हमारी सेवाओं को अंदर स्थापित करता है, कार्यभार, लॉगिंग और अन्य एजेंटों के लॉन्च को कॉन्फ़िगर करता है, एंट्रीपॉइंट को बदलता है, आदि। 

हमने काफी देर तक सोचा कि क्या सुपरवाइजर लगाया जाए। अंत में, हमने निर्णय लिया कि हमें उसकी आवश्यकता है। हमने S6 चुना. पर्यवेक्षक कंटेनर प्रबंधन प्रदान करता है: यदि मुख्य प्रक्रिया क्रैश हो जाती है तो आपको इससे जुड़ने की अनुमति देता है और कंटेनर को दोबारा बनाए बिना उसका मैन्युअल प्रबंधन प्रदान करता है। लॉग और मेट्रिक्स कंटेनर के अंदर चलने वाली प्रक्रियाएं हैं। उन्हें भी किसी तरह नियंत्रित करने की आवश्यकता है, और हम एक पर्यवेक्षक की मदद से ऐसा करते हैं। अंत में, S6 हाउसकीपिंग, सिग्नल प्रोसेसिंग और अन्य कार्यों का ध्यान रखता है।

चूँकि हम विभिन्न ऑर्केस्ट्रेशन प्रणालियों का उपयोग करते हैं, निर्माण और चलाने के बाद, कंटेनर को यह समझना चाहिए कि वह किस वातावरण में है और स्थिति के अनुसार कार्य करना चाहिए। उदाहरण के लिए:
यह हमें एक छवि बनाने और इसे विभिन्न ऑर्केस्ट्रेशन सिस्टम में चलाने की अनुमति देता है, और इसे इस ऑर्केस्ट्रेशन सिस्टम की विशिष्टताओं को ध्यान में रखते हुए लॉन्च किया जाएगा।

 

एक ही कंटेनर के लिए हमें डॉकर और कुबेरनेट्स में अलग-अलग प्रोसेस ट्री मिलते हैं:

पेलोड का निष्पादन S6 की देखरेख में किया जाता है। कलेक्टर और घटनाओं पर ध्यान दें - ये हमारे एजेंट हैं जो लॉग और मेट्रिक्स के लिए जिम्मेदार हैं। कुबेरनेट्स के पास ये नहीं हैं, लेकिन डॉकर के पास हैं। क्यों? 

यदि हम "पॉड" (इसके बाद - कुबेरनेट्स पॉड) के विनिर्देश को देखते हैं, तो हम देखेंगे कि इवेंट कंटेनर को पॉड में निष्पादित किया जाता है, जिसमें एक अलग कलेक्टर कंटेनर होता है जो मेट्रिक्स और लॉग एकत्र करने का कार्य करता है। हम कुबेरनेट्स की क्षमताओं का उपयोग कर सकते हैं: एक पॉड में कंटेनर चलाना, एक ही प्रक्रिया और/या नेटवर्क स्पेस में। वास्तव में अपने एजेंटों का परिचय दें और कुछ कार्य करें। और यदि उसी कंटेनर को डॉकर में लॉन्च किया जाता है, तो उसे आउटपुट के रूप में सभी समान क्षमताएं प्राप्त होंगी, यानी, यह लॉग और मेट्रिक्स वितरित करने में सक्षम होगा, क्योंकि एजेंटों को आंतरिक रूप से लॉन्च किया जाएगा। 

मेट्रिक्स और लॉग

मेट्रिक्स और लॉग वितरित करना एक जटिल कार्य है। उनके फैसले के कई पहलू हैं.
बुनियादी ढांचा पेलोड के निष्पादन के लिए बनाया गया है, न कि लॉग की बड़े पैमाने पर डिलीवरी के लिए। अर्थात्, इस प्रक्रिया को न्यूनतम कंटेनर संसाधन आवश्यकताओं के साथ निष्पादित किया जाना चाहिए। हम अपने डेवलपर्स की मदद करने का प्रयास करते हैं: "एक डॉकर हब कंटेनर प्राप्त करें, इसे चलाएं, और हम लॉग वितरित कर सकते हैं।" 

दूसरा पहलू लॉग की मात्रा को सीमित करना है। यदि कई कंटेनरों में लॉग की मात्रा में वृद्धि होती है (एप्लिकेशन एक लूप में स्टैक-ट्रेस आउटपुट करता है), सीपीयू, संचार चैनल और लॉग प्रोसेसिंग सिस्टम पर लोड बढ़ जाता है, और यह होस्ट के संचालन को प्रभावित करता है मेजबान पर संपूर्ण और अन्य कंटेनर, तो कभी-कभी यह मेजबान के "गिरने" की ओर ले जाता है। 

तीसरा पहलू यह है कि बॉक्स से बाहर यथासंभव अधिक से अधिक मेट्रिक्स संग्रह विधियों का समर्थन करना आवश्यक है। फ़ाइलों को पढ़ने और प्रोमेथियस-एंडपॉइंट पर मतदान करने से लेकर एप्लिकेशन विशिष्ट प्रोटोकॉल का उपयोग करने तक।

और अंतिम पहलू संसाधन की खपत को कम करना है।

हमने टेलीग्राफ नामक एक ओपन-सोर्स गो समाधान चुना। यह एक यूनिवर्सल कनेक्टर है जो 140 से अधिक प्रकार के इनपुट चैनल (इनपुट प्लगइन्स) और 30 प्रकार के आउटपुट चैनल (आउटपुट प्लगइन्स) का समर्थन करता है। हमने इसे अंतिम रूप दे दिया है और अब हम आपको उदाहरण के तौर पर कुबेरनेट्स का उपयोग करके बताएंगे कि हम इसका उपयोग कैसे करते हैं। 

मान लीजिए कि एक डेवलपर एक कार्यभार तैनात करता है और कुबेरनेट्स को एक पॉड बनाने का अनुरोध प्राप्त होता है। इस बिंदु पर, प्रत्येक पॉड के लिए कलेक्टर नामक एक कंटेनर स्वचालित रूप से बनाया जाता है (हम म्यूटेशन वेबहुक का उपयोग करते हैं)। कलेक्टर हमारा एजेंट है. शुरुआत में, यह कंटेनर प्रोमेथियस और लॉग संग्रह प्रणाली के साथ काम करने के लिए खुद को कॉन्फ़िगर करता है।

• ऐसा करने के लिए, यह पॉड एनोटेशन का उपयोग करता है, और इसकी सामग्री के आधार पर, एक प्रोमेथियस एंड-पॉइंट बनाता है; 
• पॉड विनिर्देश और विशिष्ट कंटेनर सेटिंग्स के आधार पर, यह तय करता है कि लॉग कैसे वितरित किए जाएं।

हम डॉकर एपीआई के माध्यम से लॉग एकत्र करते हैं: डेवलपर्स को बस उन्हें stdout या stderr में रखना होगा, और कलेक्टर इसे सुलझा लेगा। संभावित होस्ट अधिभार को रोकने के लिए लॉग को कुछ देरी से टुकड़ों में एकत्र किया जाता है। 

मेट्रिक्स को कंटेनरों में वर्कलोड इंस्टेंस (प्रक्रियाओं) में एकत्र किया जाता है। सब कुछ टैग किया गया है: नेमस्पेस, अंडर, इत्यादि, और फिर प्रोमेथियस प्रारूप में परिवर्तित हो जाता है - और संग्रह के लिए उपलब्ध हो जाता है (लॉग को छोड़कर)। हम काफ्का और उससे भी आगे लॉग, मेट्रिक्स और इवेंट भी भेजते हैं:

• लॉग ग्रेलॉग में उपलब्ध हैं (दृश्य विश्लेषण के लिए);
• लॉग, मेट्रिक्स, ईवेंट लंबी अवधि के भंडारण के लिए क्लिकहाउस को भेजे जाते हैं।

AWS में सब कुछ बिल्कुल वैसा ही काम करता है, केवल हम ग्रेलॉग को काफ्का से क्लाउडवॉच से बदलते हैं। हम वहां लॉग भेजते हैं, और सब कुछ बहुत सुविधाजनक हो जाता है: यह तुरंत स्पष्ट हो जाता है कि वे किस क्लस्टर और कंटेनर से संबंधित हैं। Google Stackdriver के लिए भी यही सच है। यानी, हमारी योजना काफ्का और क्लाउड दोनों के साथ ऑन-प्रिमाइसेस पर काम करती है। 

यदि हमारे पास पॉड्स के साथ कुबेरनेट्स नहीं हैं, तो योजना थोड़ी अधिक जटिल है, लेकिन यह समान सिद्धांतों पर काम करती है।

उन्हीं प्रक्रियाओं को कंटेनर के अंदर निष्पादित किया जाता है, उन्हें S6 का उपयोग करके व्यवस्थित किया जाता है। सभी समान प्रक्रियाएँ एक ही कंटेनर के अंदर चल रही हैं।

नतीजतन,

हमने लॉग और मेट्रिक्स को इकट्ठा करने और वितरित करने के विकल्पों के साथ, छवियों के निर्माण और लॉन्चिंग के लिए एक संपूर्ण समाधान बनाया है:

• हमने छवियों को असेंबल करने के लिए एक मानकीकृत दृष्टिकोण विकसित किया, और इसके आधार पर हमने सीआई टेम्पलेट विकसित किए;
• डेटा संग्रह एजेंट हमारे टेलीग्राफ एक्सटेंशन हैं। हमने उत्पादन में उनका अच्छी तरह से परीक्षण किया;
• पॉड्स में एजेंटों के साथ कंटेनरों को लागू करने के लिए हम म्यूटेशन वेबहुक का उपयोग करते हैं; 
• कुबेरनेट्स/रंचर पारिस्थितिकी तंत्र में एकीकृत;
• हम विभिन्न ऑर्केस्ट्रेशन प्रणालियों में समान कंटेनरों को निष्पादित कर सकते हैं और अपेक्षित परिणाम प्राप्त कर सकते हैं;
• पूरी तरह से गतिशील कंटेनर प्रबंधन कॉन्फ़िगरेशन बनाया गया। 

सह-लेखक: इल्या प्रुडनिकोव

स्रोत: www.habr.com