प्रोमेथियस के लिए डेटा संग्रहण चुनना: थानोस बनाम विक्टोरियामेट्रिक्स

नमस्ते। नीचे प्रतिलेख है बिग मॉनिटरिंग मीटअप 4 से रिपोर्ट.

प्रोमिथेउस - विभिन्न प्रणालियों और सेवाओं के लिए एक निगरानी प्रणाली, जिसकी मदद से सिस्टम प्रशासक सिस्टम के वर्तमान मापदंडों के बारे में जानकारी एकत्र कर सकते हैं और सिस्टम के संचालन में विचलन के बारे में सूचनाएं प्राप्त करने के लिए अलर्ट सेट कर सकते हैं।

रिपोर्ट में तुलना शामिल होगी थनोस и विक्टोरिया मेट्रिक्स - प्रोमेथियस मेट्रिक्स के दीर्घकालिक भंडारण के लिए परियोजनाएं।

सबसे पहले, मैं आपको प्रोमेथियस के बारे में बताऊंगा। यह एक निगरानी प्रणाली है जो निर्दिष्ट लक्ष्यों से मैट्रिक्स एकत्र करती है और उन्हें स्थानीय भंडारण में सहेजती है। प्रोमेथियस मेट्रिक्स को रिमोट स्टोरेज में रिकॉर्ड कर सकता है और अलर्ट और रिकॉर्डिंग नियम उत्पन्न कर सकता है।

प्रोमेथियस सीमाएँ:

• इसमें वैश्विक क्वेरी दृश्य नहीं है. यह तब होता है जब आपके पास प्रोमेथियस के कई स्वतंत्र उदाहरण होते हैं। वे मेट्रिक्स एकत्र करते हैं. और आप विभिन्न प्रोमेथियस उदाहरणों से एकत्र किए गए इन सभी मेट्रिक्स के शीर्ष पर क्वेरी करना चाहते हैं। प्रोमेथियस इसकी अनुमति नहीं देता.
• प्रोमेथियस के साथ, प्रदर्शन केवल एक सर्वर तक सीमित है। प्रोमेथियस स्वचालित रूप से एकाधिक सर्वरों पर स्केल नहीं करता है। आप अपने लक्ष्यों को केवल एकाधिक प्रोमेथियस के बीच मैन्युअल रूप से विभाजित कर सकते हैं।
• प्रोमेथियस में मेट्रिक्स का दायरा केवल एक सर्वर तक ही सीमित है, इसी कारण से यह स्वचालित रूप से कई सर्वरों पर स्केल नहीं कर सकता है।
• प्रोमेथियस में डेटा सुरक्षा को व्यवस्थित करना इतना आसान नहीं है।

इन समस्याओं/चुनौतियों का समाधान?

समाधान हैं:

• थनोस
• विक्टोरिया मेट्रिक्स
• उबर एम3
• छाल

ये सभी समाधान प्रोमेथियस द्वारा एकत्र किए गए डेटा के दूरस्थ भंडारण के लिए हैं। वे पिछली स्लाइड से रिमोट स्टोरेज समस्या को अलग-अलग तरीकों से हल करते हैं। इस प्रस्तुति में मैं केवल पहले दो समाधानों के बारे में बात करूंगा: थनोस и विक्टोरिया मेट्रिक्स.

के बारे में पहली बार जानकारी थनोस द्वारा प्रकट हुआ इस कड़ी. वहां की वास्तुकला का वर्णन किया गया है थनोस और यह कैसे काम करता है.

थानोस प्रोमेथियस द्वारा सहेजे गए डेटा को स्थानीय डिस्क पर ले जाता है और इसे S3 पर कॉपी कर देता है GCS या किसी अन्य वस्तु भंडारण के लिए।

इस प्रकार थानोस एक वैश्विक क्वेरी दृश्य प्रदान करता है। आप कई प्रोमेथियस उदाहरणों से ऑब्जेक्ट स्टोरेज में संग्रहीत डेटा को क्वेरी कर सकते हैं।

थानोस PromQL और को सपोर्ट करता है प्रोमेथियस क्वेरी एपीआई.

थानोस डेटा स्टोर करने के लिए प्रोमेथियस कोड का उपयोग करता है।

थानोस को प्रोमेथियस जैसे ही डेवलपर्स द्वारा विकसित किया गया है।

पर विक्टोरिया मेट्रिक्स। यहां लिंक, जहां हमने पहली बार बात की थी विक्टोरिया मेट्रिक्स.

विक्टोरियामेट्रिक्स कई प्रोमेथियस से डेटा प्राप्त करता है दूरस्थ लेखन एपीआई प्रोमेथियस द्वारा समर्थित प्रोटोकॉल।

विक्टोरियामेट्रिक्स एक वैश्विक क्वेरी दृश्य प्रदान करता है, क्योंकि कई प्रोमेथियस उदाहरण एक विक्टोरियामेट्रिक्स पर डेटा लिख ​​सकते हैं। तदनुसार, आप इस सभी डेटा पर प्रश्न पूछ सकते हैं।

थानोस, प्रोमक्यूएल और प्रोमेथियस क्वेरीिंग एपीआई की तरह विक्टोरियामेट्रिक्स भी समर्थन करता है।

थानोस के विपरीत, विक्टोरियामेट्रिक्स स्रोत कोड स्क्रैच से लिखा गया है और गति और संसाधन खपत के लिए अनुकूलित है।

विक्टोरियामेट्रिक्स, थानोस के विपरीत, लंबवत और क्षैतिज दोनों तरह से मापता है। खाओ एकल-नोड संस्करण, जो लंबवत रूप से मापता है। आप एक प्रोसेसर और 1 जीबी मेमोरी से शुरुआत कर सकते हैं और धीरे-धीरे सैकड़ों प्रोसेसर और 1 टीबी मेमोरी तक बढ़ सकते हैं। विक्टोरियामेट्रिक्स इन सभी संसाधनों का उपयोग कर सकता है। 100-कोर सिस्टम की तुलना में इसका प्रदर्शन लगभग 1 गुना बढ़ जाएगा।

थानोस का इतिहास नवंबर 2017 में शुरू हुआ, जब पहली सार्वजनिक प्रतिबद्धता सामने आई। इससे पहले थानोस को आंतरिक रूप से विकसित किया गया था असंभव.io.

जून 2019 में एक ऐतिहासिक रिलीज़ 0.5.0 थी, जिसमें साफ गपशप शिष्टाचार। अच्छा प्रदर्शन नहीं करने के कारण उन्हें थानोस से हटा दिया गया था। अक्सर थानोस क्लस्टर सही ढंग से काम नहीं करता था, गपशप प्रोटोकॉल के कारण इससे नोड्स गलत तरीके से जुड़े थे। इसलिए हमने उसे वहां से हटाने का फैसला किया. मुझे लगता है ये सही फैसला है.

वहीं जून 2019 में उन्होंने एप्लीकेशन नंबर भेजा 256 в क्लाउड नेटिव कम्प्यूटिंग फाउंडेशन.

और कुछ महीनों के बाद थानोस को स्वीकार कर लिया गया क्लाउड नेटिव कम्प्यूटिंग फाउंडेशन, जिसमें प्रोमेथियस, कुबेरनेट्स और अन्य लोकप्रिय परियोजनाएँ शामिल हैं।

जनवरी 2018 में, विक्टोरियामेट्रिक्स का विकास शुरू हुआ।

सितंबर 2018 में, मैंने पहली बार सार्वजनिक रूप से विक्टोरियामेट्रिक्स का उल्लेख किया।

दिसंबर 2018 में, एकल-नोड संस्करण प्रकाशित किया गया था।

मई 2019 में प्रकाशित किए गए थे सिंगल-नोड और क्लस्टर दोनों संस्करणों के स्रोत।

जून 2019 में, थानोस की तरह, हमने संख्या के तहत सीएनसीएफ फाउंडेशन को एक आवेदन जमा किया 255. हमने थानोस के आवेदन से एक दिन पहले आवेदन किया था।

लेकिन, दुर्भाग्य से, हमें अभी भी वहां स्वीकार नहीं किया गया है। सामुदायिक सहायता की आवश्यकता है.

आइए थानोस और विक्टोरियामेट्रिक्स की वास्तुकला को दर्शाने वाली सबसे महत्वपूर्ण स्लाइड्स देखें।

आइए थानोस से शुरुआत करें। पीले घटक प्रोमेथियस घटक हैं। बाकी सब थानोस घटक हैं। आइए सबसे महत्वपूर्ण घटक से शुरू करें। थानोस साइडकार एक घटक है जो प्रत्येक प्रोमेथियस के बगल में स्थापित किया गया है। यह प्रोमेथियस डेटा को स्थानीय स्टोरेज से S3 या किसी अन्य ऑब्जेक्ट स्टोरेज में लोड करता है।

थानोस स्टोर गेटवे नामक एक घटक भी है, जो थानोस क्वेरी से आने वाले अनुरोधों पर ऑब्जेक्ट स्टोरेज से इस डेटा को पढ़ सकता है। थानोस क्वेरी प्रोमक्यूएल और प्रोमेथियस एपीआई लागू करती है। यानी बाहर से यह प्रोमेथियस जैसा दिखता है। PromQL क्वेरीज़ प्राप्त करता है, उन्हें थानोस स्टोर गेटवे पर भेजता है, थानोस स्टोर गेटवे ऑब्जेक्ट स्टोरेज से आवश्यक डेटा पुनर्प्राप्त करता है, इसे वापस भेजता है।

लेकिन हम थानोस साइडकार कार्यान्वयन की एक विशेषता के कारण अंतिम दो घंटों के बिना ऑब्जेक्ट स्टोरेज में डेटा संग्रहीत करते हैं, जो ऑब्जेक्ट स्टोरेज एस 3 पर अंतिम दो घंटों को अपलोड नहीं कर सकता है, क्योंकि प्रोमेथियस ने अभी तक स्थानीय स्टोरेज में इन दो घंटों के लिए फ़ाइलें नहीं बनाई हैं।

आपने इससे निजात पाने का निर्णय कैसे लिया? थानोस क्वेरी, थानोस स्टोर गेटवे के अनुरोधों के अलावा, प्रत्येक थानोस साइडकार को समानांतर अनुरोध भेजती है, जो प्रोमेथियस के बगल में स्थित है।

और थानोस साइडकार, बदले में, प्रॉक्सी प्रोमेथियस से आगे अनुरोध करता है, और पिछले दो घंटों के डेटा को पुनः प्राप्त करता है।

इन घटकों के अलावा, एक वैकल्पिक घटक भी है जिसके बिना थानोस अच्छा प्रदर्शन नहीं करेगा। यह थानोस कॉम्पैक्ट है, जो ऑब्जेक्ट स्टोरेज पर छोटी फ़ाइलों को बड़ी फ़ाइलों में मर्ज करने के लिए ज़िम्मेदार है, जिन्हें थानोस साइडकार्स द्वारा यहां अपलोड किया गया था। थानोस साइडकार वहां दो घंटे में डेटा फाइल अपलोड करता है। इन फाइलों को अगर बड़ी फाइलों में मर्ज न किया जाए तो इनकी संख्या काफी बढ़ सकती है। जितनी अधिक ऐसी फ़ाइलें होंगी, थानोस स्टोर गेटवे के लिए उतनी ही अधिक मेमोरी की आवश्यकता होगी, नेटवर्क और मेटाडेटा पर डेटा स्थानांतरित करने के लिए उतने ही अधिक संसाधनों की आवश्यकता होगी। थानोस स्टोर गेटवे अप्रभावी हो जाता है। इसलिए, थानोस कॉम्पैक्ट को चलाना आवश्यक है, जो छोटी फ़ाइलों को बड़ी फ़ाइलों में विलय कर देता है, ताकि ऐसी फ़ाइलें कम हों और थानोस स्टोर गेटवे पर ओवरहेड को कम किया जा सके।

थानोस रूलर जैसा एक घटक भी है। यह प्रोमेथियस चेतावनी नियमों को निष्पादित करता है और ऑब्जेक्ट स्टोरेज पर डेटा वापस लिखने के लिए प्रोमेथियस रिकॉर्डिंग नियमों का मूल्यांकन कर सकता है। लेकिन इस घटक का उपयोग करने की अनुशंसा नहीं की जाती है, क्योंकि... वह अपूर्ण डेटा लौटाने की प्रवृत्ति होती है.

यह थानोस की सरल योजना है।

आइए अब इसकी तुलना विक्टोरियामेट्रिक्स योजना से करें।

विक्टोरियामेट्रिक्स के 2 संस्करण हैं: सिंगल-नोड और क्लस्टर संस्करण। सिंगल-नोड एक कंप्यूटर पर चलता है। सिंगल-नोड में ये घटक नहीं हैं, केवल एक बाइनरी है। स्लाइड पर यह बाइनरी इस वर्ग की तरह दिखती है। वर्ग के अंदर जो कुछ भी है वह सिंगल-नोड संस्करण के लिए बाइनरी फ़ाइल की सामग्री है। आपको उसके बारे में जानने की जरूरत नहीं है. आप बस बाइनरी चलाएं और सब कुछ हमारे लिए काम करेगा।

क्लस्टर संस्करण अधिक जटिल है. इसके अंदर तीन अलग-अलग घटक हैं: vmselect, vminsert और vmstorage। उनके नाम से यह स्पष्ट होना चाहिए कि उनमें से प्रत्येक क्या करता है। इंसर्ट घटक विभिन्न स्वरूपों में डेटा स्वीकार करता है: प्रोमेथियस रिमोट राइट एपीआई, इन्फ्लक्स लाइन प्रोटोकॉल, ग्रेफाइट प्रोटोकॉल और ओपनटीएसडीबी प्रोटोकॉल से। सम्मिलित घटक उन्हें स्वीकार करता है, उन्हें पार्स करता है और उन्हें मौजूदा भंडारण घटकों के बीच वितरित करता है, जहां डेटा पहले से ही संग्रहीत है। बदले में, चयन घटक, PromQL प्रश्नों को स्वीकार करता है। वह क्रियान्वित करता है प्रोमक्यूएल, साथ ही प्रोमेथियस क्वेरीिंग एपीआई, और इसका उपयोग ग्राफाना या अन्य प्रोमेथियस एपीआई क्लाइंट में प्रोमेथियस के प्रतिस्थापन के रूप में किया जा सकता है। चयन एक प्रोमक्यूएल अनुरोध स्वीकार करता है, इसे पार्स करता है, स्टोरेज नोड्स से इस अनुरोध को निष्पादित करने के लिए आवश्यक डेटा पढ़ता है, इस डेटा को संसाधित करता है और एक प्रतिक्रिया देता है।

आइए थानोस और विक्टोरियामेट्रिक्स को स्थापित करने की जटिलता की तुलना करें।

आइए थानोस से शुरुआत करें। इससे पहले कि आप थानोस के साथ काम करना शुरू करें, आपको ऑब्जेक्ट स्टोरेज में एक बकेट बनाना होगा, जैसे कि एस3 या जीसीएस, ताकि थानोस साइडकार उसमें डेटा लिख ​​सके।

फिर प्रत्येक प्रोमेथियस के लिए आपको थानोस साइडकार स्थापित करना होगा। इससे पहले, आपको प्रोमेथियस में डेटा कॉम्पैक्शन को अक्षम करना याद रखना होगा। संसाधन खपत को कम करने के लिए डेटा कॉम्पैक्शन समय-समय पर स्थानीय प्रोमेथियस स्टोरेज में डेटा को संपीड़ित करता है।

जब आप अपने प्रोमेथियस पर थानोस साइडकार स्थापित करते हैं, तो आपको इस डेटा कॉम्पैक्शन को अक्षम करना होगा, क्योंकि डेटा कॉम्पैक्शन सक्षम होने पर थानोस साइडकार ठीक से काम नहीं करता है। इसका मतलब यह है कि आपका प्रोमेथियस दो घंटे के ब्लॉक में डेटा सहेजना शुरू कर देता है और उन ब्लॉक को बड़े ब्लॉक में विलय करना बंद कर देता है। तदनुसार, यदि आप पिछले दो घंटों की अवधि से अधिक की क्वेरी करते हैं, तो वे उतनी कुशलता से काम नहीं करेंगे जितनी कुशलता से वे काम कर सकते थे यदि डेटा संपीड़न सक्षम किया गया था।

इसलिए, थानोस बड़ी संख्या में छोटे ब्लॉकों के ओवरहेड को कम करने के लिए स्थानीय भंडारण में डेटा अवधारण समय को 6-8 घंटे तक कम करने की सिफारिश करता है।

एक बार जब आप थानोस साइडकार स्थापित कर लेते हैं, तो आपको प्रत्येक ऑब्जेक्ट स्टोरेज बकेट के लिए दो घटक स्थापित करने होंगे। ये थेनोस कॉम्पेक्टर और थानोस स्टोर गेटवे हैं।

उसके बाद, आपको थानोस क्वेरी को स्थापित करने और इसे कॉन्फ़िगर करने की आवश्यकता है ताकि यह आपके पास मौजूद सभी थानोस स्टोर गेटवे से कनेक्ट हो सके, और सभी थानोस साइडकार से भी कनेक्ट हो सके।

यहां थोड़ी दिक्कत हो सकती है.

आपको थानोस क्वेरी से इन घटकों के लिए एक विश्वसनीय और सुरक्षित कनेक्शन कॉन्फ़िगर करने की आवश्यकता है। और यदि आपका प्रोमेथियस विभिन्न डेटा केंद्रों, या विभिन्न वीपीसी में स्थित है, तो बाहर से उनसे कनेक्शन निषिद्ध है। लेकिन थानोस क्वेरी के काम करने के लिए, आपको किसी तरह वहां कनेक्शन कॉन्फ़िगर करना होगा, और आपको एक रास्ता निकालना होगा।

यदि आपके पास ऐसे कई डेटा सेंटर हैं, तो तदनुसार, पूरे सिस्टम की विश्वसनीयता कम हो जाती है। चूंकि थानोस क्वेरी को विभिन्न डेटा केंद्रों में स्थित सभी थानोस साइडकारों से लगातार कनेक्शन बनाए रखना होगा। प्रत्येक आने वाले अनुरोध के लिए, यह सभी थानोस साइडकारों के अनुरोधों को रूट करेगा। यदि कनेक्शन बाधित हो जाता है, तो आपको या तो डेटा का अधूरा सेट प्राप्त होगा, या आपको "क्लस्टर डाउन है" प्रतिक्रिया प्राप्त होगी।

विक्टोरियामेट्रिक्स में सब कुछ थोड़ा सरल है। एकल-नोड संस्करण के लिए, आपको बस एक बाइनरी चलाने की आवश्यकता है और सब कुछ काम करता है।

क्लस्टर संस्करण में, यह उपरोक्त तीनों प्रकार के घटकों को आपकी आवश्यकतानुसार किसी भी मात्रा में चलाने या उपयोग करने के लिए पर्याप्त है हेल्म चार्ट कुबेरनेट्स में घटकों के लॉन्च को स्वचालित करने के लिए। हम कुबेरनेट्स ऑपरेटर बनाने की भी योजना बना रहे हैं। हेल्म चार्ट कुछ मामलों को कवर नहीं करता है और आपको अपने पैर पर कुल्हाड़ी मारने देता है। उदाहरण के लिए, यह आपको स्टोरेज नोड्स की संख्या कम करने की अनुमति देता है, जिससे डेटा हानि होगी।

आपके द्वारा एक बाइनरी या क्लस्टर्ड संस्करण लॉन्च करने के बाद, आपको बस कॉन्फ़िगरेशन में प्रोमेथियस को जोड़ना होगा दूरस्थ लेखन यूआरएल के लिए सेटिंगताकि यह लोकल स्टोरेज और रिमोट स्टोरेज के समानांतर डेटा लिखना शुरू कर दे। जैसा कि आप देख सकते हैं, इस कॉन्फ़िगरेशन को थानोस कॉन्फ़िगरेशन की तुलना में अधिक विश्वसनीय रूप से कार्य करना चाहिए। हमें विक्टोरियामेट्रिक्स से सभी प्रोमेथियस तक कनेक्शन बनाए रखने की आवश्यकता नहीं है, क्योंकि प्रोमेथियस स्वयं विक्टोरियामेट्रिक्स से जुड़ता है और डेटा संचारित करता है।

आइए थानोस और विक्टोरियामेट्रिक्स के समर्थन पर विचार करें।

थानोस को यह सुनिश्चित करने के लिए साइडकार की निगरानी करने की आवश्यकता है कि वे ऑब्जेक्ट स्टोरेज में डेटा लोड करना बंद न करें। वे डाउनलोड त्रुटियों के कारण इस डेटा डाउनलोड को रोक सकते हैं, उदाहरण के लिए ऑब्जेक्ट स्टोरेज से आपका नेटवर्क कनेक्शन अस्थायी रूप से बाधित है, या ऑब्जेक्ट स्टोरेज अस्थायी रूप से अनुपलब्ध है। थानोस साइडकार इस समय इसे नोटिस करेगा, एक त्रुटि की रिपोर्ट करेगा, क्रैश हो सकता है और फिर काम करना बंद कर देगा। यदि आप इसकी निगरानी नहीं करते हैं, तो आप डेटा को ऑब्जेक्ट स्टोरेज में स्थानांतरित करना बंद कर देंगे। यदि अवधारण समय बीत जाता है (6-8 घंटे अनुशंसित), तो आप वह डेटा खो देंगे जो ऑब्जेक्ट स्टोरेज में समाप्त नहीं हुआ।

थानोस कॉम्पेक्टर्स के कारण काम करना बंद हो सकता है रेस साइडकार के साथ है. कॉम्पेक्टर ऑब्जेक्ट स्टोरेज से डेटा लेते हैं और इसे डेटा के बड़े टुकड़ों में मर्ज कर देते हैं। चूंकि कॉम्पेक्टर साइडकार के साथ सिंक्रनाइज़ नहीं हैं, इसलिए निम्नलिखित हो सकता है: साइडकार के पास अभी तक ब्लॉक को पूरा करने का समय नहीं है, कॉम्पेक्टर निर्णय लेता है कि यह ब्लॉक पूरी तरह से लिखा गया है। कॉम्पेक्टर इसे पढ़ना शुरू करता है। यह ब्लॉक को पूरा नहीं पढ़ता है और काम करना बंद कर देता है। विस्तृत जानकारी देखें यहां.

कॉम्पेक्टर और साइडकार के बीच दौड़ के कारण स्टोर गेटवे असंगत डेटा लौटा सकता है। यहां भी यही होता है, क्योंकि स्टोर गेटवे किसी भी तरह से कॉम्पैक्टर और साइडकार के साथ सिंक्रनाइज़ नहीं है। तदनुसार, दौड़ की स्थिति तब उत्पन्न हो सकती है जब स्टोर गेटवे डेटा का हिस्सा नहीं देखता है या अनावश्यक डेटा देखता है।

यदि कुछ साइडकार या स्टोर गेटवे इस समय उपलब्ध नहीं हैं, तो थानोस में क्वेरी घटक डिफ़ॉल्ट रूप से आंशिक परिणाम देता है। आपको डेटा का एक हिस्सा प्राप्त होगा, और आपको पता भी नहीं चलेगा कि आपको पूरा डेटा प्राप्त नहीं हुआ है। यह डिफ़ॉल्ट रूप से इसी तरह काम करता है। ऐसी ही स्थिति में, विक्टोरियामेट्रिक्स चिह्नित डेटा को आंशिक के रूप में लौटाता है।

थानोस के विपरीत, विक्टोरियामेट्रिक्स शायद ही कभी डेटा खोता है। भले ही प्रोमेथियस से विक्टोरियामेट्रिक्स का कनेक्शन बाधित हो, यह कोई समस्या नहीं है, क्योंकि प्रोमेथियस आने वाले नए डेटा को राइट अहेड लॉग में रिकॉर्ड करना जारी रखता है, जिसका आकार 2 घंटे है। यदि आप दो घंटे के भीतर विक्टोरियामेट्रिक्स से अपना कनेक्शन बहाल करते हैं, तो आपका डेटा नष्ट नहीं होगा। प्रोमेथियस विक्टोरियामेट्रिक्स से कनेक्शन बहाल करने के बाद डेटा जोड़ सकते हैं.

थानोस के विपरीत, जो केवल दो घंटे के बाद ऑब्जेक्ट स्टोरेज में डेटा लिखता है, प्रोमेथियस स्वचालित रूप से रिमोट राइट प्रोटोकॉल का उपयोग करके विक्टोरियामेट्रिक्स जैसे रिमोट स्टोरेज में डेटा को दोहराता है। आपको प्रोमेथियस में स्थानीय भंडारण खोने का डर नहीं है। यदि उसने अचानक स्थानीय भंडारण खो दिया है, तो सबसे खराब स्थिति में आप डेटा के अंतिम सेकंड खो देंगे जिनके पास रिमोट स्टोरेज में रिकॉर्ड होने का समय नहीं था।

थानोस के विपरीत, कुबेरनेट्स स्वचालित रूप से क्लस्टर का प्रबंधन करता है। विक्टोरियामेट्रिक्स क्लस्टर घटकों के विपरीत, सभी थानोस घटकों को एक कुबेरनेट्स क्लस्टर में रखना मुश्किल है।

विक्टोरियामेट्रिक्स के पास नए संस्करण के लिए एक बहुत ही सरल अपडेट है। बस विक्टोरियामेट्रिक्स को रोकें, बायनेरिज़ को अपडेट करें और इसे लॉन्च करें। जब SIGINT सिग्नल के माध्यम से रोका जाता है, तो सभी विक्टोरियामेट्रिक्स बायनेरिज़ एक सुंदर शटडाउन करते हैं। वे आवश्यक डेटा को सही ढंग से सहेजते हैं, आने वाले कनेक्शन को सही ढंग से बंद करते हैं ताकि कुछ भी न खोएं। इसलिए अपग्रेड करते समय आप कुछ भी नहीं खोएंगे।

विक्टोरियामेट्रिक्स क्लस्टर का विस्तार करना बहुत आसान बनाता है। बस आवश्यक घटक जोड़ें और काम करना जारी रखें।

थानोस और विक्टोरियामेट्रिक्स में नुकसान के बारे में।

थानोस के निम्नलिखित नुकसान हैं। प्रोमेथियस को पिछले दो घंटों का डेटा संग्रहीत करना होगा। यदि वे खो जाते हैं, तो आप उन्हें पूरी तरह से खो देंगे क्योंकि उन्हें अभी तक S3 की तरह ऑब्जेक्ट स्टोरेज में नहीं लिखा गया है।

स्टोर गेटवे घटक और कॉम्पेक्टर घटक को बड़े ऑब्जेक्ट स्टोरेज के साथ काम करने के लिए बहुत अधिक मेमोरी की आवश्यकता हो सकती है यदि वहां कई छोटी फ़ाइलें संग्रहीत हैं। फ़ाइलों की संख्या और आकार जितना अधिक होगा, मेटाइनफॉर्मेशन को स्टोर करने के लिए स्टोर गेटवे और कॉम्पेक्टर रैम की उतनी ही अधिक आवश्यकता होगी। थानोस के पास इस तथ्य को लेकर बहुत सारे मुद्दे हैं रिकॉर्ड किए गए डेटा की औसत मात्रा के साथ स्टोर गेटवे और कॉम्पेक्टर क्रैश.

आपके पास मौजूद प्रोमेथियस की मात्रा के साथ थानोस को अनिश्चित काल तक बढ़ाने के लिए विज्ञापित किया गया है। यह वास्तव में सच नहीं है. चूंकि सभी अनुरोध क्वेरी घटक के माध्यम से जाते हैं, जिसे एक साथ सभी स्टोर गेटवे घटकों और सभी साइडकार घटकों को पोल करना होगा, वहां से डेटा खींचना होगा और फिर इसे प्रीप्रोसेस करना होगा। जाहिर है, अनुरोध की गति सबसे धीमे कमजोर लिंक, सबसे धीमे स्टोर गेटवे या सबसे धीमे साइडकार द्वारा सीमित है।

ये घटक असमान रूप से लोड हो सकते हैं। उदाहरण के लिए, आपके पास प्रोमेथियस है, जो प्रति सेकंड लाखों मीट्रिक एकत्र करता है। और प्रोमेथियस है, जो प्रति सेकंड हजारों मीट्रिक एकत्र करता है। प्रोमेथियस, जो प्रति सेकंड लाखों मीट्रिक एकत्र करता है, उस सर्वर पर बहुत अधिक भार डालता है जिस पर वह चलता है। तदनुसार, साइडकार वहां धीमी गति से काम करता है। और सामान्य तौर पर वहां सब कुछ धीरे-धीरे काम करता है। और क्वेरी घटक वहां से बहुत धीरे-धीरे डेटा खींचेगा। तदनुसार, आपके पूरे क्लस्टर का प्रदर्शन इस धीमी साइडकार द्वारा सीमित होगा।

डिफ़ॉल्ट रूप से, यदि कुछ साइडकार और स्टोर गेटवे अनुपलब्ध हैं तो थानोस आंशिक डेटा देता है। उदाहरण के लिए, यदि आपकी साइडकारें दुनिया भर में विभिन्न डेटा केंद्रों में बिखरी हुई हैं, तो कनेक्शन विफलता और घटक अनुपलब्धता की संभावना बहुत बढ़ जाती है। तदनुसार, अधिकांश मामलों में आपको बिना जाने ही आंशिक डेटा प्राप्त होगा।

विक्टोरियामेट्रिक्स में भी नुकसान हैं। पहला ख़तरा वह विकल्प है जो विक्टोरियामेट्रिक्स कैश के लिए उपयोग की जाने वाली रैम की मात्रा को सीमित करता है। डिफ़ॉल्ट रूप से, यह उस मशीन पर 60% रैम के बराबर है जहां विक्टोरियामेट्रिक्स चल रहा है या कुबेरनेट्स में विक्टोरियामेट्रिक्स पॉड की 60% रैम के बराबर है।

यदि आप इस मान को गलत तरीके से बदलते हैं, तो आप विक्टोरियामेट्रिक्स के प्रदर्शन को बर्बाद कर सकते हैं। उदाहरण के लिए, यदि आप मान बहुत कम सेट करते हैं, तो डेटा विक्टोरियामेट्रिक्स कैश में फिट नहीं हो सकता है। इस वजह से उसे अतिरिक्त काम करना होगा और प्रोसेसर और डिस्क को लोड करना होगा। यदि आप इस विकल्प को बहुत बड़ा बनाते हैं, तो यह बढ़ जाता है, सबसे पहले, संभावना है कि विक्टोरियामेट्रिक्स मेमोरी से बाहर होने की त्रुटि के साथ क्रैश हो जाएगा, और दूसरी बात, यह इस तथ्य को जन्म देगा कि ऑपरेटिंग सिस्टम मेमोरी में बहुत कम रैम बची होगी फ़ाइल कैश. और विक्टोरियामेट्रिक्स प्रदर्शन के लिए फ़ाइल कैश पर निर्भर करता है। यदि यह पर्याप्त नहीं है, तो डिस्क पर लोड काफी बढ़ सकता है। इसलिए, सलाह: जब तक अत्यंत आवश्यक न हो, पैरामीटर न बदलें।

दूसरा विकल्प। यह प्रतिधारण अवधि है - एक अवधि जो डिफ़ॉल्ट रूप से 1 महीने पर सेट होती है। यह विक्टोरियामेट्रिक्स द्वारा डेटा संग्रहीत करने की अवधि है। इस अवधि के बाद, विक्टोरियामेट्रिक्स डेटा हटा देता है।

बहुत से लोग इस पैरामीटर के बिना विक्टोरियामेट्रिक्स चलाते हैं और एक महीने के लिए डेटा रिकॉर्ड करते हैं। और फिर वे पूछते हैं: पिछले महीने का डेटा क्यों गायब हो गया? क्योंकि डिफ़ॉल्ट प्रतिधारण अवधि 1 माह है। इसलिए, आपको सही प्रतिधारण अवधि जानने और निर्धारित करने की आवश्यकता है।

आइए अद्वितीय विशेषताओं पर एक नज़र डालें।

थानोस में डाउनसैंपलिंग नामक एक सुविधा है: 5-मिनट और प्रति घंटे का अंतराल, जो अक्सर होता है ठीक से कार्य नहीं कर रहा. यदि आप गूगल करते हैं और जीथब पर उनके मुद्दे को देखते हैं, तो इस डाउनसैंपलिंग से संबंधित बहुत सारे मुद्दे हैं, कि यह कभी-कभी सही ढंग से काम नहीं करता है, या उपयोगकर्ताओं की अपेक्षा के अनुरूप काम नहीं करता है।

थानोस के पास प्रोमेथियस एचए जोड़े के लिए डेटा डिडुप्लीकेशन है। जब दो प्रोमेथियस समान लक्ष्यों से समान मेट्रिक्स एकत्र करते हैं और थानोस उन्हें ऑब्जेक्ट स्टोरेज में संग्रहीत करता है। विक्टोरियामेट्रिक्स के विपरीत, थानोस इस डेटा को ठीक से डीडुप्लिकेट कर सकता है।

थानोस में एक चेतावनी घटक है जो थानोस योजनाबद्ध में था। लेकिन वह उत्पादन में उपयोग के लिए अनुशंसित नहीं.

थानोस को यह फायदा है कि थानोस और प्रोमेथियस एक ही कोड साझा करते हैं। थानोस और प्रोमेथियस एक ही डेवलपर्स द्वारा विकसित किए गए हैं। थानोस या प्रोमेथियस में सुधार के साथ, दूसरा पक्ष जीत जाता है।

विक्टोरियामेट्रिक्स की मुख्य विशेषता मेट्रिक्सक्यूएल है। ये PromQL के लिए विक्टोरियामेट्रिक्स एक्सटेंशन हैं, जिनके बारे में मैंने पिछले बड़े मॉनिटरिंग मीटअप में बात की थी।

विक्टोरियामेट्रिक्स कई अलग-अलग प्रोटोकॉल का उपयोग करके डेटा लोडिंग का समर्थन करता है। विक्टोरियामेट्रिक्स न केवल प्रोमेथियस से डेटा स्वीकार कर सकता है, बल्कि इन्फ्लक्स, ओपनटीएसडीबी और ग्रेफाइट प्रोटोकॉल के माध्यम से भी डेटा स्वीकार कर सकता है।

थानोस और प्रोमेथियस की तुलना में विक्टोरियामेट्रिक्स डेटा बहुत कम जगह लेता है।

यदि आप वास्तविक डेटा रिकॉर्ड करते हैं, तो उपयोगकर्ता प्रोमेथियस और थानोस की तुलना में डिस्क पर डेटा के आकार में 2-5 गुना कमी के बारे में बात करते हैं।

विक्टोरियामेट्रिक्स का एक अन्य लाभ यह है कि यह गति के लिए अनुकूलित है।

आइए बुनियादी ढांचे की लागत पर नजर डालें।

थानोस का एक फायदा यह है कि यह डेटा को ऑब्जेक्ट स्टोरेज में संग्रहीत करता है, जो अपेक्षाकृत सस्ता है।

ऑब्जेक्ट स्टोरेज में डेटा संग्रहीत करते समय, आपको डेटा लिखने और पढ़ने के संचालन के लिए भुगतान करना होगा ($10 प्रति मिलियन ऑपरेशन)। जब आप ऑब्जेक्ट स्टोरेज में डेटा लिखते हैं, तो आप इंटरनेट पर डेटा अपलोड करने के लिए अपनी होस्टिंग लागत का भुगतान करते हैं; यदि आपका क्लस्टर AWS में नहीं है, तो यह वहां मुफ़्त है। जब आप डेटा पढ़ते हैं, तो आप प्रति 10टीबी $230 और $1 के बीच भुगतान करते हैं। यदि आप थानोस क्लस्टर से ऐतिहासिक डेटा को बार-बार क्वेरी करते हैं तो यह महत्वपूर्ण हो सकता है।

थानोस क्लस्टर के लिए, आपको कॉम्पैक्ट, स्टोर गेटवे, क्वेरी घटकों के लिए सर्वर के लिए भुगतान करना होगा जिनके लिए बहुत अधिक मेमोरी की आवश्यकता होती है, और बड़ी मात्रा में डेटा के लिए सीपीयू का भुगतान करना होगा।

विक्टोरियामेट्रिक्स के निम्नलिखित खर्च हैं। यदि आप GCE HDD ड्राइव पर डेटा संग्रहीत करते हैं, तो 40TB के लिए यह $1 आता है। विक्टोरियामेट्रिक्स के लिए, साधारण एचडीडी ड्राइव पर्याप्त हैं; किसी एसएसडी की आवश्यकता नहीं है, जिसकी लागत पांच गुना अधिक है। विक्टोरियामेट्रिक्स एचडीडी के लिए अनुकूलित है।

विक्टोरियामेट्रिक्स को घटकों के लिए सर्वर की आवश्यकता होती है: या तो सिंगल-नोड या क्लस्टर्ड घटक, जो थानोस घटकों के विपरीत, बहुत कम सीपीयू और रैम की आवश्यकता होती है - और तदनुसार सस्ता होगा।

कार्यान्वयन के उदाहरण.

थानोस का Gitlab में एक कार्यान्वयन उदाहरण है। Gitlab पूरी तरह से थानोस पर चलता है। लेकिन वहां सब कुछ इतना सहज नहीं है. यदि आप उन्हें देखें मुद्दों, तो आप देख सकते हैं कि उनके पास लगातार कुछ न कुछ है थानोस के साथ परिचालन संबंधी समस्याएं: स्टोर गेटवे या क्वेरी घटकों के लिए पर्याप्त मेमोरी नहीं है। उन्हें लगातार मेमोरी की मात्रा बढ़ानी पड़ती है।

इस वजह से इन समस्याओं के समाधान की लागत बढ़ जाती है.

दूसरा कार्यान्वयन, जो अधिक सफल हो सकता है, इम्प्रोबेबल कंपनी है, जिसने थानोस को विकसित करना शुरू किया। उन्होंने थानोस स्रोत कोड प्रकाशित किया। इम्प्रोबेबल एक कंपनी है जो गेम इंजन विकसित करती है।

विक्टोरियामेट्रिक्स के पास सार्वजनिक कार्यान्वयन के उदाहरण हैं:

• wix.com वेबसाइट बिल्डर
• एडिडास विक्टोरियामेट्रिक्स को लागू कर रहा है और यहां तक ​​कि पिछले प्रोमकॉन 2019 में एक प्रस्तुति भी दी है
• ट्रैफिकस्टार - विज्ञापन नेटवर्क
• Seznam.cz एक लोकप्रिय चेक सर्च इंजन है।

और तब ऐसी बिना नाम वाली कंपनियाँ थीं जिनका मैं अब नाम नहीं ले सकता। उन्होंने सहमति नहीं दी.

• एक प्रमुख गेम डेवलपर. असंभव से भी बड़ा.
• प्रमुख ग्राफ़िक्स सॉफ़्टवेयर डेवलपर।
• बड़ा रूसी बैंक.
• यूरोपीय पवन टरबाइन निर्माता जिसने विक्टोरियामेट्रिक्स का सफलतापूर्वक परीक्षण किया है। यह निर्माता प्रति सेंसर 50 नमूने प्रति सेकंड की दर से पवन टर्बाइनों से एकत्र किए गए डेटा की निगरानी के लिए विक्टोरियामेट्रिक्स लागू कर रहा है। प्रत्येक पवन टरबाइन में कई सौ सेंसर होते हैं। उनके पास कई सौ पवन टरबाइन हैं।
• रूसी एयरलाइंस जो विक्टोरियामेट्रिक्स को लागू करना चाहती हैं, लेकिन फिर भी नहीं कर सकती हैं। हम उनके साथ अनुबंध स्तर पर हैं।'

निष्कर्ष।

विक्टोरियामेट्रिक्स और थानोस समान समस्याओं का समाधान करते हैं, लेकिन अलग-अलग तरीकों से:

• वैश्विक क्वेरी दृश्य
• क्षैतिज स्केलिंग
• मनमाना प्रतिधारण

धन्यवाद.

हम अपने यहां आपका इंतजार कर रहे हैं टेलीग्राम चैनल.

केवल पंजीकृत उपयोगकर्ता ही सर्वेक्षण में भाग ले सकते हैं। साइन इन करेंकृपया।

आप प्रोमेथियस के लिए दीर्घकालिक भंडारण के रूप में क्या उपयोग करते हैं?

• 35,3% तक थानोस 6

• 0,0% तक कोर्टेक्स0

• 0,0% तक M3DB0

• 41,2% तक विक्टोरियामेट्रिक्स7

• 23,5% तक अन्य4

17 उपयोगकर्ताओं ने मतदान किया। 16 उपयोगकर्ता अनुपस्थित रहे।

स्रोत: www.habr.com