कुबेरनेट्स क्लस्टर में डेटा संग्रहीत करना

कुबेरनेट्स क्लस्टर पर चल रहे अनुप्रयोगों के लिए डेटा भंडारण को कॉन्फ़िगर करने के कई तरीके हैं। उनमें से कुछ पहले से ही पुराने हो चुके हैं, अन्य हाल ही में सामने आए हैं। इस लेख में, हम स्टोरेज सिस्टम को जोड़ने के लिए तीन विकल्पों की अवधारणा पर गौर करेंगे, जिसमें सबसे हालिया - कंटेनर स्टोरेज इंटरफ़ेस के माध्यम से कनेक्ट करना शामिल है।

विधि 1: पॉड मेनिफेस्ट में पीवी निर्दिष्ट करें

कुबेरनेट्स क्लस्टर में पॉड का वर्णन करने वाला एक विशिष्ट मैनिफ़ेस्ट:

मेनिफ़ेस्ट के वे भाग जो बताते हैं कि कौन सा वॉल्यूम जुड़ा हुआ है और कहाँ रंग में हाइलाइट किया गया है।

अनुभाग में वॉल्यूम माउंट्स माउंट पॉइंट (माउंटपाथ) इंगित करें - कंटेनर के अंदर किस निर्देशिका में स्थायी वॉल्यूम माउंट किया जाएगा, साथ ही वॉल्यूम का नाम भी।

अनुभाग में x पॉड में उपयोग किए जाने वाले सभी वॉल्यूम सूचीबद्ध करता है। प्रत्येक वॉल्यूम का नाम, साथ ही प्रकार (हमारे मामले में: awsElasticBlockStore) और कनेक्शन पैरामीटर निर्दिष्ट करें। मेनिफेस्ट में कौन से पैरामीटर सूचीबद्ध हैं, यह वॉल्यूम प्रकार पर निर्भर करता है।

एक ही वॉल्यूम को कई पॉड कंटेनरों में एक साथ लगाया जा सकता है। इस तरह, विभिन्न एप्लिकेशन प्रक्रियाएं एक ही डेटा तक पहुंच सकती हैं।

इस कनेक्शन विधि का आविष्कार बहुत शुरुआत में किया गया था, जब कुबेरनेट्स अपनी प्रारंभिक अवस्था में था, और आज यह विधि पुरानी हो गई है।

इसका उपयोग करते समय कई समस्याएं आती हैं:

1. सभी वॉल्यूम मैन्युअल रूप से बनाए जाने चाहिए; कुबेरनेट्स हमारे लिए कुछ भी नहीं बना सकते;
2. प्रत्येक वॉल्यूम के लिए एक्सेस पैरामीटर अद्वितीय हैं, और उन्हें वॉल्यूम का उपयोग करने वाले सभी पॉड्स के मैनिफ़ेस्ट में निर्दिष्ट किया जाना चाहिए;
3. स्टोरेज सिस्टम को बदलने के लिए (उदाहरण के लिए, AWS से Google क्लाउड पर जाना), आपको सभी मैनिफ़ेस्ट में माउंटेड वॉल्यूम की सेटिंग्स और प्रकार को बदलना होगा।

यह सब बहुत असुविधाजनक है, इसलिए वास्तव में इस पद्धति का उपयोग केवल कुछ विशेष प्रकार के वॉल्यूम को जोड़ने के लिए किया जाता है: कॉन्फिगमैप, सीक्रेट, एम्प्टीडिर, होस्टपाथ:

• कॉन्फिग मैप और सीक्रेट सर्विस वॉल्यूम हैं जो आपको कंटेनर में कुबेरनेट्स मैनिफ़ेस्ट की फ़ाइलों के साथ वॉल्यूम बनाने की अनुमति देते हैं।

• एम्प्टीडिर एक अस्थायी वॉल्यूम है, जो केवल पॉड के जीवनकाल के लिए बनाया गया है। अस्थायी डेटा के परीक्षण या भंडारण के लिए उपयोग करना सुविधाजनक है। जब कोई पॉड हटा दिया जाता है, तो खालीडिर वॉल्यूम भी हटा दिया जाता है और सारा डेटा खो जाता है।

• होस्टपाथ - आपको सर्वर की स्थानीय डिस्क पर किसी भी निर्देशिका को माउंट करने की अनुमति देता है जिस पर एप्लिकेशन /etc/kubernetes सहित कंटेनर के अंदर एप्लिकेशन चल रहा है। यह एक असुरक्षित सुविधा है, इसलिए सुरक्षा नीतियां आमतौर पर इस प्रकार के वॉल्यूम के उपयोग पर रोक लगाती हैं। अन्यथा, एक हमलावर का एप्लिकेशन अपने कंटेनर के अंदर एचटीसी कुबेरनेट्स निर्देशिका को माउंट करने और सभी क्लस्टर प्रमाणपत्र चुराने में सक्षम होगा। आमतौर पर, होस्टपाथ वॉल्यूम को केवल क्यूब-सिस्टम नेमस्पेस में चलने वाले सिस्टम अनुप्रयोगों द्वारा उपयोग करने की अनुमति है।

भंडारण प्रणालियाँ जिनके साथ कुबेरनेट्स बॉक्स से बाहर काम करता है दस्तावेज़ में दिए गए हैं.

विधि 2. एससी/पीवीसी/पीवी चूल्हों से कनेक्शन

एक वैकल्पिक कनेक्शन विधि स्टोरेज क्लास, PersistentVolumeClaim, PersistentVolume की अवधारणा है।

भंडारण वर्ग डेटा भंडारण प्रणाली में कनेक्शन पैरामीटर संग्रहीत करता है।

PersistentVolume Claim एप्लिकेशन को किस चीज़ की आवश्यकता है उसके लिए आवश्यकताओं का वर्णन करता है।
लगातार मात्रा एक्सेस पैरामीटर और वॉल्यूम स्थिति संग्रहीत करता है।

विचार का सार: पॉड मेनिफेस्ट में वे PersistentVolumeClaim प्रकार की मात्रा दर्शाते हैं और दावा नाम पैरामीटर में इस इकाई का नाम दर्शाते हैं।

PersistentVolumeClaim मेनिफेस्ट एप्लिकेशन के लिए आवश्यक डेटा की मात्रा के लिए आवश्यकताओं का वर्णन करता है। शामिल:

• डिस्क का आकार;
• पहुंच विधि: ReadWriteOnce या ReadWriteMany;
• स्टोरेज क्लास का लिंक - हम किस डेटा स्टोरेज सिस्टम में वॉल्यूम बनाना चाहते हैं।

स्टोरेज क्लास मेनिफ़ेस्ट स्टोरेज सिस्टम से कनेक्शन के प्रकार और मापदंडों को संग्रहीत करता है। क्यूबलेट को अपने नोड पर वॉल्यूम माउंट करने के लिए उनकी आवश्यकता होती है।

PersistentVolume मेनिफ़ेस्ट एक विशिष्ट वॉल्यूम (वॉल्यूम आईडी, पथ, आदि) के लिए स्टोरेज क्लास और एक्सेस पैरामीटर को इंगित करता है।

पीवीसी बनाते समय, कुबेरनेट्स यह देखता है कि किस आकार का वॉल्यूम और किस स्टोरेज क्लास की आवश्यकता है, और एक निःशुल्क पर्सिस्टेंट वॉल्यूम का चयन करता है।

यदि ऐसे पीवी उपलब्ध नहीं हैं, तो कुबेरनेट्स एक विशेष कार्यक्रम - प्रोविजनर लॉन्च कर सकता है (इसका नाम स्टोरेज क्लास में दर्शाया गया है)। यह प्रोग्राम स्टोरेज सिस्टम से जुड़ता है, आवश्यक आकार का वॉल्यूम बनाता है, एक पहचानकर्ता प्राप्त करता है और Kubernetes क्लस्टर में एक PersistentVolume मेनिफेस्ट बनाता है, जो PersistentVolumeClaim से जुड़ा होता है।

अमूर्त का यह सभी सेट आपको एप्लिकेशन मैनिफेस्ट स्तर से प्रशासन स्तर तक एप्लिकेशन किस स्टोरेज सिस्टम के साथ काम कर रहा है, इसके बारे में जानकारी निकालने की अनुमति देता है।

डेटा स्टोरेज सिस्टम से जुड़ने के सभी पैरामीटर स्टोरेज क्लास में स्थित हैं, जिसके लिए क्लस्टर प्रशासक जिम्मेदार हैं। AWS से Google क्लाउड पर जाने पर आपको बस एप्लिकेशन मैनिफ़ेस्ट में स्टोरेज क्लास का नाम बदलकर पीवीसी करना है। डेटा भंडारण के लिए पर्सिस्टेंस वॉल्यूम प्रोविजनर प्रोग्राम का उपयोग करके स्वचालित रूप से क्लस्टर में बनाया जाएगा।

विधि 3: कंटेनर भंडारण इंटरफ़ेस

सभी कोड जो विभिन्न भंडारण प्रणालियों के साथ इंटरैक्ट करते हैं, कुबेरनेट्स कोर का हिस्सा हैं। बग फिक्स या नई कार्यक्षमता की रिलीज़ नई रिलीज़ से जुड़ी हुई है; कुबेरनेट्स के सभी समर्थित संस्करणों के लिए कोड को बदला जाना चाहिए। इन सभी को बनाए रखना और नई कार्यक्षमता जोड़ना कठिन है।

समस्या को हल करने के लिए, क्लाउड फाउंड्री, कुबेरनेट्स, मेसोस और डॉकर के डेवलपर्स ने कंटेनर स्टोरेज इंटरफ़ेस (सीएसआई) बनाया - एक सरल एकीकृत इंटरफ़ेस जो कंटेनर प्रबंधन प्रणाली और एक विशेष ड्राइवर (सीएसआई ड्राइवर) की बातचीत का वर्णन करता है जो एक विशिष्ट के साथ काम करता है भंडारण की व्यवस्था। स्टोरेज सिस्टम के साथ इंटरेक्शन के लिए सभी कोड को कुबेरनेट्स कोर से एक अलग सिस्टम में स्थानांतरित कर दिया गया था।

कंटेनर भंडारण इंटरफ़ेस दस्तावेज़ीकरण.

आमतौर पर, CSI ड्राइवर में दो घटक होते हैं: नोड प्लगइन और कंट्रोलर प्लगइन।

नोड प्लगइन प्रत्येक नोड पर चलता है और वॉल्यूम बढ़ाने और उन पर संचालन करने के लिए जिम्मेदार है। कंट्रोलर प्लगइन स्टोरेज सिस्टम के साथ इंटरैक्ट करता है: वॉल्यूम बनाता या हटाता है, एक्सेस अधिकार प्रदान करता है, आदि।

अभी के लिए, पुराने ड्राइवर कुबेरनेट्स कर्नेल में बने हुए हैं, लेकिन अब उनका उपयोग करने की अनुशंसा नहीं की जाती है और सभी को विशेष रूप से उस सिस्टम के लिए सीएसआई ड्राइवर स्थापित करने की सलाह दी जाती है जिसके साथ वे काम करेंगे।

यह नवाचार उन लोगों को डरा सकता है जो पहले से ही स्टोरेज क्लास के माध्यम से डेटा स्टोरेज स्थापित करने के आदी हैं, लेकिन वास्तव में कुछ भी भयानक नहीं हुआ है। प्रोग्रामर के लिए, वास्तव में कुछ भी नहीं बदलता है - उन्होंने केवल स्टोरेज क्लास नाम के साथ काम किया है, और ऐसा करना जारी रखेंगे। प्रशासकों के लिए, हेल्म चार्ट इंस्टॉलेशन जोड़ा गया है और सेटिंग्स की संरचना बदल गई है। यदि पहले सेटिंग्स सीधे स्टोरेज क्लास में दर्ज की जाती थीं, तो अब उन्हें पहले हेल्म चार्ट में और फिर स्टोरेज क्लास में सेट किया जाना चाहिए। यदि आप इस पर गौर करें तो कुछ भी बुरा नहीं हुआ।

आइए सीएसआई ड्राइवर का उपयोग करके सेफ स्टोरेज सिस्टम को कनेक्ट करने पर स्विच करके आप जो लाभ प्राप्त कर सकते हैं उसे देखने के लिए एक उदाहरण लें।

सेफ के साथ काम करते समय, सीएसआई प्लगइन बिल्ट-इन ड्राइवरों की तुलना में स्टोरेज सिस्टम के साथ काम करने के लिए अधिक विकल्प प्रदान करता है।

1. गतिशील डिस्क निर्माण. आमतौर पर RBD डिस्क का उपयोग केवल RWO मोड में किया जाता है, लेकिन Ceph के लिए CSI उन्हें RWX मोड में उपयोग करने की अनुमति देता है। विभिन्न नोड्स पर कई पॉड अपने नोड्स पर एक ही आरडीबी डिस्क को माउंट कर सकते हैं और उनके साथ समानांतर में काम कर सकते हैं। निष्पक्ष होने के लिए, सब कुछ इतना उज्ज्वल नहीं है - इस डिस्क को केवल एक ब्लॉक डिवाइस के रूप में जोड़ा जा सकता है, जिसका अर्थ है कि आपको मल्टीपल एक्सेस मोड में इसके साथ काम करने के लिए एप्लिकेशन को अनुकूलित करना होगा।
2. स्नैपशॉट बनाना. कुबेरनेट्स क्लस्टर में, आप स्नैपशॉट बनाने की आवश्यकता के साथ एक मैनिफ़ेस्ट बना सकते हैं। सीएसआई प्लगइन इसे देखेगा और डिस्क से एक स्नैपशॉट लेगा। इसके आधार पर, आप या तो बैकअप या PersistentVolume की एक प्रति बना सकते हैं।
3. डिस्क का आकार बढ़ाना Kubernetes क्लस्टर में स्टोरेज और PersistentVolume पर।
4. कोटा. Kubernetes में निर्मित CephFS ड्राइवर कोटा का समर्थन नहीं करते हैं, लेकिन नवीनतम Ceph Nautilus के साथ ताज़ा CSI प्लगइन्स CephFS विभाजन पर कोटा सक्षम कर सकते हैं।
5. मेट्रिक्स. सीएसआई प्लगइन प्रोमेथियस को विभिन्न प्रकार के मेट्रिक्स प्रदान कर सकता है कि कौन से वॉल्यूम जुड़े हुए हैं, क्या संचार हो रहा है, आदि।
6. टोपोलॉजी जागरूक. आपको मैनिफ़ेस्ट में यह निर्दिष्ट करने की अनुमति देता है कि क्लस्टर को भौगोलिक रूप से कैसे वितरित किया जाता है, और एम्स्टर्डम में स्थित स्टोरेज सिस्टम को लंदन में चल रहे पॉड्स से जोड़ने से बचें।

CSI के माध्यम से Ceph को Kubernetes क्लस्टर से कैसे कनेक्ट करें, देखें स्लम इवनिंग स्कूल व्याख्यान के व्यावहारिक भाग में. आप सदस्यता भी ले सकते हैं सेफ वीडियो कोर्स, जो 15 अक्टूबर को लॉन्च होगा।

लेख के लेखक: सर्गेई बोंडारेव, साउथब्रिज में अभ्यास वास्तुकार, प्रमाणित कुबेरनेट प्रशासक, क्यूबस्प्रे के डेवलपर्स में से एक।

एक छोटी सी पोस्ट स्क्रिप्टम विज्ञापन के लिए नहीं, बल्कि लाभ के लिए...

पीएस सर्गेई बोंडारेव दो गहन पाठ्यक्रमों का नेतृत्व करते हैं: अद्यतन कुबेरनेट्स बेस 28-30 सितंबर और आगे कुबेरनेट्स मेगा अक्टूबर 14-16.

स्रोत: www.habr.com