Yandex.Cloud के लिए Kubernetes CCM (क्लाउड कंट्रोलर मैनेजर) का परिचय

हाल की निरंतरता में सीएसआई ड्राइवर रिलीज Yandex.Cloud के लिए हम इस क्लाउड के लिए एक और ओपन सोर्स प्रोजेक्ट प्रकाशित कर रहे हैं - क्लाउड नियंत्रक प्रबंधक. CCM न केवल संपूर्ण क्लस्टर के लिए आवश्यक है, बल्कि स्वयं CSI ड्राइवर के लिए भी आवश्यक है। इसके उद्देश्य और कुछ कार्यान्वयन सुविधाओं के बारे में विवरण नीचे दिए गए हैं।

परिचय

ऐसा क्यों है?

जिन उद्देश्यों ने हमें Yandex.Cloud के लिए CCM विकसित करने के लिए प्रेरित किया, वे पहले से वर्णित उद्देश्यों से पूरी तरह मेल खाते हैं घोषणा सीएसआई ड्राइवर. हम विभिन्न क्लाउड प्रदाताओं से कई कुबेरनेट्स क्लस्टर बनाए रखते हैं, जिसके लिए हम एक ही टूल का उपयोग करते हैं। यह इन प्रदाताओं के प्रबंधित समाधानों को "दरकिनार" करके कई सुविधाएं लागू करता है। हाँ, हमारे पास एक विशिष्ट मामला और ज़रूरतें हैं, लेकिन उनके कारण निर्मित विकास अन्य उपयोगकर्ताओं के लिए उपयोगी हो सकते हैं।

सीसीएम वास्तव में क्या है?

आमतौर पर, हम क्लस्टर के लिए अपने आस-पास का वातावरण तैयार करते हैं बाहर से - उदाहरण के लिए, टेराफॉर्म का उपयोग करना। लेकिन कभी-कभी हमारे आस-पास के बादलों के वातावरण को प्रबंधित करने की आवश्यकता होती है क्लस्टर से. यह संभावना प्रदान की गई है, और इसे ही कार्यान्वित किया गया है सीसीएम.

विशेष रूप से, क्लाउड कंट्रोलर मैनेजर पांच मुख्य प्रकार के इंटरैक्शन प्रदान करता है:

1. उदाहरण - कुबेरनेट्स में एक नोड ऑब्जेक्ट के बीच 1:1 संबंध लागू करता है (Node) और क्लाउड प्रदाता में एक वर्चुअल मशीन। इसके लिए हम:
   • फ़ील्ड भरें spec.providerID वस्तु में Node. उदाहरण के लिए, ओपनस्टैक सीसीएम के लिए इस फ़ील्ड का प्रारूप निम्न है: openstack:///d58a78bf-21b0-4682-9dc6-2132406d2bb0. आप ऑब्जेक्ट के क्लाउड प्रदाता का नाम और सर्वर का अद्वितीय यूयूआईडी (ओपनस्टैक में वर्चुअल मशीन) देख सकते हैं;
   • पूरक nodeInfo वस्तु में Node वर्चुअल मशीन के बारे में जानकारी. उदाहरण के लिए, हम AWS में इंस्टेंस प्रकार निर्दिष्ट करते हैं;
   • हम क्लाउड में वर्चुअल मशीन की उपस्थिति की जाँच करते हैं। उदाहरण के लिए, यदि कोई वस्तु Node एक अवस्था में चला गया NotReady, आप यह जांच सकते हैं कि क्लाउड प्रदाता में वर्चुअल मशीन मौजूद है या नहीं providerID. यदि यह वहां नहीं है, तो ऑब्जेक्ट को हटा दें Node, जो अन्यथा क्लस्टर में हमेशा के लिए रहेगा;
2. जोन - ऑब्जेक्ट के लिए विफलता डोमेन सेट करता है Node, ताकि शेड्यूलर क्लाउड प्रदाता में क्षेत्रों और क्षेत्रों के अनुसार पॉड के लिए एक नोड का चयन कर सके;
3. भार संतुलन - ऑब्जेक्ट बनाते समय Service प्रकार के साथ LoadBalancer एक प्रकार का बैलेंसर बनाता है जो ट्रैफ़िक को बाहर से क्लस्टर नोड्स तक निर्देशित करेगा। उदाहरण के लिए, Yandex.Cloud में आप इसका उपयोग कर सकते हैं NetworkLoadBalancer и TargetGroup इन उद्देश्यों के लिए;
4. मार्ग – नोड्स के बीच एक नेटवर्क बनाता है, क्योंकि कुबेरनेट्स आवश्यकताओं के अनुसार, प्रत्येक पॉड का अपना आईपी पता होना चाहिए और किसी अन्य पॉड तक पहुंचने में सक्षम होना चाहिए। इन उद्देश्यों के लिए, आप एक ओवरले नेटवर्क (VXLAN, GENEVE) का उपयोग कर सकते हैं या सीधे क्लाउड प्रदाता के वर्चुअल नेटवर्क में एक रूटिंग टेबल सेट कर सकते हैं:

   

5. खंड - पीवीसी और एससी का उपयोग करके पीवी के गतिशील ऑर्डरिंग की अनुमति देता है। प्रारंभ में, यह कार्यक्षमता CCM का हिस्सा थी, लेकिन इसकी अत्यधिक जटिलता के कारण इसे एक अलग प्रोजेक्ट, कंटेनर स्टोरेज इंटरफ़ेस (CSI) में स्थानांतरित कर दिया गया। हमने सीएसआई के बारे में एक से अधिक बार बात की है писали और, जैसा कि पहले ही उल्लेख किया गया है, यहाँ तक कि रिहा सीएसआई ड्राइवर.

पहले, क्लाउड के साथ इंटरैक्ट करने वाले सभी कोड कुबेरनेट्स प्रोजेक्ट के मुख्य गिट रिपॉजिटरी में स्थित थे k8s.io/kubernetes/pkg/cloudprovider/providers, लेकिन बड़े कोड आधार के साथ काम करने की असुविधा के कारण उन्होंने इसे छोड़ने का फैसला किया। सभी पुराने कार्यान्वयन को स्थानांतरित कर दिया गया है अलग भंडार. आगे के समर्थन और विकास की सुविधा के लिए, सभी सामान्य घटकों को भी स्थानांतरित कर दिया गया अलग भंडार.

सीएसआई की तरह, कई बड़े क्लाउड प्रदाताओं ने कुबेरनेट्स पर क्लाउड का लाभ उठाने के लिए पहले से ही अपने सीसीएम डिजाइन किए हैं। यदि आपूर्तिकर्ता के पास सीसीएम नहीं है, लेकिन सभी आवश्यक कार्य एपीआई के माध्यम से उपलब्ध हैं, तो आप स्वयं सीसीएम लागू कर सकते हैं।

सीसीएम का अपना स्वयं का कार्यान्वयन लिखने के लिए, इसे लागू करना ही पर्याप्त है आवश्यक गो इंटरफ़ेस.

И यही हमें मिला है.

कार्यान्वयन

आप इस तक कैसे पहुंचे?

हमने विकास (या बल्कि, यहां तक ​​कि उपयोग) भी शुरू किया तैयार(!) सीसीएम एक साल पहले Yandex.Cloud के लिए।

हालाँकि, इस कार्यान्वयन में हम चूक गए:

• JWT IAM टोकन के माध्यम से प्रमाणीकरण;
• सेवा नियंत्रक समर्थन.

लेखक के साथ सहमति में (dlisin) टेलीग्राम में, हमने यांडेक्स-क्लाउड-कंट्रोलर-मैनेजर को फोर्क किया और लापता फ़ंक्शन जोड़े।

मुख्य विशेषताएं

वर्तमान में, CCM निम्नलिखित इंटरफेस का समर्थन करता है:

• उदाहरण;
• जोन;
• भार संतुलन.

भविष्य में, जब Yandex.Cloud उन्नत VPC क्षमताओं के साथ काम करना शुरू करेगा, तो हम एक इंटरफ़ेस जोड़ देंगे मार्गों.

मुख्य चुनौती के रूप में LoadBalanacer

प्रारंभ में, हमने अन्य सीसीएम कार्यान्वयनों की तरह, एक जोड़ी बनाने की कोशिश की LoadBalancer и TargetGroup प्रत्येक के लिए Service प्रकार के साथ LoadBalancer. हालाँकि, Yandex.Cloud ने एक दिलचस्प सीमा की खोज की: आप इसका उपयोग नहीं कर सकते TargetGroups प्रतिच्छेद के साथ Targets (जोड़ा SubnetID - IpAddress).

इसलिए, निर्मित सीसीएम के अंदर, एक नियंत्रक लॉन्च किया जाता है, जो वस्तुओं के बदलने पर होता है Node प्रत्येक वर्चुअल मशीन पर सभी इंटरफेस के बारे में जानकारी एकत्र करता है, उन्हें उनकी निश्चितता के अनुसार समूहित करता है NetworkID, द्वारा बनाता है TargetGroup पर NetworkID, और प्रासंगिकता पर भी नज़र रखता है। इसके बाद, ऑब्जेक्ट बनाते समय Service प्रकार के साथ LoadBalanacer हम बस एक पूर्व-निर्मित संलग्न करते हैं TargetGroup नए को NetworkLoadBalanacer'पूर्वाह्न।

इसका उपयोग कैसे शुरू करें?

सीसीएम कुबेरनेट्स संस्करण 1.15 और उच्चतर का समर्थन करता है। किसी क्लस्टर में, इसे कार्य करने के लिए, ध्वज की आवश्यकता होती है --cloud-provider=external के लिए सेट किया गया था true क्यूब-एपिसर्वर, क्यूब-कंट्रोलर-मैनेजर, क्यूब-शेड्यूलर और सभी क्यूबलेट्स के लिए।

स्थापना के लिए सभी आवश्यक चरण स्वयं में वर्णित हैं README. मैनिफ़ेस्ट से कुबेरनेट्स में ऑब्जेक्ट बनाने तक इंस्टालेशन सीमित हो जाता है।

सीसीएम का उपयोग करने के लिए आपको इसकी भी आवश्यकता होगी:

• निर्दिष्ट मैनिफ़ेस्ट में निर्देशिका पहचानकर्ता (folder-id) यांडेक्स.क्लाउड;
• Yandex.Cloud API के साथ इंटरैक्ट करने के लिए सेवा खाता। घोषणापत्र में Secret आवश्यक है अधिकृत कुंजियाँ स्थानांतरित करें सेवा खाते से. दस्तावेज़ीकरण में वर्णित, सेवा खाता कैसे बनाएं और चाबियाँ कैसे प्राप्त करें।

हमें आपकी प्रतिक्रिया पाकर खुशी होगी नये मुद्देयदि आपको कोई समस्या आती है!

परिणाम

हम पिछले दो हफ्तों में पांच कुबेरनेट्स समूहों में कार्यान्वित सीसीएम का उपयोग कर रहे हैं और आने वाले महीने में उनकी संख्या 20 तक बढ़ाने की योजना है। वर्तमान में हम बड़े और महत्वपूर्ण K8s इंस्टॉलेशन के लिए CCM का उपयोग करने की अनुशंसा नहीं करते हैं।

जैसा कि सीएसआई के मामले में, हमें खुशी होगी अगर यांडेक्स डेवलपर्स इस परियोजना के विकास और समर्थन को लेते हैं - हम उन कार्यों से निपटने के लिए उनके अनुरोध पर रिपॉजिटरी को स्थानांतरित करने के लिए तैयार हैं जो हमारे लिए अधिक प्रासंगिक हैं।

पुनश्च

हमारे ब्लॉग पर भी पढ़ें:

• «Yandex.Cloud के लिए कुबेरनेट्स में CSI ड्राइवर विकसित करने का हमारा अनुभव";
• «क्या कुबेरनेट्स क्लस्टर तैयार करना आसान और सुविधाजनक है? ऐडऑन-ऑपरेटर की घोषणा";
• «कुबेरनेट्स का विस्तार और पूरक (समीक्षा और वीडियो रिपोर्ट)'.

स्रोत: www.habr.com