Yandex.Cloud को लागि Kubernetes CCM (क्लाउड नियन्त्रक प्रबन्धक) प्रस्तुत गर्दै

पछिल्लो समयको निरन्तरतामा CSI चालक रिलीज Yandex.Cloud को लागि हामी यस क्लाउडको लागि अर्को खुला स्रोत परियोजना प्रकाशित गर्दैछौं - क्लाउड नियन्त्रक प्रबन्धक। CCM सम्पूर्ण रूपमा क्लस्टरको लागि मात्र होइन, CSI ड्राइभरको लागि पनि आवश्यक छ। यसको उद्देश्य र केही कार्यान्वयन सुविधाहरू बारे विवरणहरू कटौती अन्तर्गत छन्।

परिचय

यो किन हो?

हामीलाई Yandex.Cloud को लागि CCM विकास गर्न प्रेरित गर्ने उद्देश्यहरू पहिले नै वर्णन गरिएकाहरूसँग पूर्ण रूपमा मेल खान्छ। घोषणा CSI चालकहरू। हामी विभिन्न क्लाउड प्रदायकहरूबाट धेरै Kubernetes क्लस्टरहरू राख्छौं, जसको लागि हामी एकल उपकरण प्रयोग गर्छौं। यसले यी प्रदायकहरूको व्यवस्थित समाधानहरूलाई "बाइपास" गरेर धेरै सुविधाहरू लागू गर्दछ। हो, हामीसँग एक विशेष केस र आवश्यकताहरू छन्, तर तिनीहरूका कारण सिर्जना गरिएका विकासहरू अन्य प्रयोगकर्ताहरूका लागि उपयोगी हुन सक्छन्।

CCM वास्तवमा के हो?

सामान्यतया, हामी क्लस्टरको लागि हाम्रो वरपरको वातावरण तयार गर्छौं बाहिरबाट - उदाहरण को लागी, Terraform प्रयोग गर्दै। तर कहिलेकाहीँ हाम्रो वरिपरि क्लाउड वातावरण व्यवस्थापन गर्न आवश्यक छ क्लस्टरबाट। यो सम्भावना प्रदान गरिएको छ, र यो लागू गरिएको छ CCM.

विशेष रूपमा, क्लाउड नियन्त्रक प्रबन्धकले पाँच मुख्य प्रकारको अन्तरक्रिया प्रदान गर्दछ:

1. उदाहरणहरु - Kubernetes मा नोड वस्तु बीच 1: 1 सम्बन्ध लागू गर्दछ (Node) र क्लाउड प्रदायकमा भर्चुअल मेसिन। यसको लागि हामी:
   • फिल्ड भर्नुहोस् spec.providerID वस्तु मा Node। उदाहरण को लागी, OpenStack CCM को लागी यो क्षेत्र को निम्न ढाँचा छ: openstack:///d58a78bf-21b0-4682-9dc6-2132406d2bb0। तपाईंले क्लाउड प्रदायकको नाम र सर्भरको अद्वितीय UUID (ओपनस्ट्याकमा भर्चुअल मेसिन) वस्तुको हेर्न सक्नुहुन्छ;
   • पूरक nodeInfo वस्तु मा Node भर्चुअल मेसिन बारे जानकारी। उदाहरण को लागी, हामी AWS मा उदाहरण प्रकार निर्दिष्ट गर्दछौं;
   • हामी क्लाउडमा भर्चुअल मेसिनको उपस्थिति जाँच गर्छौं। उदाहरणका लागि, यदि वस्तु Node राज्यमा गयो NotReady, तपाईले क्लाउड प्रदायकमा भर्चुअल मेसिन अवस्थित छ कि छैन भनेर जाँच गर्न सक्नुहुन्छ providerID। यदि यो त्यहाँ छैन भने, वस्तु मेटाउनुहोस् Node, जुन अन्यथा क्लस्टरमा सधैंभरि रहनेछ;
2. जोन - वस्तुको लागि असफल डोमेन सेट गर्दछ Node, ताकि अनुसूचकले क्लाउड प्रदायकमा क्षेत्रहरू र क्षेत्रहरू अनुसार पोडको लागि नोड चयन गर्न सक्छ;
3. लोड ब्यालेन्सर - वस्तु सिर्जना गर्दा Service प्रकार संग LoadBalancer एक प्रकारको ब्यालेन्सर सिर्जना गर्दछ जसले बाहिरबाट ट्राफिकलाई क्लस्टर नोडहरूमा निर्देशित गर्दछ। उदाहरण को लागी, Yandex.Cloud मा तपाइँ प्रयोग गर्न सक्नुहुन्छ NetworkLoadBalancer и TargetGroup यी उद्देश्यका लागि;
4. सडक - नोडहरू बीच नेटवर्क बनाउँछ, किनभने Kubernetes आवश्यकताहरू अनुसार, प्रत्येक पोडको आफ्नै IP ठेगाना हुनुपर्दछ र कुनै पनि अन्य पोडमा पुग्न सक्षम हुनुपर्दछ। यी उद्देश्यहरूका लागि, तपाईंले ओभरले नेटवर्क (VXLAN, GENEVE) प्रयोग गर्न सक्नुहुन्छ वा क्लाउड प्रदायकको भर्चुअल नेटवर्कमा सीधा रूटिङ तालिका सेट गर्न सक्नुहुन्छ:

   

5. खण्ड - PVC र SC प्रयोग गरेर PV को गतिशील अर्डर गर्न अनुमति दिन्छ। सुरुमा, यो कार्यक्षमता CCM को भाग थियो, तर यसको ठूलो जटिलताको कारण यसलाई एक अलग परियोजना, कन्टेनर भण्डारण इन्टरफेस (CSI) मा सारियो। हामीले CSI को बारेमा एक पटक भन्दा बढी कुरा गरेका छौं लेखियो र, पहिले नै उल्लेख गरिए अनुसार, पनि जारी CSI चालक।

पहिले, क्लाउडसँग अन्तर्क्रिया गर्ने सबै कोड कुबेरनेट परियोजनाको मुख्य Git भण्डारमा अवस्थित थियो। k8s.io/kubernetes/pkg/cloudprovider/providers, तर तिनीहरूले ठूलो कोड आधारसँग काम गर्ने असुविधाको कारणले यसलाई त्याग्न निर्णय गरे। सबै पुराना कार्यान्वयनमा सारिएको छ छुट्टै भण्डार। थप सहयोग र विकासको सुविधाको लागि, सबै साझा घटकहरू पनि सारियो छुट्टै भण्डार.

CSI को रूपमा, धेरै ठूला क्लाउड प्रदायकहरूले पहिले नै Kubernetes मा क्लाउडहरू लाभान्वित गर्न तिनीहरूको CCM हरू डिजाइन गरिसकेका छन्। यदि आपूर्तिकर्तासँग CCM छैन, तर सबै आवश्यक कार्यहरू API मार्फत उपलब्ध छन्, त्यसपछि तपाइँ आफैं CCM लागू गर्न सक्नुहुन्छ।

CCM को आफ्नै कार्यान्वयन लेख्न, यो लागू गर्न पर्याप्त छ आवश्यक गो इन्टरफेसहरू.

И यो हामीले पायौं.

कार्यान्वयन

कसरी आयो यहाँ

हामीले विकास सुरु गर्यौं (वा बरु, प्रयोग पनि) संग तयार (!) CCM Yandex.Cloud को लागि एक वर्ष पहिले।

यद्यपि, यो कार्यान्वयनमा हामी हराइरहेका थियौं:

• JWT IAM टोकन मार्फत प्रमाणीकरण;
• सेवा नियन्त्रक समर्थन।

लेखक संग सहमत (dlisin) टेलिग्राममा, हामीले यान्डेक्स-क्लाउड-कन्ट्रोलर-प्रबन्धकलाई फोर्क गर्यौं र छुटेका कार्यहरू थप्यौं।

मुख्य विशेषताहरू

हाल, CCM ले निम्न इन्टरफेसहरूलाई समर्थन गर्दछ:

• उदाहरणहरु;
• जोन;
• लोड ब्यालेन्सर.

भविष्यमा, जब Yandex.Cloud उन्नत VPC क्षमताहरूसँग काम गर्न थाल्छ, हामी एउटा इन्टरफेस थप्नेछौं। मार्गहरू.

LoadBalanacer मुख्य चुनौतीको रूपमा

प्रारम्भमा, हामीले अन्य CCM कार्यान्वयनहरू जस्तै, एक जोडी सिर्जना गर्न प्रयास गर्यौं LoadBalancer и TargetGroup प्रत्येकको लागी Service प्रकार संग LoadBalancer। यद्यपि, Yandex.Cloud ले एउटा चाखलाग्दो सीमा पत्ता लगायो: तपाइँ प्रयोग गर्न सक्नुहुन्न TargetGroups प्रतिच्छेदन संग Targets (जोडी SubnetID - IpAddress).

त्यसकारण, सिर्जना गरिएको CCM भित्र, एक नियन्त्रक सुरु हुन्छ, जुन, जब वस्तुहरू परिवर्तन हुन्छ Node प्रत्येक भर्चुअल मेसिनमा सबै इन्टरफेसहरूको बारेमा जानकारी सङ्कलन गर्दछ, तिनीहरूलाई तिनीहरूको निश्चितसँग सम्बन्धित अनुसार समूहबद्ध गर्दछ NetworkID, द्वारा सिर्जना गर्दछ TargetGroup मा NetworkID, र प्रासंगिकता पनि निगरानी गर्दछ। पछि, वस्तु सिर्जना गर्दा Service प्रकार संग LoadBalanacer हामी केवल पूर्व-निर्मित संलग्न गर्दछौं TargetGroup नयाँ गर्न NetworkLoadBalanacer'म।

कसरी प्रयोग सुरु गर्न?

CCM ले Kubernetes संस्करण १.१५ र उच्चलाई समर्थन गर्दछ। क्लस्टरमा, यसले काम गर्नको लागि, झण्डा चाहिन्छ --cloud-provider=external मा सेट गरिएको थियो true kube-apiserver, kube-controller-manager, kube-scheduler र सबै kubelets को लागि।

स्थापना को लागी सबै आवश्यक चरणहरु मा वर्णन गरिएको छ पढ्नुहोस्। मेनिफेस्टबाट Kubernetes मा वस्तुहरू सिर्जना गर्न स्थापना उबलिन्छ।

CCM को प्रयोग गर्न को लागी तपाईलाई पनि आवश्यक पर्दछ:

• संकेत गर्नुहोस् manifest मा डाइरेक्टरी पहिचानकर्ता (folder-id) Yandex.Cloud;
• Yandex.Cloud API सँग अन्तरक्रियाको लागि सेवा खाता। घोषणापत्रमा Secret आवश्यक छ अधिकृत कुञ्जीहरू स्थानान्तरण गर्नुहोस् सेवा खाताबाट। कागजातमा वर्णन गरिएको, कसरी सेवा खाता सिर्जना गर्ने र कुञ्जीहरू प्राप्त गर्ने।

हामी तपाईंको प्रतिक्रिया प्राप्त गर्न खुसी हुनेछौं र नयाँ मुद्दाहरूयदि तपाइँ कुनै समस्या सामना गर्नुहुन्छ भने!

परिणामहरू

हामीले विगत दुई हप्तादेखि पाँचवटा Kubernetes क्लस्टरहरूमा लागू गरिएको CCM प्रयोग गरिरहेका छौं र आगामी महिनामा तिनीहरूको संख्या 20 सम्म विस्तार गर्ने योजना छ। हामी हाल ठूला र महत्वपूर्ण K8s स्थापनाहरूको लागि CCM प्रयोग गर्न सिफारिस गर्दैनौं।

CSI को मामलामा जस्तै, Yandex विकासकर्ताहरूले यस परियोजनाको विकास र समर्थन लिन पाएमा हामी खुसी हुनेछौं - हामी उनीहरूको अनुरोधमा भण्डार हस्तान्तरण गर्न तयार छौं जुन हाम्रो लागि थप सान्दर्भिक छन्।

PS

हाम्रो ब्लगमा पनि पढ्नुहोस्:

• «Yandex.Cloud को लागि Kubernetes मा CSI ड्राइभर विकास गर्ने हाम्रो अनुभव»;
• «के Kubernetes क्लस्टर तयार गर्न सजिलो र सुविधाजनक छ? एडअन-अपरेटर घोषणा गर्दै»;
• «Kubernetes को विस्तार र पूरक (अवलोकन र भिडियो रिपोर्ट)"।

स्रोत: www.habr.com