Pinterest मा kubernetes प्लेटफर्म सिर्जना गर्दै

विगतका वर्षहरूमा, Pinterest को 300 मिलियन प्रयोगकर्ताहरूले 200 बिलियन भन्दा बढी बोर्डहरूमा 4 बिलियन भन्दा बढी पिनहरू सिर्जना गरेका छन्। प्रयोगकर्ताहरूको यो सेना र विशाल सामग्री आधारलाई सेवा दिन, पोर्टलले हजारौं सेवाहरू विकास गरेको छ, केही सीपीयूहरूद्वारा ह्यान्डल गर्न सकिने माइक्रो सेवाहरूदेखि लिएर भर्चुअल मेसिनहरूको सम्पूर्ण फ्लीटमा चल्ने विशाल मोनोलिथहरू सम्म। अनि त्यो पल आयो जब कम्पनीको नजर k8s मा पर्यो। Pinterest मा "क्यूब" किन राम्रो लाग्यो? तपाईंले यस बारे हाम्रो हालैको लेखको अनुवादबाट सिक्नुहुनेछ ब्लग Pinterest ईन्जिनियरिङ्.

त्यसोभए, सयौं लाखौं प्रयोगकर्ताहरू र सयौं अरब पिनहरू। प्रयोगकर्ताहरूको यो सेना र विशाल सामग्री आधारलाई सेवा दिन, हामीले हजारौं सेवाहरू विकास गरेका छौं, केही CPUs द्वारा ह्यान्डल गर्न सकिने माइक्रो सेवाहरूदेखि लिएर भर्चुअल मेसिनहरूको सम्पूर्ण फ्लीटहरूमा चल्ने विशाल मोनोलिथहरू सम्म। थप रूपमा, हामीसँग विभिन्न प्रकारका फ्रेमवर्कहरू छन् जसलाई CPU, मेमोरी, वा I/O पहुँच आवश्यक हुन सक्छ।

उपकरणहरूको यस चिडियाखानालाई कायम राख्न, विकास टोलीले धेरै चुनौतीहरूको सामना गर्दछ:

• ईन्जिनियरहरूको लागि उत्पादन वातावरण चलाउनको लागि कुनै समान तरिका छैन। राज्यविहीन सेवाहरू, राज्य सेवाहरू र सक्रिय विकास अन्तर्गतका परियोजनाहरू पूर्णतया फरक प्रविधि स्ट्याकहरूमा आधारित छन्। यसले इन्जिनियरहरूका लागि सम्पूर्ण प्रशिक्षण पाठ्यक्रम सिर्जना गर्न नेतृत्व गर्यो, र हाम्रो पूर्वाधार टोलीको कामलाई गम्भीर रूपमा जटिल बनाउँछ।
• भर्चुअल मेसिनहरूको आफ्नै फ्लीट भएका विकासकर्ताहरूले आन्तरिक प्रशासकहरूमा ठूलो बोझ सिर्जना गर्छन्। नतिजाको रूपमा, OS वा AMI अद्यावधिक गर्ने जस्ता साधारण कार्यहरू हप्ता र महिना लाग्छ। यसले प्रतिदिन दैनिक अवस्थाहरूमा कार्यभार बढाउँछ।
• अवस्थित समाधानहरूको शीर्षमा विश्वव्यापी पूर्वाधार व्यवस्थापन उपकरणहरू सिर्जना गर्न कठिनाइहरू। भर्चुअल मेसिनका मालिकहरू फेला पार्न सजिलो छैन भन्ने तथ्यले स्थिति थप जटिल छ। त्यो हो, हामीलाई थाहा छैन कि यो क्षमता हाम्रो पूर्वाधारको अन्य भागहरूमा सञ्चालन गर्न सुरक्षित रूपमा निकाल्न सकिन्छ।

कन्टेनर अर्केस्ट्रेशन प्रणालीहरू कार्यभार व्यवस्थापनलाई एकीकृत गर्ने तरिका हो। तिनीहरूले विकासको गति बढाउन र पूर्वाधार व्यवस्थापनलाई सरल बनाउने ढोका खोल्छन्, किनकि परियोजनामा ​​संलग्न सबै स्रोतहरू एक केन्द्रीकृत प्रणालीद्वारा व्यवस्थित हुन्छन्।

चित्र १: पूर्वाधार प्राथमिकताहरू (विश्वसनीयता, विकासकर्ता उत्पादकता, र दक्षता)।

Pinterest मा क्लाउड व्यवस्थापन प्लेटफर्म टोलीले 8 मा K2017s पत्ता लगाए। 2017 को पहिलो आधा सम्म, हामीले API र हाम्रा सबै वेब सर्भरहरू सहित हाम्रा अधिकांश उत्पादन क्षमताहरू दस्तावेज गरेका थियौं। त्यसपछि, हामीले कन्टेनर समाधानहरू, क्लस्टरहरू निर्माण गर्न र तिनीहरूसँग काम गर्नका लागि विभिन्न प्रणालीहरूको गहन मूल्याङ्कन गर्‍यौं। 2017 को अन्त्यतिर, हामीले Kubernetes प्रयोग गर्ने निर्णय गर्यौं। यो धेरै लचिलो र विकासकर्ता समुदायमा व्यापक रूपमा समर्थित थियो।

आजसम्म, हामीले Kops मा आधारित हाम्रो आफ्नै क्लस्टर बुट उपकरणहरू निर्माण गरेका छौं र अवस्थित पूर्वाधार घटकहरू जस्तै नेटवर्किङ, सुरक्षा, मेट्रिक्स, लगिङ, पहिचान व्यवस्थापन, र Kubernetes मा ट्राफिक स्थानान्तरण गरेका छौं। हामीले हाम्रो स्रोतको लागि वर्कलोड मोडेलिङ प्रणाली पनि लागू गर्यौं, जसको जटिलता विकासकर्ताहरूबाट लुकेको छ। अब हामी क्लस्टरको स्थिरता सुनिश्चित गर्न, यसलाई स्केल गर्ने र नयाँ ग्राहकहरू जडान गर्नमा केन्द्रित छौं।

Kubernetes: Pinterest मार्ग

हाम्रा इन्जिनियरहरूले मन पराउने प्लेटफर्मको रूपमा Pinterest को स्केलमा Kubernetes सँग सुरु गर्नु धेरै चुनौतिहरूसँग आयो।

एक ठूलो कम्पनीको रूपमा, हामीले पूर्वाधार उपकरणहरूमा ठूलो लगानी गरेका छौं। उदाहरणहरूमा प्रमाणपत्र प्रशोधन र कुञ्जी वितरण, ट्राफिक नियन्त्रण कम्पोनेन्टहरू, सेवा खोज प्रणालीहरू, दृश्यता कम्पोनेन्टहरू, र लग र मेट्रिक्स प्रेषण कम्पोनेन्टहरू ह्यान्डल गर्ने सुरक्षा उपकरणहरू समावेश छन्। यो सबै एक कारणको लागि सङ्कलन गरिएको थियो: हामीले परीक्षण र त्रुटिको सामान्य मार्गबाट ​​गयौं, र त्यसैले हामी यी सबै उपकरणहरूलाई नयाँ प्लेटफर्ममा पुरानो पाङ्ग्रालाई पुन: आविष्कार गर्नुको सट्टा Kubernetes मा नयाँ पूर्वाधारमा एकीकृत गर्न चाहन्थ्यौं। यो दृष्टिकोणले समग्र माइग्रेसनलाई सरल बनायो, किनकि सबै अनुप्रयोग समर्थन पहिले नै अवस्थित छ र स्क्र्याचबाट सिर्जना गर्न आवश्यक छैन।

अर्कोतर्फ, Kubernetes मा लोड पूर्वानुमान मोडेलहरू (जस्तै डिप्लोइमेन्ट, काम, र डेमन सेटहरू) हाम्रो परियोजनाको लागि पर्याप्त छैनन्। यी उपयोगिता मुद्दाहरू Kubernetes मा सार्न ठूलो बाधाहरू छन्। उदाहरणका लागि, हामीले सेवा विकासकर्ताहरूले हराएको वा गलत लगइन सेटिङहरूको बारेमा गुनासो गरेको सुनेका छौं। हामीले टेम्प्लेट इन्जिनको गलत प्रयोगको पनि सामना गर्यौं, जब सयौं प्रतिलिपिहरू एउटै स्पेसिफिकेशन र कार्यको साथ सिर्जना गरिएका थिए, जसले दुःस्वप्न डिबगिङ समस्याहरू निम्त्यायो।

एउटै क्लस्टरमा विभिन्न संस्करणहरू कायम राख्न पनि धेरै गाह्रो थियो। ग्राहक समर्थनको जटिलताको कल्पना गर्नुहोस् यदि तपाईंले एउटै रनटाइम वातावरणको धेरै संस्करणहरूमा तिनीहरूका सबै समस्याहरू, बगहरू र अद्यावधिकहरूसँग एकै साथ काम गर्न आवश्यक छ।

Pinterest प्रयोगकर्ता गुण र नियन्त्रकहरू

हाम्रा इन्जिनियरहरूलाई Kubernetes कार्यान्वयन गर्न सजिलो बनाउन, र हाम्रो पूर्वाधारलाई सरल बनाउन र गति दिन, हामीले हाम्रो आफ्नै अनुकूलन स्रोत परिभाषाहरू (CRDs) विकास गरेका छौं।

CRD ले निम्न प्रकार्यता प्रदान गर्दछ:

1. विभिन्न नेटिभ Kubernetes स्रोतहरू संयोजन गर्दै ताकि तिनीहरू एकल कार्यभारको रूपमा काम गर्छन्। उदाहरण को लागी, PinterestService संसाधन मा एक तैनाती, लगइन सेवा, र कन्फिगरेसन नक्सा समावेश छ। यसले विकासकर्ताहरूलाई DNS सेटअप गर्ने बारे चिन्ता नगर्न अनुमति दिन्छ।
2. आवश्यक आवेदन समर्थन लागू गर्नुहोस्। प्रयोगकर्ताले आफ्नो व्यापार तर्क अनुसार कन्टेनर विशिष्टतामा मात्र ध्यान केन्द्रित गर्न आवश्यक छ, जबकि CRD नियन्त्रकले सबै आवश्यक इनिट कन्टेनरहरू, वातावरण चर र पोड विशिष्टताहरू लागू गर्दछ। यसले विकासकर्ताहरूको लागि मौलिक रूपमा फरक स्तरको आराम प्रदान गर्दछ।
3. CRD नियन्त्रकहरूले पनि नेटिभ स्रोतहरूको जीवनचक्र प्रबन्ध गर्दछ र डिबग उपलब्धता सुधार गर्दछ। यसमा इच्छित र वास्तविक विशिष्टताहरू मिलाउने, CRD स्थिति अद्यावधिक गर्ने र घटना लगहरू कायम राख्ने, र थप कुराहरू समावेश छन्। CRD बिना, विकासकर्ताहरू धेरै स्रोतहरू व्यवस्थापन गर्न बाध्य हुनेछन्, जसले त्रुटिको सम्भावना मात्र बढाउँछ।

यहाँ एउटा PinterestService र हाम्रो नियन्त्रक द्वारा व्यवस्थित गरिएको आन्तरिक स्रोतको उदाहरण छ:

तपाईले माथि देख्न सक्नुहुन्छ, अनुकूलन कन्टेनरलाई समर्थन गर्न हामीले सुरक्षा, दृश्यता, र नेटवर्क ट्राफिक प्रदान गर्नको लागि इनिट कन्टेनर र धेरै एड-अनहरू एकीकृत गर्न आवश्यक छ। थप रूपमा, हामीले कन्फिगरेसन नक्सा टेम्प्लेटहरू सिर्जना गर्यौं र ब्याच कार्यहरूका लागि PVC टेम्प्लेटहरूको लागि समर्थन लागू गर्‍यौं, साथै पहिचान, स्रोत खपत, र फोहोर सङ्कलन ट्र्याक गर्न धेरै वातावरणीय चरहरूको ट्र्याकिङ।

यो कल्पना गर्न गाह्रो छ कि विकासकर्ताहरूले यी कन्फिगरेसन फाइलहरू CRD समर्थन बिना हातले लेख्न चाहन्छन्, कन्फिगरेसनहरूलाई थप मर्मत र डिबग गर्न छोड्नुहोस्।

आवेदन परिनियोजन कार्यप्रवाह

माथिको छविले Kubernetes क्लस्टरमा Pinterest अनुकूलन स्रोत कसरी प्रयोग गर्ने भनेर देखाउँछ:

1. विकासकर्ताहरूले CLI र प्रयोगकर्ता इन्टरफेस मार्फत हाम्रो Kubernetes क्लस्टरसँग अन्तरक्रिया गर्छन्।
2. CLI/UI उपकरणहरूले वर्कफ्लो कन्फिगरेसन YAML फाइलहरू र अन्य निर्माण गुणहरू (सही संस्करण ID) आर्टिफ्याक्ट्रीबाट पुन: प्राप्त गर्छन् र त्यसपछि तिनीहरूलाई काम पेस गर्ने सेवामा पेश गर्छन्। यो चरणले क्लस्टरमा उत्पादन संस्करणहरू मात्र डेलिभर भएको सुनिश्चित गर्दछ।
3. JSS Kubernetes सहित विभिन्न प्लेटफर्महरूको लागि एउटा गेटवे हो। यहाँ प्रयोगकर्तालाई प्रमाणीकरण गरिएको छ, कोटाहरू जारी गरिएको छ र हाम्रो CRD को कन्फिगरेसन आंशिक रूपमा जाँच गरिएको छ।
4. JSS साइडमा CRD जाँच गरेपछि, जानकारी k8s प्लेटफर्म API मा पठाइन्छ।
5. हाम्रो CRD नियन्त्रकले सबै प्रयोगकर्ता स्रोतहरूमा घटनाहरू निगरानी गर्दछ। यसले CR लाई नेटिभ k8s स्रोतहरूमा रूपान्तरण गर्दछ, आवश्यक मोड्युलहरू थप्छ, उपयुक्त वातावरण चरहरू सेट गर्दछ, र कन्टेनराइज्ड प्रयोगकर्ता अनुप्रयोगहरूमा पर्याप्त पूर्वाधार समर्थन छ भन्ने सुनिश्चित गर्न अन्य समर्थन कार्यहरू गर्दछ।
6. CRD नियन्त्रकले प्राप्त डाटालाई Kubernetes API मा पास गर्दछ ताकि यसलाई अनुसूचकद्वारा प्रशोधन गर्न सकिन्छ र उत्पादनमा राख्न सकिन्छ।

भन्नु: डिप्लोइमेन्टको यो पूर्व-रिलीज कार्य प्रवाह नयाँ k8s प्लेटफर्मको पहिलो प्रयोगकर्ताहरूको लागि सिर्जना गरिएको थियो। हामी हाल हाम्रो नयाँ CI/CD सँग पूर्ण रूपमा एकीकरण गर्न यस प्रक्रियालाई परिष्कृत गर्ने प्रक्रियामा छौं। यसको मतलब यो हो कि हामी तपाईंलाई Kubernetes सम्बन्धित सबै कुरा बताउन सक्दैनौं। हामी हाम्रो अर्को ब्लग पोष्टमा यस दिशामा हाम्रो अनुभव र टोलीको प्रगति साझेदारी गर्न तत्पर छौं, "Pinterest को लागि CI/CD प्लेटफर्म निर्माण गर्दै।"

विशेष स्रोतहरूको प्रकार

Pinterest को विशिष्ट आवश्यकताहरूमा आधारित, हामीले विभिन्न कार्यप्रवाहहरू अनुरूप निम्न CRD हरू विकास गरेका छौं:

• PinterestService लामो समयदेखि चलिरहेको राज्यविहीन सेवाहरू हुन्। हाम्रा धेरै कोर प्रणालीहरू त्यस्ता सेवाहरूको सेटमा आधारित छन्।
• PinterestJobSet मोडेलहरू पूर्ण चक्र ब्याच कार्यहरू। Pinterest मा एक सामान्य परिदृश्य यो हो कि धेरै कार्यहरूले समानान्तरमा समान कन्टेनरहरू चलाउँछन्, अन्य समान प्रक्रियाहरूको पर्वाह नगरी।
• PinterestCronJob साना आवधिक लोडहरूसँग संयोजनमा व्यापक रूपमा प्रयोग गरिन्छ। यो सुरक्षा, ट्राफिक, लग र मेट्रिक्सका लागि जिम्मेवार Pinterest समर्थन संयन्त्रहरूसँग नेटिभ क्रोन कार्यको लागि एउटा र्यापर हो।
• PinterestDaemon ले पूर्वाधार डेमन समावेश गर्दछ। हामीले हाम्रा क्लस्टरहरूमा थप समर्थन थप्दा यो परिवार बढ्दै गइरहेको छ।
• PinterestTrainingJob Tensorflow र Pytorch प्रक्रियाहरूमा विस्तार हुन्छ, रनटाइम समर्थनको समान स्तर प्रदान गर्दछ जुन अन्य सबै CRD हरू छन्। Pinterest ले सक्रिय रूपमा Tensorflow र अन्य मेसिन लर्निङ प्रणालीहरू प्रयोग गरेको हुनाले, हामीसँग तिनीहरूको वरिपरि छुट्टै CRD निर्माण गर्ने कारण थियो।

हामी PinterestStatefulSet मा पनि काम गर्दैछौं, जुन चाँडै डाटा गोदामहरू र अन्य राज्य प्रणालीहरूको लागि अनुकूलित हुनेछ।

रनटाइम समर्थन

जब कुबेरनेटमा एप्लिकेसन पोड चल्छ, यसले स्वतः पहिचान गर्न प्रमाणपत्र प्राप्त गर्छ। यो प्रमाणपत्र गोप्य भण्डारण पहुँच गर्न वा mTLS मार्फत अन्य सेवाहरूसँग सञ्चार गर्न प्रयोग गरिन्छ। यस बीचमा, कन्टेनर इनिट कन्फिगुरेटर र डेमनले कन्टेनराइज गरिएको अनुप्रयोग चलाउनु अघि सबै आवश्यक निर्भरताहरू डाउनलोड गर्नेछ। जब सबै तयार हुन्छ, ट्राफिक साइडकार र डेमनले हाम्रो चिडियाखानाको साथ मोड्युलको आईपी ठेगाना दर्ता गर्नेछ ताकि ग्राहकहरूले यसलाई पत्ता लगाउन सकून्। यो सबै काम गर्नेछ किनभने नेटवर्क मोड्युल अनुप्रयोग सुरु हुनु अघि कन्फिगर गरिएको थियो।

माथिका कार्यभारहरूको लागि रनटाइम समर्थनको विशिष्ट उदाहरणहरू हुन्। अन्य प्रकारका कार्यभारहरूलाई थोरै फरक समर्थन चाहिन्छ, तर तिनीहरू सबै पोड-स्तर साइडकार, नोड-स्तर वा भर्चुअल मेसिन-स्तर डेमनहरूको रूपमा आउँछन्। हामी यो सुनिश्चित गर्छौं कि यो सबै व्यवस्थापन पूर्वाधार भित्र तैनाथ गरिएको छ र अनुप्रयोगहरूमा एकरूप छ, जसले अन्ततः प्राविधिक कार्य र ग्राहक समर्थनको सन्दर्भमा बोझलाई कम गर्छ।

परीक्षण र QA

हामीले अवस्थित Kubernetes परीक्षण पूर्वाधारको शीर्षमा अन्त-देखि-अन्त परीक्षण पाइपलाइन निर्माण गर्यौं। यी परीक्षणहरू हाम्रा सबै क्लस्टरहरूमा लागू हुन्छन्। हाम्रो पाइपलाइन उत्पादन क्लस्टरको अंश बन्नु अघि धेरै संशोधनहरू मार्फत गयो।

परीक्षण प्रणालीहरूको अतिरिक्त, हामीसँग निगरानी र सतर्क प्रणालीहरू छन् जसले निरन्तर रूपमा प्रणाली कम्पोनेन्टहरूको स्थिति, स्रोत खपत र अन्य महत्त्वपूर्ण सूचकहरूको निगरानी गर्दछ, हामीलाई मानव हस्तक्षेप आवश्यक हुँदा मात्र सूचित गर्दछ।

विकल्पहरू

हामीले अनुकूलन स्रोतहरू, जस्तै उत्परिवर्तन पहुँच नियन्त्रकहरू र टेम्प्लेट प्रणालीहरूका लागि केही विकल्पहरू हेरेका छौं। यद्यपि, तिनीहरू सबै महत्त्वपूर्ण परिचालन चुनौतीहरूसँग आउँछन्, त्यसैले हामीले CRD मार्ग रोज्यौं।

एक म्युटेसनल प्रवेश नियन्त्रक साइडकार, वातावरण चर, र अन्य रनटाइम समर्थन परिचय गर्न प्रयोग गरिएको थियो। यद्यपि, यसले विभिन्न समस्याहरूको सामना गर्यो, जस्तै संसाधन बाइन्डिङ र जीवनचक्र व्यवस्थापन, जहाँ सीआरडीमा त्यस्ता समस्याहरू उत्पन्न हुँदैनन्।

नोट: टेम्प्लेट प्रणालीहरू जस्तै हेल्म चार्टहरू पनि समान कन्फिगरेसनहरूसँग अनुप्रयोगहरू चलाउन व्यापक रूपमा प्रयोग गरिन्छ। यद्यपि, हाम्रा कार्य अनुप्रयोगहरू टेम्प्लेटहरू प्रयोग गरेर व्यवस्थित गर्न धेरै विविध छन्। साथै निरन्तर डिप्लोइमेन्टको क्रममा टेम्प्लेटहरू प्रयोग गर्दा धेरै त्रुटिहरू हुनेछन्।

आगामी काम

हामी हाल हाम्रा सबै क्लस्टरहरूमा मिश्रित भारसँग व्यवहार गरिरहेका छौं। विभिन्न प्रकार र आकारका त्यस्ता प्रक्रियाहरूलाई समर्थन गर्न, हामी निम्न क्षेत्रहरूमा काम गर्छौं:

• क्लस्टरहरूको संग्रहले स्केलेबिलिटी र स्थिरताका लागि विभिन्न क्लस्टरहरूमा ठूला अनुप्रयोगहरू वितरण गर्दछ।
• क्लस्टर स्थिरता, स्केलेबिलिटी र एप्लिकेसन जडान र SLAs सिर्जना गर्न दृश्यता सुनिश्चित गर्दै।
• स्रोतहरू र कोटाहरू प्रबन्ध गर्नुहोस् ताकि अनुप्रयोगहरू एकअर्कासँग द्वन्द्व नहोस्, र क्लस्टरको स्केल हाम्रो तर्फबाट नियन्त्रण गरिन्छ।
• Kubernetes मा अनुप्रयोगहरू समर्थन र तैनातीका लागि नयाँ CI/CD प्लेटफर्म।

स्रोत: www.habr.com