Pinterest पर एक Kubernetes प्लेटफ़ॉर्म बनाना

इन वर्षों में, Pinterest के 300 मिलियन उपयोगकर्ताओं ने 200 बिलियन से अधिक बोर्डों पर 4 बिलियन से अधिक पिन बनाए हैं। उपयोगकर्ताओं की इस सेना और विशाल सामग्री आधार की सेवा के लिए, पोर्टल ने हजारों सेवाएं विकसित की हैं, जिनमें कुछ सीपीयू द्वारा नियंत्रित की जा सकने वाली माइक्रोसर्विसेज से लेकर वर्चुअल मशीनों के पूरे बेड़े पर चलने वाले विशाल मोनोलिथ तक शामिल हैं। और फिर वो पल आया जब कंपनी की नजर k8s पर पड़ी. Pinterest पर "क्यूब" अच्छा क्यों लगा? आप इसके बारे में हमारे एक हालिया लेख के अनुवाद से सीखेंगे ब्लॉग Pinterest इंजीनियरिंग.

तो, करोड़ों उपयोगकर्ता और सैकड़ों अरबों पिन। उपयोगकर्ताओं की इस सेना और विशाल सामग्री आधार की सेवा के लिए, हमने हजारों सेवाएँ विकसित की हैं, जिनमें कुछ सीपीयू द्वारा नियंत्रित की जा सकने वाली माइक्रोसर्विसेज से लेकर वर्चुअल मशीनों के पूरे बेड़े पर चलने वाले विशाल मोनोलिथ तक शामिल हैं। इसके अलावा, हमारे पास विभिन्न प्रकार के फ्रेमवर्क हैं जिनके लिए सीपीयू, मेमोरी या आई/ओ एक्सेस की भी आवश्यकता हो सकती है।

उपकरणों के इस चिड़ियाघर को बनाए रखने में, विकास दल को कई चुनौतियों का सामना करना पड़ता है:

• इंजीनियरों के लिए उत्पादन वातावरण चलाने का कोई एक समान तरीका नहीं है। स्टेटलेस सेवाएँ, स्टेटफुल सेवाएँ और सक्रिय विकास के तहत परियोजनाएँ पूरी तरह से अलग-अलग प्रौद्योगिकी स्टैक पर आधारित हैं। इससे इंजीनियरों के लिए एक संपूर्ण प्रशिक्षण पाठ्यक्रम का निर्माण हुआ, और हमारी बुनियादी ढांचा टीम का काम भी गंभीर रूप से जटिल हो गया।
• वर्चुअल मशीनों के अपने बेड़े के साथ डेवलपर्स आंतरिक प्रशासकों पर भारी बोझ पैदा करते हैं। परिणामस्वरूप, ओएस या एएमआई को अपडेट करने जैसे सरल कार्यों में सप्ताह और महीने लग जाते हैं। इससे बिल्कुल रोजमर्रा की स्थितियों में काम का बोझ बढ़ जाता है।
• मौजूदा समाधानों के शीर्ष पर वैश्विक बुनियादी ढांचा प्रबंधन उपकरण बनाने में कठिनाइयाँ। स्थिति इस तथ्य से और भी जटिल है कि वर्चुअल मशीनों के मालिकों को ढूंढना आसान नहीं है। यानी, हम नहीं जानते कि इस क्षमता को हमारे बुनियादी ढांचे के अन्य हिस्सों में संचालित करने के लिए सुरक्षित रूप से निकाला जा सकता है या नहीं।

कंटेनर ऑर्केस्ट्रेशन सिस्टम कार्यभार प्रबंधन को एकीकृत करने का एक तरीका है। वे विकास की गति में वृद्धि का द्वार खोलते हैं और बुनियादी ढांचे के प्रबंधन को सरल बनाते हैं, क्योंकि परियोजना में शामिल सभी संसाधनों को एक केंद्रीकृत प्रणाली द्वारा प्रबंधित किया जाता है।

चित्र 1: बुनियादी ढांचे की प्राथमिकताएं (विश्वसनीयता, डेवलपर उत्पादकता और दक्षता)।

Pinterest की क्लाउड मैनेजमेंट प्लेटफ़ॉर्म टीम ने 8 में K2017s की खोज की। 2017 की पहली छमाही तक, हमने एपीआई और हमारे सभी वेब सर्वर सहित अपनी अधिकांश उत्पादन क्षमताओं का दस्तावेजीकरण कर लिया था। बाद में, हमने कंटेनर समाधानों को व्यवस्थित करने, क्लस्टर बनाने और उनके साथ काम करने के लिए विभिन्न प्रणालियों का गहन मूल्यांकन किया। 2017 के अंत में, हमने कुबेरनेट्स का उपयोग करने का निर्णय लिया। यह काफी लचीला था और डेवलपर समुदाय में व्यापक रूप से समर्थित था।

आज तक, हमने कोप्स के आधार पर अपने स्वयं के क्लस्टर बूट टूल बनाए हैं और मौजूदा बुनियादी ढांचे के घटकों जैसे नेटवर्किंग, सुरक्षा, मेट्रिक्स, लॉगिंग, पहचान प्रबंधन और ट्रैफ़िक को कुबेरनेट्स में स्थानांतरित कर दिया है। हमने अपने संसाधन के लिए एक कार्यभार मॉडलिंग प्रणाली भी लागू की है, जिसकी जटिलता डेवलपर्स से छिपी हुई है। अब हम क्लस्टर की स्थिरता सुनिश्चित करने, उसका विस्तार करने और नए ग्राहकों को जोड़ने पर ध्यान केंद्रित कर रहे हैं।

कुबेरनेट्स: द पिनटेरेस्ट वे

हमारे इंजीनियरों को पसंद आने वाले प्लेटफ़ॉर्म के रूप में Pinterest के पैमाने पर Kubernetes के साथ शुरुआत करना बहुत सारी चुनौतियों के साथ आया।

एक बड़ी कंपनी के रूप में, हमने बुनियादी ढांचे के उपकरणों में भारी निवेश किया है। उदाहरणों में सुरक्षा उपकरण शामिल हैं जो प्रमाणपत्र और कुंजी वितरण, यातायात नियंत्रण घटक, सेवा खोज प्रणाली, दृश्यता घटक और लॉग और मेट्रिक्स प्रेषण घटकों को संभालते हैं। यह सब एक कारण से एकत्र किया गया था: हम परीक्षण और त्रुटि के सामान्य रास्ते से गुज़रे, और इसलिए हम पुराने पहिये को एक नए प्लेटफ़ॉर्म पर फिर से स्थापित करने के बजाय इन सभी उपकरणों को कुबेरनेट्स पर नए बुनियादी ढांचे में एकीकृत करना चाहते थे। इस दृष्टिकोण ने कुल मिलाकर माइग्रेशन को सरल बना दिया, क्योंकि सभी एप्लिकेशन समर्थन पहले से मौजूद हैं और उन्हें स्क्रैच से बनाने की आवश्यकता नहीं है।

दूसरी ओर, कुबेरनेट्स में लोड पूर्वानुमान मॉडल (जैसे तैनाती, नौकरियां और डेमॉन सेट) हमारे प्रोजेक्ट के लिए पर्याप्त नहीं हैं। ये प्रयोज्यता संबंधी समस्याएं कुबेरनेट्स पर जाने में बड़ी बाधाएं हैं। उदाहरण के लिए, हमने सेवा डेवलपर्स को गुम या गलत लॉगिन सेटिंग्स के बारे में शिकायत करते सुना है। हमें टेम्प्लेट इंजनों के गलत उपयोग का भी सामना करना पड़ा, जब एक ही विनिर्देश और कार्य के साथ सैकड़ों प्रतियां बनाई गईं, जिसके परिणामस्वरूप दुःस्वप्न डिबगिंग समस्याएं उत्पन्न हुईं।

एक ही क्लस्टर में विभिन्न संस्करणों को बनाए रखना भी बहुत कठिन था। यदि आपको एक ही रनटाइम वातावरण के कई संस्करणों में उनकी सभी समस्याओं, बग और अपडेट के साथ एक साथ काम करने की आवश्यकता है, तो ग्राहक सहायता की जटिलता की कल्पना करें।

Pinterest उपयोगकर्ता गुण और नियंत्रक

हमारे इंजीनियरों के लिए कुबेरनेट्स को लागू करना आसान बनाने और हमारे बुनियादी ढांचे को सरल और तेज़ बनाने के लिए, हमने अपनी स्वयं की कस्टम संसाधन परिभाषाएँ (सीआरडी) विकसित की हैं।

सीआरडी निम्नलिखित कार्यक्षमता प्रदान करते हैं:

1. विभिन्न देशी कुबेरनेट्स संसाधनों का संयोजन ताकि वे एक ही कार्यभार के रूप में काम करें। उदाहरण के लिए, PinterestService संसाधन में एक परिनियोजन, एक लॉगिन सेवा और एक कॉन्फ़िगरेशन मानचित्र शामिल है। इससे डेवलपर्स को DNS स्थापित करने के बारे में चिंता करने की ज़रूरत नहीं है।
2. आवश्यक एप्लिकेशन समर्थन लागू करें. उपयोगकर्ता को अपने व्यावसायिक तर्क के अनुसार केवल कंटेनर विनिर्देश पर ध्यान केंद्रित करने की आवश्यकता है, जबकि सीआरडी नियंत्रक सभी आवश्यक इनिट कंटेनर, पर्यावरण चर और पॉड विनिर्देशों को लागू करता है। यह डेवलपर्स के लिए मौलिक रूप से अलग स्तर की सुविधा प्रदान करता है।
3. सीआरडी नियंत्रक देशी संसाधनों के जीवनचक्र का प्रबंधन भी करते हैं और डिबग उपलब्धता में सुधार करते हैं। इसमें वांछित और वास्तविक विशिष्टताओं का मिलान करना, सीआरडी स्थिति को अपडेट करना और इवेंट लॉग को बनाए रखना और बहुत कुछ शामिल है। सीआरडी के बिना, डेवलपर्स को कई संसाधनों का प्रबंधन करने के लिए मजबूर होना पड़ेगा, जिससे त्रुटि की संभावना ही बढ़ जाएगी।

यहां PinterestService और एक आंतरिक संसाधन का उदाहरण दिया गया है जिसे हमारे नियंत्रक द्वारा प्रबंधित किया जाता है:

जैसा कि आप ऊपर देख सकते हैं, एक कस्टम कंटेनर का समर्थन करने के लिए हमें सुरक्षा, दृश्यता और नेटवर्क ट्रैफ़िक प्रदान करने के लिए एक इनिट कंटेनर और कई ऐड-ऑन को एकीकृत करने की आवश्यकता है। इसके अलावा, हमने कॉन्फ़िगरेशन मैप टेम्प्लेट बनाए और बैच नौकरियों के लिए पीवीसी टेम्प्लेट के लिए समर्थन लागू किया, साथ ही पहचान, संसाधन खपत और कचरा संग्रहण को ट्रैक करने के लिए कई पर्यावरण चर की ट्रैकिंग भी की।

यह कल्पना करना कठिन है कि डेवलपर्स इन कॉन्फ़िगरेशन फ़ाइलों को CRD समर्थन के बिना हाथ से लिखना चाहेंगे, कॉन्फ़िगरेशन को आगे बनाए रखने और डीबग करने की तो बात ही छोड़ दें।

एप्लिकेशन परिनियोजन वर्कफ़्लो

ऊपर दी गई छवि दिखाती है कि कुबेरनेट्स क्लस्टर में Pinterest कस्टम संसाधन कैसे तैनात किया जाए:

1. डेवलपर्स सीएलआई और यूजर इंटरफेस के माध्यम से हमारे कुबेरनेट्स क्लस्टर के साथ बातचीत करते हैं।
2. सीएलआई/यूआई उपकरण आर्टिफैक्टरी से वर्कफ़्लो कॉन्फ़िगरेशन वाईएएमएल फ़ाइलें और अन्य बिल्ड प्रॉपर्टी (समान संस्करण आईडी) पुनर्प्राप्त करते हैं और फिर उन्हें जॉब सबमिशन सेवा में सबमिट करते हैं। यह चरण सुनिश्चित करता है कि केवल उत्पादन संस्करण ही क्लस्टर तक पहुंचाए जाएं।
3. जेएसएस कुबेरनेट्स सहित विभिन्न प्लेटफार्मों के लिए एक प्रवेश द्वार है। यहां उपयोगकर्ता को प्रमाणित किया जाता है, कोटा जारी किया जाता है और हमारे सीआरडी के कॉन्फ़िगरेशन की आंशिक रूप से जांच की जाती है।
4. JSS की ओर से CRD की जाँच करने के बाद, जानकारी k8s प्लेटफ़ॉर्म API पर भेजी जाती है।
5. हमारा सीआरडी नियंत्रक सभी उपयोगकर्ता संसाधनों पर घटनाओं की निगरानी करता है। यह सीआर को मूल k8s संसाधनों में परिवर्तित करता है, आवश्यक मॉड्यूल जोड़ता है, उचित पर्यावरण चर सेट करता है, और यह सुनिश्चित करने के लिए अन्य समर्थन कार्य करता है कि कंटेनरीकृत उपयोगकर्ता अनुप्रयोगों के पास पर्याप्त बुनियादी ढांचा समर्थन है।
6. सीआरडी नियंत्रक तब प्राप्त डेटा को कुबेरनेट्स एपीआई को भेजता है ताकि इसे शेड्यूलर द्वारा संसाधित किया जा सके और उत्पादन में डाला जा सके।

नोट: परिनियोजन का यह प्री-रिलीज़ कार्य प्रवाह नए k8s प्लेटफ़ॉर्म के पहले उपयोगकर्ताओं के लिए बनाया गया था। हम वर्तमान में अपने नए सीआई/सीडी के साथ पूरी तरह से एकीकृत करने के लिए इस प्रक्रिया को परिष्कृत करने की प्रक्रिया में हैं। इसका मतलब यह है कि हम आपको कुबेरनेट्स से जुड़ी हर बात नहीं बता सकते। हम अपने अगले ब्लॉग पोस्ट, "Pinterest के लिए CI/CD प्लेटफ़ॉर्म का निर्माण" में इस दिशा में अपने अनुभव और टीम की प्रगति को साझा करने के लिए उत्सुक हैं।

विशेष संसाधनों के प्रकार

Pinterest की विशिष्ट आवश्यकताओं के आधार पर, हमने विभिन्न वर्कफ़्लो के अनुरूप निम्नलिखित CRD विकसित किए हैं:

• PinterestService स्टेटलेस सेवाएँ हैं जो लंबे समय से चल रही हैं। हमारी कई मुख्य प्रणालियाँ ऐसी सेवाओं के एक समूह पर आधारित हैं।
• PinterestJobSet मॉडल पूर्ण चक्र बैच नौकरियां। Pinterest पर एक सामान्य परिदृश्य यह है कि कई नौकरियां समान कंटेनरों को समानांतर में चलाती हैं, अन्य समान प्रक्रियाओं की परवाह किए बिना।
• PinterestCronJob का व्यापक रूप से छोटे आवधिक भार के संयोजन में उपयोग किया जाता है। यह Pinterest समर्थन तंत्र के साथ देशी क्रॉन कार्य के लिए एक आवरण है जो सुरक्षा, ट्रैफ़िक, लॉग और मेट्रिक्स के लिए ज़िम्मेदार है।
• PinterestDaemon में इंफ्रास्ट्रक्चर डेमॉन शामिल हैं। जैसे-जैसे हम अपने समूहों को अधिक समर्थन देते हैं, यह परिवार बढ़ता जा रहा है।
• PinterestTrainingJob अन्य सभी CRDs के समान रनटाइम समर्थन प्रदान करते हुए, Tensorflow और Pytorch प्रक्रियाओं तक विस्तारित है। चूंकि Pinterest सक्रिय रूप से Tensorflow और अन्य मशीन लर्निंग सिस्टम का उपयोग करता है, इसलिए हमारे पास उनके चारों ओर एक अलग CRD बनाने का एक कारण था।

हम PinterestStatefulSet पर भी काम कर रहे हैं, जिसे जल्द ही डेटा वेयरहाउस और अन्य स्टेटफुल सिस्टम के लिए अनुकूलित किया जाएगा।

रनटाइम समर्थन

जब कोई एप्लिकेशन पॉड कुबेरनेट्स पर चलता है, तो उसे स्वचालित रूप से अपनी पहचान के लिए एक प्रमाणपत्र प्राप्त होता है। इस प्रमाणपत्र का उपयोग गुप्त भंडारण तक पहुंचने या एमटीएलएस के माध्यम से अन्य सेवाओं के साथ संचार करने के लिए किया जाता है। इस बीच, कंटेनर इनिट कॉन्फिगरेटर और डेमॉन कंटेनरीकृत एप्लिकेशन को चलाने से पहले सभी आवश्यक निर्भरताएं डाउनलोड करेंगे। जब सब कुछ तैयार हो जाएगा, तो ट्रैफिक साइडकार और डेमॉन मॉड्यूल के आईपी पते को हमारे ज़ूकीपर के साथ पंजीकृत करेंगे ताकि ग्राहक इसे खोज सकें। यह सब काम करेगा क्योंकि एप्लिकेशन लॉन्च होने से पहले नेटवर्क मॉड्यूल कॉन्फ़िगर किया गया था।

उपरोक्त कार्यभार के लिए रनटाइम समर्थन के विशिष्ट उदाहरण हैं। अन्य प्रकार के कार्यभार के लिए थोड़े अलग समर्थन की आवश्यकता हो सकती है, लेकिन वे सभी पॉड-स्तरीय साइडकार, नोड-स्तर या वर्चुअल मशीन-स्तरीय डेमॉन के रूप में आते हैं। हम यह सुनिश्चित करते हैं कि यह सब प्रबंधन बुनियादी ढांचे के भीतर तैनात किया गया है और सभी अनुप्रयोगों में सुसंगत है, जो अंततः तकनीकी कार्य और ग्राहक सहायता के मामले में बोझ को काफी कम कर देता है।

परीक्षण और क्यूए

हमने मौजूदा कुबेरनेट्स परीक्षण बुनियादी ढांचे के शीर्ष पर एक एंड-टू-एंड परीक्षण पाइपलाइन का निर्माण किया। ये परीक्षण हमारे सभी समूहों पर लागू होते हैं। उत्पाद क्लस्टर का हिस्सा बनने से पहले हमारी पाइपलाइन कई संशोधनों से गुज़री।

परीक्षण प्रणालियों के अलावा, हमारे पास निगरानी और चेतावनी प्रणालियाँ हैं जो लगातार सिस्टम घटकों, संसाधन खपत और अन्य महत्वपूर्ण संकेतकों की स्थिति की निगरानी करती हैं, हमें केवल तभी सूचित करती हैं जब मानवीय हस्तक्षेप आवश्यक होता है।

विकल्प

हमने कस्टम संसाधनों के कुछ विकल्पों पर गौर किया, जैसे म्यूटेशन एक्सेस कंट्रोलर और टेम्पलेट सिस्टम। हालाँकि, वे सभी महत्वपूर्ण परिचालन चुनौतियों के साथ आते हैं, इसलिए हमने सीआरडी मार्ग चुना।

साइडकार, पर्यावरण चर और अन्य रनटाइम समर्थन को पेश करने के लिए एक उत्परिवर्तनीय प्रवेश नियंत्रक का उपयोग किया गया था। हालाँकि, इसमें विभिन्न समस्याओं का सामना करना पड़ा, जैसे संसाधन बंधन और जीवनचक्र प्रबंधन, जहाँ CRD में ऐसी समस्याएँ उत्पन्न नहीं होती हैं।

नोट: समान कॉन्फ़िगरेशन वाले एप्लिकेशन चलाने के लिए हेल्म चार्ट जैसे टेम्पलेट सिस्टम का भी व्यापक रूप से उपयोग किया जाता है। हालाँकि, हमारे कार्य अनुप्रयोग इतने विविध हैं कि उन्हें टेम्प्लेट का उपयोग करके प्रबंधित नहीं किया जा सकता। इसके अलावा निरंतर तैनाती के दौरान टेम्प्लेट का उपयोग करते समय बहुत अधिक त्रुटियां होंगी।

आगामी कार्य

वर्तमान में हम अपने सभी समूहों में मिश्रित भार से निपट रहे हैं। विभिन्न प्रकार और आकार की ऐसी प्रक्रियाओं का समर्थन करने के लिए, हम निम्नलिखित क्षेत्रों में काम करते हैं:

• समूहों का एक संग्रह स्केलेबिलिटी और स्थिरता के लिए विभिन्न समूहों में बड़े अनुप्रयोगों को वितरित करता है।
• एप्लिकेशन कनेक्टिविटी और एसएलए बनाने के लिए क्लस्टर स्थिरता, स्केलेबिलिटी और दृश्यता सुनिश्चित करना।
• संसाधनों और कोटा का प्रबंधन करना ताकि एप्लिकेशन एक-दूसरे के साथ संघर्ष न करें, और क्लस्टर का पैमाना हमारी ओर से नियंत्रित हो।
• कुबेरनेट्स पर अनुप्रयोगों के समर्थन और तैनाती के लिए एक नया सीआई/सीडी मंच।

स्रोत: www.habr.com