कुबेरनेट्स एडवेंचर डेलीमोशन: क्लाउड + ऑन-प्रिमाइसेस में बुनियादी ढांचे का निर्माण

टिप्पणी। अनुवाद।: डेलीमोशन दुनिया की सबसे बड़ी वीडियो होस्टिंग सेवाओं में से एक है और इसलिए एक उल्लेखनीय कुबेरनेट्स उपयोगकर्ता है। इस सामग्री में, सिस्टम आर्किटेक्ट डेविड डोनचेज़ ने K8s पर आधारित कंपनी के उत्पादन प्लेटफ़ॉर्म के निर्माण के परिणामों को साझा किया है, जो GKE में क्लाउड इंस्टॉलेशन के साथ शुरू हुआ और एक हाइब्रिड समाधान के रूप में समाप्त हुआ, जिसने बेहतर प्रतिक्रिया समय और बुनियादी ढांचे की लागत पर बचत की अनुमति दी।

कोर एपीआई के पुनर्निर्माण का निर्णय लेना Dailymotion तीन साल पहले, हम अनुप्रयोगों को होस्ट करने और इसे आसान बनाने के लिए एक अधिक कुशल तरीका विकसित करना चाहते थे विकास और उत्पादन में प्रक्रियाएँ. इस उद्देश्य के लिए, हमने एक कंटेनर ऑर्केस्ट्रेशन प्लेटफ़ॉर्म का उपयोग करने का निर्णय लिया और स्वाभाविक रूप से कुबेरनेट्स को चुना।

कुबेरनेट्स पर आधारित अपना स्वयं का प्लेटफ़ॉर्म बनाना क्यों उचित है?

Google क्लाउड का उपयोग करके कुछ ही समय में उत्पादन-स्तरीय एपीआई

2016 तारीख की गर्मी

तीन साल पहले, डेलीमोशन द्वारा खरीदे जाने के तुरंत बाद विवेंडी, हमारी इंजीनियरिंग टीमें एक वैश्विक लक्ष्य पर केंद्रित हैं: एक पूरी तरह से नया डेलीमोशन उत्पाद बनाना।

कंटेनरों, ऑर्केस्ट्रेशन समाधानों और हमारे पिछले अनुभव के हमारे विश्लेषण के आधार पर, हम आश्वस्त हैं कि कुबेरनेट्स सही विकल्प है। कुछ डेवलपर्स को पहले से ही बुनियादी अवधारणाओं की समझ थी और वे जानते थे कि इसका उपयोग कैसे करना है, जो बुनियादी ढांचे के परिवर्तन के लिए एक बड़ा लाभ था।

बुनियादी ढांचे के नजरिए से, नए प्रकार के क्लाउड-नेटिव अनुप्रयोगों को होस्ट करने के लिए एक शक्तिशाली और लचीली प्रणाली की आवश्यकता थी। हमने अपनी यात्रा की शुरुआत में क्लाउड में रहने का फैसला किया ताकि हम मन की शांति के साथ सबसे मजबूत ऑन-प्रिमाइस प्लेटफॉर्म का निर्माण कर सकें। हमने Google Kubernetes इंजन का उपयोग करके अपने एप्लिकेशन को तैनात करने का निर्णय लिया, हालांकि हम जानते थे कि देर-सबेर हम अपने स्वयं के डेटा केंद्रों में चले जाएंगे और एक हाइब्रिड रणनीति लागू करेंगे।

आपने GKE क्यों चुना?

हमने यह विकल्प मुख्यतः तकनीकी कारणों से चुना। इसके अलावा, कंपनी की व्यावसायिक आवश्यकताओं को पूरा करने वाला बुनियादी ढाँचा शीघ्रता से उपलब्ध कराना आवश्यक था। एप्लिकेशन होस्ट करने के लिए हमारी कुछ आवश्यकताएँ थीं, जैसे भौगोलिक वितरण, स्केलेबिलिटी और दोष सहनशीलता।

डेलीमोशन में जीकेई क्लस्टर

चूंकि डेलीमोशन दुनिया भर में उपलब्ध एक वीडियो प्लेटफ़ॉर्म है, हम वास्तव में प्रतीक्षा समय को कम करके सेवा की गुणवत्ता में सुधार करना चाहते थे (विलंबता). इससे पहले हमारी एपीआई केवल पेरिस में उपलब्ध था, जो इष्टतम नहीं था। मैं न केवल यूरोप में, बल्कि एशिया और संयुक्त राज्य अमेरिका में भी एप्लिकेशन होस्ट करने में सक्षम होना चाहता था।

विलंबता के प्रति इस संवेदनशीलता का मतलब था कि प्लेटफ़ॉर्म के नेटवर्क आर्किटेक्चर पर गंभीर काम करना होगा। जबकि अधिकांश क्लाउड सेवाएं आपको प्रत्येक क्षेत्र में अपना नेटवर्क बनाने और फिर उन्हें वीपीएन या किसी प्रकार की प्रबंधित सेवा के माध्यम से कनेक्ट करने के लिए मजबूर करती हैं, Google क्लाउड ने आपको सभी Google क्षेत्रों को कवर करने वाला एक पूरी तरह से निष्क्रिय एकल नेटवर्क बनाने की अनुमति दी है। सिस्टम के संचालन और दक्षता के मामले में यह एक बड़ा प्लस है।

इसके अलावा, Google क्लाउड की नेटवर्क सेवाएँ और लोड बैलेंसर उत्कृष्ट कार्य करते हैं। वे बस आपको प्रत्येक क्षेत्र से मनमाने ढंग से सार्वजनिक आईपी पते का उपयोग करने की अनुमति देते हैं, और अद्भुत बीजीपी प्रोटोकॉल बाकी का ख्याल रखता है (यानी उपयोगकर्ताओं को निकटतम क्लस्टर पर रीडायरेक्ट करता है)। जाहिर है, विफलता की स्थिति में, ट्रैफ़िक बिना किसी मानवीय हस्तक्षेप के स्वचालित रूप से दूसरे क्षेत्र में चला जाएगा।

Google लोड संतुलन की निगरानी करना

हमारा प्लेटफ़ॉर्म GPU का भी भारी उपयोग करता है। Google क्लाउड आपको सीधे Kubernetes क्लस्टर में बहुत प्रभावी ढंग से उनका उपयोग करने की अनुमति देता है।

उस समय, बुनियादी ढांचा टीम मुख्य रूप से भौतिक सर्वर पर तैनात विरासत स्टैक पर केंद्रित थी। इसीलिए एक प्रबंधित सेवा (कुबेरनेट्स मास्टर्स सहित) का उपयोग करने से हमारी आवश्यकताएं पूरी हुईं और हमें स्थानीय समूहों के साथ काम करने के लिए टीमों को प्रशिक्षित करने की अनुमति मिली।

परिणामस्वरूप, हम काम शुरू होने के 6 महीने बाद ही Google क्लाउड इंफ्रास्ट्रक्चर पर उत्पादन ट्रैफ़िक प्राप्त करना शुरू करने में सक्षम हो गए।

हालाँकि, कई फायदों के बावजूद, क्लाउड प्रदाता के साथ काम करने में कुछ लागतें जुड़ी होती हैं, जो लोड के आधार पर बढ़ सकती हैं। इसीलिए हमने अपने द्वारा उपयोग की जाने वाली प्रत्येक प्रबंधित सेवा का सावधानीपूर्वक विश्लेषण किया, यह आशा करते हुए कि भविष्य में उन्हें ऑन-प्रिमाइसेस में लागू किया जाएगा। वास्तव में, स्थानीय समूहों का कार्यान्वयन 2016 के अंत में शुरू हुआ और उसी समय हाइब्रिड रणनीति शुरू की गई।

स्थानीय कंटेनर ऑर्केस्ट्रेशन प्लेटफ़ॉर्म डेलीमोशन का लॉन्च

पतझड़ '2016

उन स्थितियों में जब पूरा स्टैक उत्पादन के लिए तैयार था, और एपीआई पर काम करें जारी, अब क्षेत्रीय समूहों पर ध्यान केंद्रित करने का समय आ गया है।

उस समय यूजर्स हर महीने 3 अरब से ज्यादा वीडियो देख रहे थे। निःसंदेह, हमारे पास कई वर्षों से अपना स्वयं का व्यापक सामग्री वितरण नेटवर्क है। हम इस परिस्थिति का लाभ उठाना चाहते थे और मौजूदा डेटा केंद्रों में कुबेरनेट्स क्लस्टर तैनात करना चाहते थे।

डेलीमोशन के बुनियादी ढांचे में छह डेटा केंद्रों में 2,5 हजार से अधिक सर्वर शामिल थे। उन सभी को साल्टस्टैक का उपयोग करके कॉन्फ़िगर किया गया है। हमने मास्टर और वर्कर नोड्स के साथ-साथ एक आदि क्लस्टर बनाने के लिए सभी आवश्यक रेसिपी तैयार करना शुरू कर दिया।

नेटवर्क भाग

हमारा नेटवर्क पूरी तरह से रूट हो गया है. प्रत्येक सर्वर Exabgp का उपयोग करके नेटवर्क पर अपने आईपी का विज्ञापन करता है। हमने कई नेटवर्क प्लगइन्स की तुलना की और एकमात्र ऐसा प्लगइन था जो सभी जरूरतों को पूरा करता था (प्रयोग किए गए L3 दृष्टिकोण के कारण)। कैलिकौ. यह मौजूदा नेटवर्क इंफ्रास्ट्रक्चर मॉडल में बिल्कुल फिट बैठता है।

चूँकि हम सभी उपलब्ध बुनियादी ढांचे के तत्वों का उपयोग करना चाहते थे, इसलिए पहली चीज़ जो हमें करनी थी वह थी हमारी घरेलू नेटवर्क उपयोगिता (सभी सर्वरों पर प्रयुक्त) का पता लगाना: इसका उपयोग कुबेरनेट्स नोड्स के साथ नेटवर्क पर आईपी एड्रेस रेंज का विज्ञापन करने के लिए करना था। हमने केलिको को पॉड्स के लिए आईपी एड्रेस निर्दिष्ट करने की अनुमति दी, लेकिन नेटवर्क उपकरणों पर बीजीपी सत्रों के लिए इसका उपयोग नहीं किया और अब भी नहीं करते हैं। वास्तव में, रूटिंग को Exabgp द्वारा नियंत्रित किया जाता है, जो केलिको द्वारा उपयोग किए जाने वाले सबनेट का विज्ञापन करता है। यह हमें आंतरिक नेटवर्क (और विशेष रूप से लोड बैलेंसर्स से) से किसी भी पॉड तक पहुंचने की अनुमति देता है।

हम प्रवेश यातायात का प्रबंधन कैसे करते हैं

आने वाले अनुरोधों को वांछित सेवा पर पुनर्निर्देशित करने के लिए, कुबेरनेट्स इनग्रेस संसाधनों के साथ इसके एकीकरण के कारण इनग्रेस कंट्रोलर का उपयोग करने का निर्णय लिया गया।

तीन साल पहले, nginx-ingress-नियंत्रक सबसे परिपक्व नियंत्रक था: Nginx लंबे समय से मौजूद था और अपनी स्थिरता और प्रदर्शन के लिए जाना जाता था।

हमारे सिस्टम में, हमने नियंत्रकों को समर्पित 10-गीगाबिट ब्लेड सर्वर पर रखने का निर्णय लिया। प्रत्येक नियंत्रक संबंधित क्लस्टर के क्यूब-एपिसर्वर एंडपॉइंट से जुड़ा था। इन सर्वरों ने सार्वजनिक या निजी आईपी पते का विज्ञापन करने के लिए Exabgp का भी उपयोग किया। हमारी नेटवर्क टोपोलॉजी हमें नोडपोर्ट जैसी सेवा का उपयोग किए बिना सभी ट्रैफ़िक को सीधे पॉड्स तक रूट करने के लिए इन नियंत्रकों से बीजीपी का उपयोग करने की अनुमति देती है। यह दृष्टिकोण नोड्स के बीच क्षैतिज ट्रैफ़िक से बचने में मदद करता है और दक्षता में सुधार करता है।

इंटरनेट से पॉड्स तक ट्रैफ़िक मूवमेंट

अब जब हम अपने हाइब्रिड प्लेटफ़ॉर्म को समझ गए हैं, तो हम ट्रैफ़िक माइग्रेशन प्रक्रिया में गहराई से उतर सकते हैं।

Google क्लाउड से डेलीमोशन इंफ्रास्ट्रक्चर पर ट्रैफ़िक का स्थानांतरण

पतझड़ '2018

लगभग दो वर्षों के निर्माण, परीक्षण और ट्यूनिंग के बाद, आखिरकार हमारे पास कुछ ट्रैफ़िक स्वीकार करने के लिए पूर्ण कुबेरनेट्स स्टैक तैयार है।

वर्तमान रूटिंग रणनीति काफी सरल है, लेकिन जरूरतों को पूरा करने के लिए पर्याप्त है। सार्वजनिक आईपी (Google क्लाउड और डेलीमोशन पर) के अलावा, AWS रूट 53 का उपयोग नीतियों को सेट करने और उपयोगकर्ताओं को हमारी पसंद के क्लस्टर पर पुनर्निर्देशित करने के लिए किया जाता है।

रूट 53 का उपयोग करके उदाहरण रूटिंग नीति

Google क्लाउड के साथ यह आसान है क्योंकि हम सभी क्लस्टरों में एक ही आईपी साझा करते हैं और उपयोगकर्ता को निकटतम जीकेई क्लस्टर पर रीडायरेक्ट किया जाता है। हमारे समूहों के लिए तकनीक अलग है, क्योंकि उनके आईपी अलग हैं।

प्रवासन के दौरान, हमने क्षेत्रीय अनुरोधों को उपयुक्त समूहों पर पुनर्निर्देशित करने की कोशिश की और इस दृष्टिकोण के लाभों का मूल्यांकन किया।

क्योंकि हमारे GKE क्लस्टर कस्टम मेट्रिक्स का उपयोग करके ऑटोस्केल में कॉन्फ़िगर किए गए हैं, वे आने वाले ट्रैफ़िक के आधार पर ऊपर/नीचे स्केल करते हैं।

सामान्य मोड में, सभी क्षेत्रीय यातायात स्थानीय क्लस्टर को निर्देशित किया जाता है, और जीकेई समस्याओं के मामले में रिजर्व के रूप में कार्य करता है (स्वास्थ्य जांच रूट 53 द्वारा की जाती है)।

...

भविष्य में, हम एक स्वायत्त हाइब्रिड रणनीति प्राप्त करने के लिए रूटिंग नीतियों को पूरी तरह से स्वचालित करना चाहते हैं जो उपयोगकर्ताओं के लिए पहुंच में लगातार सुधार करती है। अच्छी बात यह है कि क्लाउड लागत काफी कम हो गई है और एपीआई प्रतिक्रिया समय भी कम हो गया है। हम परिणामी क्लाउड प्लेटफ़ॉर्म पर भरोसा करते हैं और यदि आवश्यक हो तो अधिक ट्रैफ़िक को इस पर पुनर्निर्देशित करने के लिए तैयार हैं।

अनुवादक से पी.एस

आपको कुबेरनेट्स के बारे में एक अन्य हालिया डेलीमोशन पोस्ट में भी रुचि हो सकती है। यह कई कुबेरनेट क्लस्टरों पर हेल्म के साथ अनुप्रयोगों की तैनाती के लिए समर्पित है प्रकाशित किया गया था करीब XNUMX महीने पहले।

हमारे ब्लॉग पर भी पढ़ें:

• «टिंडर का कुबेरनेट्स में संक्रमण'.
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: रेडिट";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: CERN और 210 K8s क्लस्टर";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: हुआवेई";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: ब्लैकरॉक";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: BlaBlaCar";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: डिजिटल बैंक मोन्जो";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: साउंडक्लाउड (प्रोमेथियस द्वारा)";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: GitHub";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: सहमति और एसएपी";
• «उत्पादन में कुबेरनेट्स की सफलता की कहानियाँ। भाग ---- पहला: ईबे से 4200 चूल्हे और टेसमास्टर'.

स्रोत: www.habr.com