कुबर्नेट्स अॅडव्हेंचर डेलीमोशन: क्लाउड्स + ऑन-प्रिमाइसेसमध्ये पायाभूत सुविधा निर्माण करणे

नोंद. अनुवाद: डेलीमोशन ही जगातील सर्वात मोठ्या व्हिडिओ होस्टिंग सेवांपैकी एक आहे आणि म्हणूनच कुबर्नेट्सचा एक उल्लेखनीय वापरकर्ता आहे. या सामग्रीमध्ये, सिस्टम आर्किटेक्ट डेव्हिड डोन्चेझ K8s वर आधारित कंपनीचे उत्पादन प्लॅटफॉर्म तयार करण्याचे परिणाम सामायिक करतात, जे GKE मध्ये क्लाउड इंस्टॉलेशनसह सुरू झाले आणि एक हायब्रीड सोल्यूशन म्हणून समाप्त झाले, ज्यामुळे चांगल्या प्रतिसाद वेळेस आणि पायाभूत सुविधांच्या खर्चात बचत होते.

कोर API पुन्हा तयार करण्याचा निर्णय घेत आहे डेलीमोशन तीन वर्षांपूर्वी, आम्हाला ऍप्लिकेशन्स होस्ट करण्यासाठी आणि ते सोपे करण्याचा अधिक कार्यक्षम मार्ग विकसित करायचा होता विकास आणि उत्पादन प्रक्रिया. या उद्देशासाठी, आम्ही कंटेनर ऑर्केस्ट्रेशन प्लॅटफॉर्म वापरण्याचे ठरवले आणि नैसर्गिकरित्या कुबर्नेट्स निवडले.

Kubernetes वर आधारित तुमचे स्वतःचे प्लॅटफॉर्म तयार करणे योग्य का आहे?

Google क्लाउड वापरून उत्पादन-स्तर API

उन्हाळा 2016

तीन वर्षांपूर्वी, डेलीमोशनने खरेदी केल्यानंतर लगेचच Vivendi, आमचे अभियांत्रिकी कार्यसंघ एका जागतिक उद्दिष्टावर केंद्रित आहेत: पूर्णपणे नवीन डेलीमोशन उत्पादन तयार करणे.

आमच्या कंटेनरचे विश्लेषण, ऑर्केस्ट्रेशन सोल्यूशन्स आणि आमच्या मागील अनुभवावर आधारित, आम्हाला खात्री आहे की कुबर्नेट्स ही योग्य निवड आहे. काही विकासकांना आधीच मूलभूत संकल्पनांची समज होती आणि ती कशी वापरायची हे माहित होते, जे पायाभूत सुविधांच्या परिवर्तनासाठी एक मोठा फायदा होता.

पायाभूत सुविधांच्या दृष्टीकोनातून, नवीन प्रकारचे क्लाउड-नेटिव्ह ऍप्लिकेशन होस्ट करण्यासाठी एक शक्तिशाली आणि लवचिक प्रणाली आवश्यक होती. आम्ही आमच्या प्रवासाच्या सुरुवातीस क्लाउडमध्ये राहणे निवडले जेणेकरून आम्ही मनःशांतीसह सर्वात मजबूत ऑन-प्रिमाइस प्लॅटफॉर्म तयार करू शकू. आम्‍ही Google Kubernetes Engine वापरून आमचे अॅप्लिकेशन उपयोजित करण्‍याचा निर्णय घेतला, जरी आम्‍हाला हे माहीत असल्‍याची की लवकरच किंवा नंतर आम्‍ही आपल्‍या स्‍वत:च्‍या डेटा सेंटरवर जाऊ आणि संकरित धोरण लागू करू.

तुम्ही GKE का निवडले?

आम्ही ही निवड प्रामुख्याने तांत्रिक कारणांसाठी केली आहे. शिवाय, कंपनीच्या व्यावसायिक गरजा पूर्ण करणाऱ्या पायाभूत सुविधा त्वरीत उपलब्ध करून देणे आवश्यक होते. भौगोलिक वितरण, स्केलेबिलिटी आणि दोष सहिष्णुता यासारख्या अनुप्रयोग होस्टिंगसाठी आमच्याकडे काही आवश्यकता होत्या.

Dailymotion मधील GKE क्लस्टर

डेलीमोशन हे जगभरात उपलब्ध असलेले व्हिडिओ प्लॅटफॉर्म असल्याने, आम्हाला प्रतीक्षा वेळ कमी करून सेवेची गुणवत्ता सुधारायची होती. (विलंबता). पूर्वी आमचे API केवळ पॅरिसमध्ये उपलब्ध होते, जे सबऑप्टिमल होते. मला केवळ युरोपमध्येच नव्हे तर आशिया आणि यूएसएमध्ये देखील अनुप्रयोग होस्ट करण्यास सक्षम व्हायचे होते.

लेटन्सीच्या या संवेदनशीलतेचा अर्थ असा होतो की प्लॅटफॉर्मच्या नेटवर्क आर्किटेक्चरवर गंभीर काम करावे लागेल. बर्‍याच क्लाउड सेवांनी तुम्हाला प्रत्येक प्रदेशात तुमचे स्वतःचे नेटवर्क तयार करण्यास आणि नंतर त्यांना VPN किंवा काही प्रकारच्या व्यवस्थापित सेवेद्वारे कनेक्ट करण्यास भाग पाडले असताना, Google क्लाउडने तुम्हाला सर्व Google क्षेत्रे कव्हर करणारे संपूर्ण राउटेबल सिंगल नेटवर्क तयार करण्याची परवानगी दिली. सिस्टमच्या ऑपरेशन आणि कार्यक्षमतेच्या दृष्टीने हे एक मोठे प्लस आहे.

याव्यतिरिक्त, Google क्लाउड वरील नेटवर्क सेवा आणि लोड बॅलन्सर उत्कृष्ट कार्य करतात. ते तुम्हाला प्रत्येक प्रदेशातील अनियंत्रित सार्वजनिक IP पत्ते वापरण्याची परवानगी देतात आणि अद्भुत BGP प्रोटोकॉल बाकीची काळजी घेते (म्हणजे वापरकर्त्यांना जवळच्या क्लस्टरकडे पुनर्निर्देशित करते). साहजिकच बिघाड झाल्यास वाहतूक कोणत्याही मानवी हस्तक्षेपाशिवाय आपोआप दुसऱ्या प्रदेशात जाईल.

Google लोड बॅलन्सिंगचे निरीक्षण करणे

आमचे प्लॅटफॉर्म GPU चा मोठ्या प्रमाणात वापर करते. Google क्लाउड तुम्हाला ते थेट Kubernetes क्लस्टरमध्ये अतिशय प्रभावीपणे वापरण्याची परवानगी देतो.

त्या वेळी, पायाभूत सुविधा कार्यसंघ मुख्यत्वे भौतिक सर्व्हरवर तैनात केलेल्या लेगसी स्टॅकवर केंद्रित होते. म्हणूनच व्यवस्थापित सेवा वापरून (कुबर्नेट्स मास्टर्ससह) आमच्या आवश्यकता पूर्ण केल्या आणि आम्हाला स्थानिक क्लस्टर्ससह कार्य करण्यासाठी संघांना प्रशिक्षण देण्याची परवानगी दिली.

परिणामी, आम्ही काम सुरू केल्यानंतर फक्त 6 महिन्यांनंतर Google क्लाउड इन्फ्रास्ट्रक्चरवर उत्पादन रहदारी प्राप्त करण्यास सक्षम झालो.

तथापि, अनेक फायदे असूनही, क्लाउड प्रदात्याबरोबर काम करणे विशिष्ट खर्चाशी संबंधित आहे, जे लोडवर अवलंबून वाढू शकते. म्हणूनच आम्ही वापरत असलेल्या प्रत्येक व्यवस्थापित सेवेचे आम्ही काळजीपूर्वक विश्लेषण केले, भविष्यात त्या ऑन-प्रिमाइसेस लागू करण्याच्या आशेने. खरं तर, स्थानिक क्लस्टर्सची अंमलबजावणी 2016 च्या शेवटी सुरू झाली आणि त्याच वेळी हायब्रीड रणनीती सुरू करण्यात आली.

स्थानिक कंटेनर ऑर्केस्ट्रेशन प्लॅटफॉर्म डेलीमोशन लाँच

शरद ऋतूतील 2016

अशा परिस्थितीत जेव्हा संपूर्ण स्टॅक उत्पादनासाठी तयार होते आणि API वर कार्य करते चालू ठेवले, प्रादेशिक क्लस्टरवर लक्ष केंद्रित करण्याची वेळ आली आहे.

त्या वेळी, वापरकर्ते दर महिन्याला 3 अब्ज पेक्षा जास्त व्हिडिओ पाहत होते. अर्थात, आमच्याकडे अनेक वर्षांपासून आमचे स्वतःचे विस्तृत सामग्री वितरण नेटवर्क आहे. आम्हाला या परिस्थितीचा फायदा घ्यायचा होता आणि विद्यमान डेटा केंद्रांमध्ये Kubernetes क्लस्टर्स तैनात करायचे होते.

डेलीमोशनच्या पायाभूत सुविधांमध्ये सहा डेटा सेंटर्समध्ये 2,5 हजाराहून अधिक सर्व्हर आहेत. ते सर्व सॉल्टस्टॅक वापरून कॉन्फिगर केले आहेत. आम्ही मास्टर आणि वर्कर नोड्स तसेच etcd क्लस्टर तयार करण्यासाठी सर्व आवश्यक पाककृती तयार करण्यास सुरुवात केली.

नेटवर्क भाग

आमचे नेटवर्क पूर्णपणे मार्गस्थ झाले आहे. प्रत्येक सर्व्हर Exabgp वापरून नेटवर्कवर त्याच्या आयपीची जाहिरात करतो. आम्ही अनेक नेटवर्क प्लगइन्सची तुलना केली आणि सर्व गरजा पूर्ण करणारा एकमेव प्लगइन होता (वापरलेल्या L3 दृष्टिकोनामुळे) केलिको. हे विद्यमान नेटवर्क इन्फ्रास्ट्रक्चर मॉडेलमध्ये उत्तम प्रकारे बसते.

आम्‍हाला सर्व उपलब्‍ध पायाभूत सुविधा वापरायच्या असल्‍याने, आम्‍हाला पहिली गोष्ट करण्‍याची होती ती म्हणजे आमची घरगुती नेटवर्क युटिलिटी (सर्व सर्व्हरवर वापरली जाते) शोधून काढणे: Kubernetes नोड्ससह नेटवर्कवर IP पत्ता श्रेणींची जाहिरात करण्‍यासाठी याचा वापर करा. आम्ही कॅलिकोला पॉड्सना IP पत्ते नियुक्त करण्याची परवानगी दिली, परंतु नेटवर्क उपकरणांवरील BGP सत्रांसाठी त्याचा वापर केला नाही आणि तरीही करत नाही. खरं तर, राउटिंग Exabgp द्वारे हाताळले जाते, जे कॅलिकोद्वारे वापरलेल्या सबनेटची जाहिरात करते. हे आम्हाला अंतर्गत नेटवर्क (आणि विशेषतः लोड बॅलन्सर्सवरून) कोणत्याही पॉडपर्यंत पोहोचण्यास अनुमती देते.

आम्ही प्रवेश ट्रॅफिक कसे व्यवस्थापित करतो

येणार्‍या विनंत्यांना इच्छित सेवेकडे पुनर्निर्देशित करण्यासाठी, कुबर्नेट्स इनग्रेस संसाधनांसह एकीकरण केल्यामुळे इंग्रेस कंट्रोलर वापरण्याचा निर्णय घेण्यात आला.

तीन वर्षांपूर्वी, nginx-ingress-controller हा सर्वात परिपक्व नियंत्रक होता: Nginx बर्याच काळापासून होता आणि त्याच्या स्थिरता आणि कार्यक्षमतेसाठी ओळखला जात असे.

आमच्या सिस्टममध्ये, आम्ही समर्पित 10-गीगाबिट ब्लेड सर्व्हरवर नियंत्रक ठेवण्याचा निर्णय घेतला. प्रत्येक कंट्रोलर संबंधित क्लस्टरच्या kube-apiserver एंडपॉइंटशी जोडलेला होता. हे सर्व्हर सार्वजनिक किंवा खाजगी IP पत्त्यांची जाहिरात करण्यासाठी Exabgp देखील वापरतात. आमचे नेटवर्क टोपोलॉजी आम्हाला NodePort सारखी सेवा न वापरता सर्व ट्रॅफिक थेट पॉडवर रूट करण्यासाठी या नियंत्रकांकडील BGP वापरण्याची परवानगी देते. हा दृष्टिकोन नोड्समधील क्षैतिज रहदारी टाळण्यास मदत करतो आणि कार्यक्षमता सुधारतो.

इंटरनेट पासून पॉड पर्यंत वाहतूक हालचाल

आता आम्हाला आमचे हायब्रिड प्लॅटफॉर्म समजले आहे, आम्ही ट्रॅफिक स्थलांतर प्रक्रियेतच खोलवर जाऊ शकतो.

Google क्लाउड वरून डेलीमोशन इन्फ्रास्ट्रक्चरवर रहदारीचे स्थलांतर

शरद ऋतूतील 2018

सुमारे दोन वर्षांच्या बिल्डिंग, टेस्टिंग आणि ट्यूनिंगनंतर, शेवटी आमच्याकडे काही ट्रॅफिक स्वीकारण्यासाठी पूर्ण कुबर्नेट्स स्टॅक तयार आहे.

सध्याची राउटिंग रणनीती अगदी सोपी आहे, परंतु गरजा पूर्ण करण्यासाठी पुरेशी आहे. सार्वजनिक IP व्यतिरिक्त (Google Cloud आणि Dailymotion वर), AWS रूट 53 धोरणे सेट करण्यासाठी आणि वापरकर्त्यांना आमच्या पसंतीच्या क्लस्टरवर पुनर्निर्देशित करण्यासाठी वापरला जातो.

मार्ग ५३ वापरून राउटिंग धोरणाचे उदाहरण

Google Cloud सह हे सोपे आहे कारण आम्ही सर्व क्लस्टरवर एकच IP शेअर करतो आणि वापरकर्त्याला जवळच्या GKE क्लस्टरकडे रीडायरेक्ट केले जाते. आमच्या क्लस्टरसाठी तंत्रज्ञान वेगळे आहे, कारण त्यांचे IP वेगळे आहेत.

स्थलांतरादरम्यान, आम्ही योग्य क्लस्टर्सकडे प्रादेशिक विनंत्या पुनर्निर्देशित करण्याचा प्रयत्न केला आणि या दृष्टिकोनाच्या फायद्यांचे मूल्यमापन केले.

आमचे GKE क्लस्टर कस्टम मेट्रिक्स वापरून ऑटोस्केल करण्यासाठी कॉन्फिगर केलेले असल्यामुळे, ते येणार्‍या ट्रॅफिकच्या आधारे वर/खाली करतात.

सामान्य मोडमध्ये, सर्व प्रादेशिक रहदारी स्थानिक क्लस्टरकडे निर्देशित केली जाते आणि समस्यांच्या बाबतीत GKE राखीव म्हणून काम करते (आरोग्य तपासणी मार्ग 53 द्वारे केली जाते).

...

भविष्यात, आम्ही स्वायत्त संकरित धोरण साध्य करण्यासाठी राउटिंग धोरणे पूर्णपणे स्वयंचलित करू इच्छितो जी वापरकर्त्यांसाठी प्रवेशयोग्यता सतत सुधारते. अधिक बाजूने, क्लाउडची किंमत लक्षणीयरीत्या कमी केली गेली आहे आणि API प्रतिसाद वेळ देखील कमी केला गेला आहे. आम्ही परिणामी क्लाउड प्लॅटफॉर्मवर विश्वास ठेवतो आणि आवश्यक असल्यास त्याकडे अधिक रहदारी पुनर्निर्देशित करण्यास तयार आहोत.

अनुवादकाकडून पुनश्च

कुबर्नेट्स बद्दलच्या दुसर्‍या अलीकडील डेलीमोशन पोस्टमध्ये देखील तुम्हाला स्वारस्य असेल. हे अनेक कुबर्नेट्स क्लस्टर्सवर हेल्मसह अनुप्रयोगांच्या तैनातीसाठी समर्पित आहे आणि प्रकाशित झाले होते सुमारे एक महिन्यापूर्वी.

आमच्या ब्लॉगवर देखील वाचा:

• «टिंडरचे कुबर्नेट्समध्ये संक्रमण».
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 10: पंचकर्म";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 9: CERN आणि 210 K8s क्लस्टर्स";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 8: उलाढाल";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 7: काळा दगड";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 6: BlaBlaCar";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 5: डिजिटल बँक मोंझो";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 4: साउंडक्लाउड (प्रोमेथियस द्वारे)";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 3: GitHub";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 2: सहमत आणि SAP";
• «कुबर्नेट्सच्या उत्पादनातील यशोगाथा. भाग 1: eBay कडून 4200 चूल आणि TessMaster».

स्त्रोत: www.habr.com