Kubernetes साहसिक डेलीमोशन: क्लाउडहरू + अन-प्रिमाइसेसमा पूर्वाधार सिर्जना गर्दै

नोट। अनुवाद।: डेलीमोशन संसारको सबैभन्दा ठूलो भिडियो होस्टिङ सेवाहरू मध्ये एक हो र यसैले एक उल्लेखनीय Kubernetes प्रयोगकर्ता हो। यस सामग्रीमा, प्रणाली आर्किटेक्ट डेभिड डोन्चेजले K8s मा आधारित कम्पनीको उत्पादन प्लेटफर्म सिर्जना गर्ने नतिजाहरू साझा गर्छन्, जुन GKE मा क्लाउड स्थापनाबाट सुरु भयो र हाइब्रिड समाधानको रूपमा समाप्त भयो, जसले राम्रो प्रतिक्रिया समय र पूर्वाधार लागतहरूमा बचत गर्न अनुमति दियो।

कोर API पुनर्निर्माण गर्ने निर्णय गर्दै Dailymotion तीन वर्ष पहिले, हामी अनुप्रयोगहरू होस्ट गर्न र यसलाई सजिलो बनाउन अझ प्रभावकारी तरिका विकास गर्न चाहन्थ्यौं विकास र उत्पादन प्रक्रियाहरू। यस उद्देश्यको लागि, हामीले कन्टेनर अर्केस्ट्रेशन प्लेटफर्म प्रयोग गर्ने निर्णय गर्यौं र स्वाभाविक रूपमा Kubernetes रोज्यौं।

Kubernetes मा आधारित तपाइँको आफ्नै प्लेटफर्म किन यो लायक छ?

गुगल क्लाउड प्रयोग गरेर कुनै पनि समयमा उत्पादन-स्तर API

ग्रीष्म 2016

तीन वर्षअघि, डेलीमोशनले तुरुन्तै खरिद गरेको थियो विवेंडीहाम्रो ईन्जिनियरिङ् टोलीहरू एउटा विश्वव्यापी लक्ष्यमा केन्द्रित छन्: पूर्ण रूपमा नयाँ Dailymotion उत्पादन सिर्जना गर्न।

कन्टेनरहरूको हाम्रो विश्लेषण, अर्केस्ट्रेशन समाधानहरू, र हाम्रो विगतको अनुभवको आधारमा, हामी विश्वस्त छौं कि Kubernetes सही छनौट हो। केही विकासकर्ताहरूले पहिले नै आधारभूत अवधारणाहरू बुझेका थिए र यसलाई कसरी प्रयोग गर्ने भनेर थाहा थियो, जुन पूर्वाधार रूपान्तरणको लागि ठूलो फाइदा थियो।

पूर्वाधारको परिप्रेक्ष्यबाट, नयाँ प्रकारका क्लाउड-नेटिभ अनुप्रयोगहरू होस्ट गर्न शक्तिशाली र लचिलो प्रणाली आवश्यक थियो। हामीले हाम्रो यात्राको सुरुमा क्लाउडमा रहन रोज्यौं ताकि हामीले मनको शान्तिका साथ सम्भव भएसम्म सबैभन्दा बलियो अन-प्रिमाइस प्लेटफर्म निर्माण गर्न सकौं। हामीले हाम्रा अनुप्रयोगहरू Google Kubernetes इन्जिन प्रयोग गरेर प्रयोग गर्ने निर्णय गर्यौं, यद्यपि हामीलाई थाहा थियो कि ढिलो वा ढिलो हामी आफ्नै डेटा केन्द्रहरूमा सर्नेछौं र हाइब्रिड रणनीति लागू गर्नेछौं।

तपाईंले GKE किन रोज्नुभयो?

प्राविधिक कारणले गर्दा हामीले यो छनोट गरेका हौं। साथै, कम्पनीको व्यावसायिक आवश्यकताहरू पूरा गर्ने पूर्वाधार छिटो उपलब्ध गराउन आवश्यक थियो। हामीसँग भौगोलिक वितरण, स्केलेबिलिटी र त्रुटि सहिष्णुता जस्ता अनुप्रयोगहरू होस्टिंगका लागि केही आवश्यकताहरू थिए।

Dailymotion मा GKE क्लस्टरहरू

डेलीमोशन विश्वव्यापी रूपमा उपलब्ध भिडियो प्लेटफर्म भएको हुनाले, हामी वास्तवमै प्रतीक्षा समय घटाएर सेवाको गुणस्तर सुधार गर्न चाहन्छौं। (विलम्बता)... पहिले हाम्रो API पेरिसमा मात्र उपलब्ध थियो, जुन सबोप्टिमल थियो। म युरोपमा मात्र नभई एशिया र संयुक्त राज्य अमेरिकामा पनि अनुप्रयोगहरू होस्ट गर्न सक्षम हुन चाहन्छु।

विलम्बताको लागि यो संवेदनशीलताको अर्थ प्लेटफर्मको सञ्जाल संरचनामा गम्भीर काम गर्नु पर्ने थियो। धेरै जसो क्लाउड सेवाहरूले तपाइँलाई प्रत्येक क्षेत्रमा तपाइँको आफ्नै नेटवर्क बनाउन र त्यसपछि VPN वा कुनै प्रकारको व्यवस्थित सेवा मार्फत जडान गर्न बाध्य पार्दा, Google क्लाउडले तपाइँलाई सबै गुगल क्षेत्रहरू कभर गर्ने पूर्ण रूपमा राउटेबल एकल नेटवर्क सिर्जना गर्न अनुमति दियो। यो सञ्चालन र प्रणाली को दक्षता को मामला मा एक ठूलो प्लस छ।

थप रूपमा, गुगल क्लाउडबाट नेटवर्क सेवाहरू र लोड ब्यालेन्सरहरूले उत्कृष्ट काम गर्छन्। तिनीहरूले तपाइँलाई प्रत्येक क्षेत्रबाट मनमानी सार्वजनिक आईपी ठेगानाहरू प्रयोग गर्न अनुमति दिन्छ, र अद्भुत BGP प्रोटोकलले बाँकीको ख्याल राख्छ (अर्थात प्रयोगकर्ताहरूलाई नजिकको क्लस्टरमा रिडिरेक्ट गर्दै)। निस्सन्देह, विफलताको अवस्थामा, यातायात स्वचालित रूपमा कुनै मानव हस्तक्षेप बिना अर्को क्षेत्रमा जान्छ।

गुगल लोड सन्तुलन अनुगमन

हाम्रो प्लेटफर्मले GPU को भारी प्रयोग पनि गर्छ। गुगल क्लाउडले तपाईंलाई कुबेरनेट क्लस्टरहरूमा सीधै प्रभावकारी रूपमा प्रयोग गर्न अनुमति दिन्छ।

त्यस समयमा, पूर्वाधार टोली मुख्यतया भौतिक सर्भरहरूमा तैनाथ गरिएको लिगेसी स्ट्याकमा केन्द्रित थियो। यसैले व्यवस्थित सेवा प्रयोग गरेर (कुबर्नेट्स मास्टरहरू सहित) हाम्रा आवश्यकताहरू पूरा गर्‍यो र हामीलाई स्थानीय क्लस्टरहरूसँग काम गर्न टोलीहरूलाई तालिम दिन अनुमति दियो।

फलस्वरूप, हामीले काम सुरु भएको ६ महिनापछि मात्रै गुगल क्लाउड पूर्वाधारमा उत्पादन ट्राफिक प्राप्त गर्न थाल्यौं।

यद्यपि, धेरै फाइदाहरूको बावजुद, क्लाउड प्रदायकसँग काम गर्दा निश्चित लागतहरूसँग सम्बन्धित छ, जुन लोडको आधारमा बढ्न सक्छ। यसैले हामीले प्रयोग गरेका प्रत्येक व्यवस्थित सेवालाई ध्यानपूर्वक विश्लेषण गर्यौं, भविष्यमा तिनीहरूलाई परिसरमा लागू गर्ने आशामा। वास्तवमा, स्थानीय क्लस्टरहरूको कार्यान्वयन 2016 को अन्त्यमा सुरु भएको थियो र हाइब्रिड रणनीति एकै समयमा सुरु भएको थियो।

स्थानीय कन्टेनर अर्केस्ट्रेशन प्लेटफर्म Dailymotion को सुरुवात

शरद 2016

सर्तहरूमा जब सम्पूर्ण स्ट्याक उत्पादनको लागि तयार थियो, र API मा काम गर्नुहोस् जारी राख्यो, यो क्षेत्रीय क्लस्टरहरूमा ध्यान केन्द्रित गर्ने समय थियो।

त्यतिबेला प्रयोगकर्ताहरूले हरेक महिना ३ अर्बभन्दा बढी भिडियो हेरिरहेका थिए। अवश्य पनि, हामीसँग धेरै वर्षदेखि हाम्रो आफ्नै व्यापक सामग्री डेलिभरी नेटवर्क छ। हामी यस परिस्थितिको फाइदा उठाउन र अवस्थित डाटा केन्द्रहरूमा Kubernetes क्लस्टरहरू प्रयोग गर्न चाहन्थ्यौं।

डेलीमोसनको पूर्वाधारमा छवटा डाटा केन्द्रहरूमा २.५ हजार भन्दा बढी सर्भरहरू थिए। ती सबै Saltstack प्रयोग गरेर कन्फिगर गरिएको छ। हामीले मास्टर र कार्यकर्ता नोडहरू, साथै एक etcd क्लस्टर बनाउनका लागि सबै आवश्यक रेसिपीहरू तयार गर्न थाल्यौं।

नेटवर्क भाग

हाम्रो नेटवर्क पूरै रुट भएको छ। प्रत्येक सर्भरले Exabgp प्रयोग गरेर नेटवर्कमा आफ्नो IP विज्ञापन गर्छ। हामीले धेरै सञ्जाल प्लगइनहरू तुलना गर्यौं र सबै आवश्यकताहरू पूरा गर्ने एउटा मात्र (L3 दृष्टिकोण प्रयोग गरिएको कारण) थियो। Calico। यो अवस्थित नेटवर्क पूर्वाधार मोडेलमा पूर्ण रूपमा फिट हुन्छ।

हामी सबै उपलब्ध पूर्वाधार तत्वहरू प्रयोग गर्न चाहन्थ्यौं, हामीले गर्नु पर्ने पहिलो कुरा भनेको हाम्रो गृह-उत्पन्न नेटवर्क उपयोगिता (सबै सर्भरहरूमा प्रयोग गरिएको) पत्ता लगाउनु थियो: Kubernetes नोडहरूको साथ नेटवर्कमा IP ठेगाना दायराहरू विज्ञापन गर्न यसलाई प्रयोग गर्नुहोस्। हामीले क्यालिकोलाई पोडहरूमा IP ठेगानाहरू तोक्न अनुमति दियौं, तर नेटवर्क उपकरणहरूमा BGP सत्रहरूको लागि प्रयोग गरेनौं र अझै पनि गर्दैनौं। वास्तवमा, राउटिंग Exabgp द्वारा ह्यान्डल गरिएको छ, जसले Calico द्वारा प्रयोग गरिएका सबनेटहरूको विज्ञापन गर्दछ। यसले हामीलाई आन्तरिक नेटवर्कबाट कुनै पनि पोडमा पुग्न अनुमति दिन्छ (र विशेष गरी लोड ब्यालेन्सरहरूबाट)।

हामी कसरी प्रवेश ट्राफिक व्यवस्थापन गर्छौं

वांछित सेवामा आगमन अनुरोधहरू पुन: निर्देशित गर्न, कुबर्नेट्स इनग्रेस स्रोतहरूसँग यसको एकीकरणको कारण इन्ग्रेस कन्ट्रोलर प्रयोग गर्ने निर्णय गरियो।

तीन वर्ष पहिले, nginx-ingress-controller सबैभन्दा परिपक्व नियन्त्रक थियो: Nginx लामो समयको लागि वरिपरि रहेको थियो र यसको स्थिरता र प्रदर्शनको लागि परिचित थियो।

हाम्रो प्रणालीमा, हामीले नियन्त्रकहरूलाई समर्पित १०-गिगाबिट ब्लेड सर्भरहरूमा राख्ने निर्णय गर्यौं। प्रत्येक नियन्त्रक सम्बन्धित क्लस्टरको kube-apiserver अन्त्य बिन्दुमा जोडिएको थियो। यी सर्भरहरूले पनि सार्वजनिक वा निजी IP ठेगानाहरू विज्ञापन गर्न Exabgp प्रयोग गरे। हाम्रो नेटवर्क टोपोलोजीले हामीलाई यी नियन्त्रकहरूबाट BGP प्रयोग गर्न अनुमति दिन्छ सबै ट्राफिकहरू सिधै पोडहरूमा NodePort जस्ता सेवा प्रयोग नगरी रुट गर्न। यो दृष्टिकोणले नोडहरू बीच तेर्सो ट्राफिकबाट बच्न र दक्षता सुधार गर्न मद्दत गर्दछ।

इन्टरनेटबाट पोडहरूमा ट्राफिक आन्दोलन

अब हामीले हाम्रो हाइब्रिड प्लेटफर्म बुझेका छौं, हामी ट्राफिक माइग्रेसन प्रक्रियामा नै गहिरिएर जान सक्छौं।

गुगल क्लाउडबाट डेलीमोशन पूर्वाधारमा ट्राफिकको स्थानान्तरण

शरद 2018

लगभग दुई वर्षको निर्माण, परीक्षण र ट्युनिङ पछि, हामीसँग अन्ततः केही ट्राफिक स्वीकार गर्नको लागि पूर्ण Kubernetes स्ट्याक तयार छ।

हालको रूटिङ रणनीति एकदम सरल छ, तर आवश्यकताहरू पूरा गर्न पर्याप्त छ। सार्वजनिक IPs (Google Cloud र Dailymotion मा) को अतिरिक्त, AWS Route 53 नीतिहरू सेट गर्न र प्रयोगकर्ताहरूलाई हाम्रो रोजाइको क्लस्टरमा रिडिरेक्ट गर्न प्रयोग गरिन्छ।

रुट ५३ को प्रयोग गरी रुटिङ नीतिको उदाहरण

Google क्लाउडको साथ यो सजिलो छ किनकि हामीले सबै क्लस्टरहरूमा एकल IP साझेदारी गर्छौं र प्रयोगकर्तालाई नजिकको GKE क्लस्टरमा रिडिरेक्ट गरिन्छ। हाम्रा क्लस्टरहरूको लागि प्रविधि फरक छ, किनभने तिनीहरूको आईपीहरू फरक छन्।

माइग्रेसनको क्रममा, हामीले उपयुक्त क्लस्टरहरूमा क्षेत्रीय अनुरोधहरू रिडिरेक्ट गर्न खोज्यौं र यस दृष्टिकोणका फाइदाहरूको मूल्याङ्कन गर्‍यौं।

हाम्रा GKE क्लस्टरहरू आफू अनुकूल मेट्रिक्स प्रयोग गरेर अटोस्केलमा कन्फिगर गरिएको हुनाले, तिनीहरू आगमन ट्राफिकको आधारमा माथि/डाउन मापन गर्छन्।

सामान्य मोडमा, सबै क्षेत्रीय ट्राफिकहरू स्थानीय क्लस्टरमा निर्देशित हुन्छन्, र GKE ले समस्याको अवस्थामा रिजर्भको रूपमा कार्य गर्दछ (स्वास्थ्य जाँचहरू रुट 53 द्वारा गरिन्छ)।

...

भविष्यमा, हामी एक स्वायत्त हाइब्रिड रणनीति प्राप्त गर्नका लागि राउटिंग नीतिहरूलाई पूर्ण रूपमा स्वचालित गर्न चाहन्छौं जसले प्रयोगकर्ताहरूको पहुँचमा निरन्तर सुधार गर्छ। प्लस साइडमा, क्लाउड लागतहरू उल्लेखनीय रूपमा घटाइएको छ र API प्रतिक्रिया समय पनि कम गरिएको छ। हामी परिणामस्वरूप क्लाउड प्लेटफर्ममा विश्वास गर्छौं र आवश्यक भएमा यसमा थप ट्राफिक रिडिरेक्ट गर्न तयार छौं।

अनुवादकबाट PS

तपाइँ Kubernetes को बारे मा अर्को भर्खरको Dailymotion पोस्ट मा पनि रुचि हुन सक्छ। यो धेरै Kubernetes क्लस्टरहरूमा हेल्मसँग अनुप्रयोगहरूको तैनातीमा समर्पित छ र प्रकाशित भएको थियो लगभग एक महिना अघि।

हाम्रो ब्लगमा पनि पढ्नुहोस्:

• «कुबेरनेटमा टिन्डर संक्रमण"।
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 10: Reddit»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 9: CERN र 210 K8s क्लस्टरहरू»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 8: Huawei»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 7: BlackRock»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 6: BlaBlaCar»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 5: डिजिटल बैंक Monzo»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 4: साउन्डक्लाउड (प्रोमेथियस द्वारा)»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 3: GitHub»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 2: सहमति र SAP»;
• «Kubernetes उत्पादन मा सफलता कथाहरू। भाग 1: eBay बाट 4200 चूल्हा र TessMaster"।

स्रोत: www.habr.com