कुबेरनेट्स और ऑटोमेशन की बदौलत दो घंटे में क्लाउड पर कैसे माइग्रेट करें

यूआरयूएस कंपनी ने कुबेरनेट्स को विभिन्न रूपों में आज़माया: नंगे धातु पर स्वतंत्र तैनाती, Google क्लाउड में, और फिर अपने प्लेटफ़ॉर्म को Mail.ru क्लाउड सॉल्यूशंस (MCS) क्लाउड में स्थानांतरित कर दिया। इगोर शिश्किन बताते हैं कि कैसे उन्होंने एक नया क्लाउड प्रदाता चुना और कैसे वे रिकॉर्ड दो घंटों में उस पर स्थानांतरित होने में कामयाब रहे (t3ran), URUS में वरिष्ठ सिस्टम प्रशासक।

यूआरयूएस क्या करता है?

शहरी पर्यावरण की गुणवत्ता में सुधार करने के कई तरीके हैं और उनमें से एक इसे पर्यावरण के अनुकूल बनाना है। यूआरयूएस - स्मार्ट डिजिटल सर्विसेज कंपनी बिल्कुल इसी पर काम कर रही है। यहां वे ऐसे समाधान लागू करते हैं जो उद्यमों को महत्वपूर्ण पर्यावरणीय संकेतकों की निगरानी करने और पर्यावरण पर उनके नकारात्मक प्रभाव को कम करने में मदद करते हैं। सेंसर वायु संरचना, शोर स्तर और अन्य मापदंडों पर डेटा एकत्र करते हैं, और फिर उन्हें विश्लेषण और सिफारिशें करने के लिए एकीकृत यूआरयूएस-एकोमोन प्लेटफॉर्म पर भेजते हैं।

यूआरयूएस अंदर से कैसे काम करता है

यूआरयूएस का एक विशिष्ट ग्राहक आवासीय क्षेत्र में या उसके निकट स्थित कंपनी है। यह कोई फ़ैक्टरी, बंदरगाह, रेलवे डिपो या कोई अन्य सुविधा हो सकती है। यदि हमारे ग्राहक को पहले ही चेतावनी मिल चुकी है, पर्यावरण प्रदूषण के लिए उस पर जुर्माना लगाया गया है, या वह कम शोर करना चाहता है, हानिकारक उत्सर्जन की मात्रा कम करना चाहता है, तो वह हमारे पास आता है, और हम उसे पहले से ही पर्यावरण निगरानी के लिए तैयार समाधान प्रदान करते हैं।

H2S सांद्रता निगरानी ग्राफ़ पास के संयंत्र से नियमित रात्रि उत्सर्जन को दर्शाता है

यूआरयूएस में हम जिन उपकरणों का उपयोग करते हैं उनमें कई सेंसर होते हैं जो पर्यावरणीय स्थिति का आकलन करने के लिए कुछ गैसों की सामग्री, शोर के स्तर और अन्य डेटा के बारे में जानकारी एकत्र करते हैं। सेंसर की सटीक संख्या हमेशा विशिष्ट कार्य द्वारा निर्धारित की जाती है।

माप की बारीकियों के आधार पर, सेंसर वाले उपकरण इमारतों, खंभों और अन्य मनमाने स्थानों की दीवारों पर स्थित हो सकते हैं। ऐसा प्रत्येक उपकरण जानकारी एकत्र करता है, उसे एकत्रित करता है और डेटा प्राप्त करने वाले गेटवे को भेजता है। वहां हम डेटा को दीर्घकालिक भंडारण के लिए सहेजते हैं और बाद के विश्लेषण के लिए इसे प्री-प्रोसेस करते हैं। विश्लेषण के परिणामस्वरूप हमें जो मिलता है उसका सबसे सरल उदाहरण वायु गुणवत्ता सूचकांक है, जिसे AQI भी कहा जाता है।

समानांतर में, कई अन्य सेवाएँ हमारे प्लेटफ़ॉर्म पर संचालित होती हैं, लेकिन वे मुख्य रूप से सेवा प्रकृति की होती हैं। उदाहरण के लिए, अधिसूचना सेवा ग्राहकों को सूचनाएं भेजती है यदि मॉनिटर किया गया कोई भी पैरामीटर (उदाहरण के लिए, CO2 सामग्री) अनुमेय मूल्य से अधिक है।

हम डेटा कैसे स्टोर करते हैं. नंगे धातु पर कुबेरनेट्स की कहानी

यूआरयूएस पर्यावरण निगरानी परियोजना में कई डेटा वेयरहाउस हैं। एक में हम "कच्चा" डेटा रखते हैं - जो हमें सीधे उपकरणों से प्राप्त होता है। यह भंडारण पुराने कैसेट टेप की तरह एक "चुंबकीय" टेप है, जिसमें सभी संकेतकों का इतिहास होता है। दूसरे प्रकार के भंडारण का उपयोग पूर्व-संसाधित डेटा के लिए किया जाता है - उपकरणों से डेटा, सेंसर के बीच कनेक्शन और स्वयं उपकरणों की रीडिंग, संगठनों, स्थानों आदि के साथ संबद्धता के बारे में मेटाडेटा से समृद्ध। यह जानकारी आपको गतिशील रूप से आकलन करने की अनुमति देती है कि किसी विशेष संकेतक ने कैसा प्रदर्शन किया है एक निश्चित समयावधि में बदल गया। अन्य चीजों के अलावा, हम "कच्चे" डेटा भंडारण का उपयोग बैकअप के रूप में और आवश्यकता पड़ने पर पूर्व-संसाधित डेटा को पुनर्स्थापित करने के लिए करते हैं।

जब हम कई साल पहले अपनी भंडारण समस्या को हल करना चाह रहे थे, तो हमारे पास दो प्लेटफ़ॉर्म विकल्प थे: कुबेरनेट्स और ओपनस्टैक। लेकिन चूंकि उत्तरार्द्ध काफी राक्षसी दिखता है (इसके बारे में आश्वस्त होने के लिए बस इसकी वास्तुकला को देखें), हम कुबेरनेट्स पर बस गए। इसके पक्ष में एक और तर्क अपेक्षाकृत सरल सॉफ्टवेयर नियंत्रण, संसाधनों के अनुसार हार्डवेयर नोड्स को भी अधिक लचीले ढंग से काटने की क्षमता थी।

कुबेरनेट्स में महारत हासिल करने के समानांतर, हमने डेटा संग्रहीत करने के तरीकों का भी अध्ययन किया, जबकि हमने कुबेरनेट्स में अपने सभी भंडारण को अपने हार्डवेयर पर रखा, हमें उत्कृष्ट विशेषज्ञता प्राप्त हुई। तब हमारे पास जो कुछ भी था वह कुबेरनेट्स पर था: स्टेटफुल स्टोरेज, मॉनिटरिंग सिस्टम, सीआई/सीडी। कुबेरनेट्स हमारे लिए एक ऑल-इन-वन प्लेटफ़ॉर्म बन गया है।

लेकिन हम कुबेरनेट्स के साथ एक सेवा के रूप में काम करना चाहते थे, न कि इसके समर्थन और विकास में संलग्न होना चाहते थे। साथ ही, हमें यह पसंद नहीं आया कि इसे नंगे धातु पर बनाए रखने में हमें कितना खर्च करना पड़ा, और हमें लगातार विकास की आवश्यकता थी! उदाहरण के लिए, पहले कार्यों में से एक कुबेरनेट्स इनग्रेस नियंत्रकों को हमारे संगठन के नेटवर्क बुनियादी ढांचे में एकीकृत करना था। यह एक बोझिल काम है, खासकर यह देखते हुए कि उस समय डीएनएस रिकॉर्ड या आईपी पते के आवंटन जैसे प्रोग्रामेटिक संसाधन प्रबंधन के लिए कुछ भी तैयार नहीं था। बाद में हमने बाह्य डेटा भंडारण के साथ प्रयोग करना शुरू किया। हम कभी भी पीवीसी नियंत्रक को लागू करने में सफल नहीं हुए, लेकिन फिर भी यह स्पष्ट हो गया कि यह कार्य का एक बड़ा क्षेत्र था जिसके लिए समर्पित विशेषज्ञों की आवश्यकता थी।

Google क्लाउड प्लेटफ़ॉर्म पर स्विच करना एक अस्थायी समाधान है

हमें एहसास हुआ कि यह जारी नहीं रह सकता, और हमने अपना डेटा बेयर मेटल से Google क्लाउड प्लेटफ़ॉर्म पर स्थानांतरित कर दिया। वास्तव में, उस समय रूसी कंपनी के लिए बहुत सारे दिलचस्प विकल्प नहीं थे: Google क्लाउड प्लेटफ़ॉर्म के अलावा, केवल अमेज़ॅन ने एक समान सेवा की पेशकश की थी, लेकिन हमने अभी भी Google के समाधान पर समझौता किया। तब यह हमें आर्थिक रूप से अधिक लाभदायक लगा, अपस्ट्रीम के करीब, इस तथ्य का उल्लेख नहीं करने के लिए कि Google स्वयं उत्पादन में एक प्रकार का PoC Kubernetes है।

जैसे ही हमारा ग्राहक आधार बढ़ा, पहली बड़ी समस्या सामने आई। जब हमें व्यक्तिगत डेटा संग्रहीत करने की आवश्यकता पड़ी, तो हमारे सामने एक विकल्प था: या तो हम Google के साथ काम करें और रूसी कानूनों का उल्लंघन करें, या हम रूसी संघ में एक विकल्प की तलाश कर रहे हैं। कुल मिलाकर चुनाव पूर्वानुमानित था। 🙂

हमने आदर्श क्लाउड सेवा कैसे देखी

खोज की शुरुआत तक, हम पहले से ही जानते थे कि हम भविष्य के क्लाउड प्रदाता से क्या प्राप्त करना चाहते हैं। हम किस सेवा की तलाश में थे:

• तेज़ और लचीला. ऐसा कि हम किसी भी समय जल्दी से एक नया नोड जोड़ सकते हैं या कुछ तैनात कर सकते हैं।
• सस्ता. हम वित्तीय मुद्दे को लेकर बहुत चिंतित थे, क्योंकि हमारे पास संसाधन सीमित थे। हम पहले से ही जानते थे कि हम कुबेरनेट्स के साथ काम करना चाहते थे, और अब कार्य इस समाधान के उपयोग की दक्षता को बढ़ाने या कम से कम बनाए रखने के लिए इसकी लागत को कम करना था।
• स्वचालित. हमने एपीआई के माध्यम से सेवा के साथ काम करने की योजना बनाई है, प्रबंधकों और फोन कॉल या स्थितियों के बिना जहां हमें आपातकालीन मोड में कई दर्जन नोड्स को मैन्युअल रूप से बढ़ाने की आवश्यकता होती है। चूँकि हमारी अधिकांश प्रक्रियाएँ स्वचालित हैं, हमें क्लाउड सेवा से भी यही उम्मीद थी।
• रूसी संघ में सर्वर के साथ. बेशक, हमने रूसी कानून और उसी 152-एफजेड का अनुपालन करने की योजना बनाई है।

उस समय, रूस में कुछ Kubernetes aaS प्रदाता थे, और प्रदाता चुनते समय, हमारे लिए यह महत्वपूर्ण था कि हम अपनी प्राथमिकताओं से समझौता न करें। Mail.ru क्लाउड सॉल्यूशंस टीम, जिसके साथ हमने काम करना शुरू किया और अभी भी सहयोग कर रहे हैं, ने हमें एपीआई समर्थन और एक सुविधाजनक नियंत्रण कक्ष के साथ एक पूरी तरह से स्वचालित सेवा प्रदान की, जिसमें होराइजन शामिल है - इसके साथ हम जल्दी से मनमाने ढंग से संख्या में नोड्स बढ़ा सकते हैं।

हम दो घंटे में एमसीएस में स्थानांतरित होने में कैसे कामयाब रहे

ऐसे कदमों में, कई कंपनियों को कठिनाइयों और असफलताओं का सामना करना पड़ता है, लेकिन हमारे मामले में ऐसा कुछ नहीं था। हम भाग्यशाली थे: चूंकि हम माइग्रेशन शुरू होने से पहले ही कुबेरनेट्स पर काम कर रहे थे, हमने बस तीन फाइलों को ठीक किया और नए क्लाउड प्लेटफॉर्म, एमसीएस पर अपनी सेवाएं लॉन्च कीं। मैं आपको याद दिला दूं कि उस समय तक हम अंततः बेकार धातु छोड़कर Google क्लाउड प्लेटफ़ॉर्म पर रह चुके थे। इसलिए, इस कदम में दो घंटे से अधिक समय नहीं लगा, साथ ही हमारे उपकरणों से डेटा कॉपी करने में थोड़ा अधिक समय (लगभग एक घंटा) खर्च हुआ। उस समय हम पहले से ही स्पिनंकर (सतत डिलीवरी प्रदान करने वाली एक मल्टी-क्लाउड सीडी सेवा) का उपयोग कर रहे थे। हमने भी तुरंत इसे नए क्लस्टर में जोड़ दिया और हमेशा की तरह काम करना जारी रखा।

विकास प्रक्रियाओं और सीआई/सीडी के स्वचालन के लिए धन्यवाद, यूआरयूएस में कुबेरनेट्स को एक विशेषज्ञ द्वारा नियंत्रित किया जाता है (और वह मैं हूं)। कुछ स्तर पर, एक अन्य सिस्टम प्रशासक ने मेरे साथ काम किया, लेकिन फिर यह पता चला कि हमने पहले से ही सभी मुख्य दिनचर्या को स्वचालित कर दिया था और हमारे मुख्य उत्पाद के हिस्से पर अधिक से अधिक कार्य थे और संसाधनों को इस ओर निर्देशित करना समझ में आया।

जब से हमने बिना किसी भ्रम के सहयोग शुरू किया, हमें क्लाउड प्रदाता से वही मिला जिसकी हमें अपेक्षा थी। यदि कोई घटनाएँ थीं, तो वे अधिकतर तकनीकी थीं और जिन्हें सेवा की सापेक्ष ताजगी से आसानी से समझाया जा सकता था। मुख्य बात यह है कि एमसीएस टीम कमियों को शीघ्रता से दूर करती है और दूतों में प्रश्नों का त्वरित उत्तर देती है।

यदि मैं अपने अनुभव की तुलना Google क्लाउड प्लेटफ़ॉर्म से करता हूँ, तो उनके मामले में मुझे यह भी नहीं पता था कि फीडबैक बटन कहाँ है, क्योंकि इसकी कोई आवश्यकता ही नहीं थी। और यदि कोई समस्या उत्पन्न होती है, तो Google स्वयं एकतरफा सूचनाएं भेजता है। लेकिन एमसीएस के मामले में, मुझे लगता है कि बड़ा फायदा यह है कि वे रूसी ग्राहकों के जितना संभव हो उतना करीब हैं - भौगोलिक और मानसिक रूप से।

हम भविष्य में बादलों के साथ काम करते हुए कैसे देखते हैं

अब हमारा काम कुबेरनेट्स से निकटता से जुड़ा हुआ है, और यह बुनियादी ढांचे के कार्यों के दृष्टिकोण से हमारे लिए पूरी तरह उपयुक्त है। इसलिए, हम इसे कहीं भी स्थानांतरित करने की योजना नहीं बनाते हैं, हालांकि हम नियमित कार्यों को सरल बनाने और नए कार्यों को स्वचालित करने, सेवाओं की स्थिरता और विश्वसनीयता बढ़ाने के लिए लगातार नई प्रथाओं और सेवाओं को पेश कर रहे हैं... अब हम कैओस मंकी सेवा (विशेष रूप से) लॉन्च कर रहे हैं , हम अराजकताक्यूब का उपयोग करते हैं, लेकिन यह अवधारणा को नहीं बदलता है:), जो मूल रूप से नेटफ्लिक्स द्वारा बनाया गया था। कैओस मंकी एक साधारण काम करता है: यह एक यादृच्छिक समय पर एक यादृच्छिक कुबेरनेट्स पॉड को हटा देता है। यह हमारी सेवा के लिए n-1 उदाहरणों की संख्या के साथ सामान्य रूप से रहने के लिए आवश्यक है, इसलिए हम किसी भी समस्या के लिए तैयार रहने के लिए खुद को प्रशिक्षित करते हैं।

अब मैं तृतीय-पक्ष समाधानों - समान क्लाउड प्लेटफ़ॉर्म - का उपयोग युवा कंपनियों के लिए एकमात्र सही चीज़ के रूप में देखता हूँ। आमतौर पर, अपनी यात्रा की शुरुआत में, उनके पास मानव और वित्तीय दोनों तरह के संसाधन सीमित होते हैं, और अपने स्वयं के क्लाउड या डेटा सेंटर का निर्माण और रखरखाव करना बहुत महंगा और श्रम-गहन होता है। क्लाउड प्रदाता आपको इन लागतों को कम करने की अनुमति देते हैं; आप उनसे यहां और अभी सेवाओं के संचालन के लिए आवश्यक संसाधन प्राप्त कर सकते हैं, और तथ्य के बाद इन संसाधनों के लिए भुगतान कर सकते हैं। जहां तक ​​यूआरयूएस कंपनी का सवाल है, हम अभी क्लाउड में कुबेरनेट्स के प्रति वफादार रहेंगे। लेकिन कौन जानता है, हमें भौगोलिक रूप से विस्तार करना पड़ सकता है, या कुछ विशिष्ट उपकरणों के आधार पर समाधान लागू करना पड़ सकता है। या हो सकता है कि उपभोग किए गए संसाधनों की मात्रा अच्छे पुराने दिनों की तरह, नंगे-धातु पर अपने कुबेरनेट्स को उचित ठहराएगी। 🙂

क्लाउड सेवाओं के साथ काम करने से हमने क्या सीखा

हमने कुबेरनेट्स का उपयोग नंगे धातु पर शुरू किया, और वहां भी यह अपने तरीके से अच्छा था। लेकिन इसकी ताकतें क्लाउड में aaS घटक के रूप में सटीक रूप से प्रकट हुईं। यदि आप एक लक्ष्य निर्धारित करते हैं और जितना संभव हो सके सब कुछ स्वचालित करते हैं, तो आप विक्रेता लॉक-इन से बच पाएंगे और क्लाउड प्रदाताओं के बीच जाने में कुछ घंटे लगेंगे, और तंत्रिका कोशिकाएं हमारे साथ रहेंगी। हम अन्य कंपनियों को सलाह दे सकते हैं: यदि आप सीमित संसाधनों और विकास की अधिकतम गति के साथ अपनी खुद की (क्लाउड) सेवा लॉन्च करना चाहते हैं, तो क्लाउड संसाधनों को किराए पर लेकर अभी शुरुआत करें, और फोर्ब्स द्वारा आपके बारे में लिखे जाने के बाद अपना डेटा सेंटर बनाएं।

स्रोत: www.habr.com