कुबर्नेट्स आणि ऑटोमेशनमुळे दोन तासांत क्लाउडवर कसे स्थलांतर करावे

URUS कंपनीने Kubernetes चा वेगवेगळ्या स्वरूपात प्रयत्न केला: Google Cloud मध्ये, बेअर मेटलवर स्वतंत्र तैनाती, आणि नंतर त्याचे प्लॅटफॉर्म Mail.ru Cloud Solutions (MCS) क्लाउडवर हस्तांतरित केले. इगोर शिश्किन सांगतात की त्यांनी नवीन क्लाउड प्रदाता कसा निवडला आणि विक्रमी दोन तासांत ते कसे स्थलांतरित झाले (t3ran), URUS मधील वरिष्ठ प्रणाली प्रशासक.

URUS काय करते?

शहरी वातावरणाची गुणवत्ता सुधारण्याचे अनेक मार्ग आहेत आणि त्यापैकी एक म्हणजे ते पर्यावरणपूरक बनवणे. URUS - Smart Digital Services कंपनी नेमके हेच काम करत आहे. येथे ते उपाय अंमलात आणतात जे उपक्रमांना महत्त्वपूर्ण पर्यावरणीय निर्देशकांचे निरीक्षण करण्यास आणि पर्यावरणावरील त्यांचे नकारात्मक प्रभाव कमी करण्यास मदत करतात. सेन्सर हवेची रचना, आवाज पातळी आणि इतर पॅरामीटर्सवरील डेटा संकलित करतात आणि नंतर विश्लेषण आणि शिफारसी करण्यासाठी युनिफाइड URUS-Ekomon प्लॅटफॉर्मवर पाठवतात.

URUS आतून कसे कार्य करते

URUS चा ठराविक क्लायंट ही निवासी क्षेत्रात किंवा जवळ असलेली कंपनी आहे. हा कारखाना, बंदर, रेल्वे डेपो किंवा इतर कोणतीही सुविधा असू शकते. जर आमच्या क्लायंटला आधीच चेतावणी मिळाली असेल, त्याला पर्यावरणीय प्रदूषणासाठी दंड ठोठावण्यात आला असेल किंवा कमी आवाज काढायचा असेल, हानिकारक उत्सर्जनाचे प्रमाण कमी करायचे असेल, तर तो आमच्याकडे येतो आणि आम्ही त्याला आधीच पर्यावरण निरीक्षणासाठी तयार उपाय ऑफर करतो.

H2S एकाग्रता निरीक्षण आलेख जवळच्या प्लांटमधून रात्रीचे नियमित उत्सर्जन दर्शवितो

आम्ही URUS मध्ये वापरत असलेल्या उपकरणांमध्ये अनेक सेन्सर असतात जे पर्यावरणीय परिस्थितीचे मूल्यांकन करण्यासाठी विशिष्ट वायू, आवाज पातळी आणि इतर डेटाची माहिती गोळा करतात. सेन्सर्सची अचूक संख्या नेहमी विशिष्ट कार्याद्वारे निर्धारित केली जाते.

मोजमापांच्या वैशिष्ट्यांवर अवलंबून, सेन्सर असलेली उपकरणे इमारतींच्या भिंती, खांब आणि इतर अनियंत्रित ठिकाणी स्थित असू शकतात. असे प्रत्येक उपकरण माहिती गोळा करते, एकत्रित करते आणि डेटा प्राप्त करणाऱ्या गेटवेला पाठवते. तेथे आम्ही दीर्घकालीन स्टोरेजसाठी डेटा जतन करतो आणि त्यानंतरच्या विश्लेषणासाठी पूर्व-प्रक्रिया करतो. विश्लेषणाच्या परिणामी आपल्याला काय मिळते याचे सर्वात सोपे उदाहरण म्हणजे हवा गुणवत्ता निर्देशांक, ज्याला AQI देखील म्हणतात.

समांतर, इतर अनेक सेवा आमच्या प्लॅटफॉर्मवर कार्यरत आहेत, परंतु त्या मुख्यतः सेवा स्वरूपाच्या आहेत. उदाहरणार्थ, निरीक्षण केलेले कोणतेही पॅरामीटर्स (उदाहरणार्थ, CO2 सामग्री) परवानगीयोग्य मूल्यापेक्षा जास्त असल्यास सूचना सेवा क्लायंटला सूचना पाठवते.

आम्ही डेटा कसा संग्रहित करतो. बेअर मेटलवरील कुबर्नेट्सची कथा

URUS पर्यावरण निरीक्षण प्रकल्पामध्ये अनेक डेटा गोदामे आहेत. एकामध्ये आम्ही "कच्चा" डेटा ठेवतो - जे आम्हाला थेट डिव्हाइसेसवरून मिळाले. हे स्टोरेज एक "चुंबकीय" टेप आहे, जसे की जुन्या कॅसेट टेपवर, सर्व निर्देशकांचा इतिहास आहे. दुसऱ्या प्रकारचा स्टोरेज पूर्व-प्रक्रिया केलेल्या डेटासाठी वापरला जातो - डिव्हाइसेसमधील डेटा, सेन्सरमधील कनेक्शन आणि डिव्हाइसेसचे स्वतःचे वाचन, संस्थांशी संलग्नता, स्थान इत्यादींबद्दल मेटाडेटासह समृद्ध केलेला डेटा. ही माहिती आपल्याला विशिष्ट निर्देशक कसे आहे याचे गतिशीलपणे मूल्यांकन करण्यास अनुमती देते. ठराविक कालावधीत बदलले. आम्ही इतर गोष्टींबरोबरच "कच्चा" डेटा स्टोरेज वापरतो, बॅकअप म्हणून आणि प्रीप्रोसेस्ड डेटा पुनर्संचयित करण्यासाठी, अशी गरज असल्यास.

अनेक वर्षांपूर्वी जेव्हा आम्ही आमच्या स्टोरेज समस्येचे निराकरण करण्याचा विचार करत होतो, तेव्हा आमच्याकडे दोन प्लॅटफॉर्म निवडी होत्या: Kubernetes आणि OpenStack. पण नंतरचे बरेच राक्षसी दिसत असल्याने (याची खात्री पटण्यासाठी फक्त त्याची वास्तुकला पहा), आम्ही कुबेरनेट्सवर स्थायिक झालो. त्याच्या बाजूने आणखी एक युक्तिवाद म्हणजे तुलनेने सोपे सॉफ्टवेअर नियंत्रण, संसाधनांनुसार हार्डवेअर नोड्स अधिक लवचिकपणे कापण्याची क्षमता.

Kubernetes मध्ये प्रभुत्व मिळवण्याच्या समांतर, आम्ही डेटा संचयित करण्याच्या पद्धतींचा देखील अभ्यास केला, आम्ही आमचे सर्व स्टोरेज आमच्या स्वतःच्या हार्डवेअरवर Kubernetes मध्ये ठेवले असताना, आम्हाला उत्कृष्ट कौशल्य प्राप्त झाले. आम्ही तेव्हा कुबर्नेट्सवर जे काही जगलो होतो: स्टेटफुल स्टोरेज, मॉनिटरिंग सिस्टम, सीआय/सीडी. Kubernetes आमच्यासाठी सर्वसमावेशक व्यासपीठ बनले आहे.

पण आम्हाला कुबर्नेट्ससोबत सेवा म्हणून काम करायचे होते आणि त्याच्या समर्थनात आणि विकासात गुंतायचे नव्हते. शिवाय, बेअर मेटलवर त्याची देखभाल करण्यासाठी आम्हाला किती खर्च आला हे आम्हाला आवडत नाही आणि आम्हाला सतत विकासाची आवश्यकता आहे! उदाहरणार्थ, आमच्या संस्थेच्या नेटवर्क इन्फ्रास्ट्रक्चरमध्ये Kubernetes Ingress नियंत्रकांना एकत्रित करणे हे पहिले काम होते. हे एक अवघड काम आहे, विशेषत: त्या वेळी प्रोग्रामॅटिक संसाधन व्यवस्थापन जसे की DNS रेकॉर्ड किंवा IP पत्त्यांचे वाटप करण्यासाठी काहीही तयार नव्हते हे लक्षात घेता. नंतर आम्ही एक्सटर्नल डेटा स्टोरेजचा प्रयोग करू लागलो. आम्ही पीव्हीसी कंट्रोलर लागू करण्यापर्यंत कधीही पोहोचलो नाही, परंतु तरीही हे स्पष्ट झाले की हे कामाचे एक मोठे क्षेत्र आहे ज्यासाठी समर्पित तज्ञांची आवश्यकता आहे.

Google Cloud Platform वर स्विच करणे हा तात्पुरता उपाय आहे

हे पुढे चालू शकत नाही हे आम्हाला समजले आणि आमचा डेटा बेअर मेटलवरून Google क्लाउड प्लॅटफॉर्मवर हलवला. खरं तर, त्या वेळी रशियन कंपनीसाठी बरेच मनोरंजक पर्याय नव्हते: Google क्लाउड प्लॅटफॉर्म व्यतिरिक्त, फक्त Amazon ने एक समान सेवा ऑफर केली, परंतु तरीही आम्ही Google कडील सोल्यूशनवर सेटल झालो. मग ते आम्हाला अधिक आर्थिकदृष्ट्या फायदेशीर वाटले, अपस्ट्रीमच्या जवळ, गुगल स्वतःच उत्पादनातील एक प्रकारचा पीओसी कुबर्नेट्स आहे याचा उल्लेख करू नका.

आमचा ग्राहकवर्ग वाढल्याने पहिली मोठी समस्या क्षितिजावर दिसू लागली. जेव्हा आम्हाला वैयक्तिक डेटा संग्रहित करण्याची आवश्यकता होती, तेव्हा आम्हाला एका पर्यायाचा सामना करावा लागला: एकतर आम्ही Google सह कार्य करतो आणि रशियन कायद्यांचे उल्लंघन करतो किंवा आम्ही रशियन फेडरेशनमध्ये पर्याय शोधत आहोत. निवड, एकंदरीत, अंदाजे होती. 🙂

आम्ही आदर्श क्लाउड सेवा कशी पाहिली

शोधाच्या सुरूवातीस, आम्हाला आधीच माहित होते की आम्हाला भविष्यातील क्लाउड प्रदात्याकडून काय मिळवायचे आहे. आम्ही कोणती सेवा शोधत होतो:

• जलद आणि लवचिक. जसे की आम्ही त्वरीत नवीन नोड जोडू शकतो किंवा कधीही काहीतरी उपयोजित करू शकतो.
• स्वस्त. आमच्याकडे संसाधने मर्यादित असल्याने आम्ही आर्थिक समस्येबद्दल खूप चिंतित होतो. आम्हाला आधीच माहित होते की आम्हाला कुबर्नेट्ससोबत काम करायचे आहे आणि आता हे सोल्यूशन वापरण्याची कार्यक्षमता वाढवण्यासाठी किंवा कमीत कमी राखण्यासाठी त्याची किंमत कमी करणे हे कार्य होते.
• स्वयंचलित. आम्ही व्यवस्थापक आणि फोन कॉल्सशिवाय किंवा आपत्कालीन मोडमध्ये अनेक डझन नोड्स मॅन्युअली वाढवण्याची आवश्यकता नसताना, API द्वारे सेवेसह कार्य करण्याची योजना आखली आहे. आमच्या बहुतेक प्रक्रिया स्वयंचलित असल्याने, आम्हाला क्लाउड सेवेकडून तेच अपेक्षित होते.
• रशियन फेडरेशनमधील सर्व्हरसह. अर्थात, आम्ही रशियन कायद्याचे आणि त्याच 152-एफझेडचे पालन करण्याची योजना आखली आहे.

त्या वेळी, रशियामध्ये कुबर्नेट्स एएएस प्रदाते कमी होते आणि प्रदाता निवडताना, आमच्या प्राधान्यांशी तडजोड न करणे आमच्यासाठी महत्त्वाचे होते. Mail.ru क्लाउड सोल्युशन्स टीम, ज्यांच्यासोबत आम्ही काम करायला सुरुवात केली आणि अजूनही सहयोग करत आहोत, त्यांनी आम्हाला API सपोर्ट आणि सोयीस्कर कंट्रोल पॅनेलसह पूर्ण स्वयंचलित सेवा प्रदान केली ज्यामध्ये Horizon समाविष्ट आहे - याच्या मदतीने आम्ही नोड्सची अनियंत्रित संख्या त्वरीत वाढवू शकतो.

आम्ही दोन तासांत MCS मध्ये स्थलांतरित कसे झालो

अशा हालचालींमध्ये, अनेक कंपन्यांना अडचणी आणि अडथळ्यांचा सामना करावा लागतो, परंतु आमच्या बाबतीत असे काहीही नव्हते. आम्ही भाग्यवान होतो: स्थलांतर सुरू होण्याआधीच आम्ही Kubernetes वर काम करत असल्यामुळे, आम्ही फक्त तीन फाइल्स दुरुस्त केल्या आणि आमच्या सेवा नवीन क्लाउड प्लॅटफॉर्म, MCS वर सुरू केल्या. मी तुम्हाला आठवण करून देतो की तोपर्यंत आम्ही शेवटी बेअर मेटल सोडले होते आणि Google क्लाउड प्लॅटफॉर्मवर राहत होतो. म्हणून, या हालचालीला दोन तासांपेक्षा जास्त वेळ लागला नाही, तसेच आमच्या डिव्हाइसवरून डेटा कॉपी करण्यात थोडा अधिक वेळ (सुमारे एक तास) खर्च झाला. त्यावेळेस आम्ही स्पिननेकर (अखंड वितरण प्रदान करण्यासाठी एक मल्टी-क्लाउड सीडी सेवा) वापरत होतो. आम्ही ते त्वरीत नवीन क्लस्टरमध्ये जोडले आणि नेहमीप्रमाणे कार्य करणे सुरू ठेवले.

विकास प्रक्रिया आणि CI/CD च्या ऑटोमेशनबद्दल धन्यवाद, URUS मधील Kubernetes एका तज्ञाद्वारे हाताळले जाते (आणि ते मी आहे). काही टप्प्यावर, दुसर्‍या सिस्टम प्रशासकाने माझ्याबरोबर काम केले, परंतु नंतर असे दिसून आले की आम्ही आधीच सर्व मुख्य दिनचर्या स्वयंचलित केली आहेत आणि आमच्या मुख्य उत्पादनाच्या भागावर अधिकाधिक कार्ये आहेत आणि याकडे संसाधने निर्देशित करणे अर्थपूर्ण आहे.

आम्हाला क्लाउड प्रदात्याकडून जे अपेक्षित होते ते आम्हाला मिळाले, कारण आम्ही भ्रमविना सहकार्य सुरू केले. जर काही घटना असतील, तर त्या बहुतेक तांत्रिक होत्या आणि त्या त्या सेवेच्या सापेक्ष ताजेपणाने सहजपणे स्पष्ट केल्या जाऊ शकतात. मुख्य गोष्ट अशी आहे की एमसीएस टीम त्वरीत उणीवा दूर करते आणि मेसेंजरमधील प्रश्नांना त्वरीत प्रतिसाद देते.

जर मी माझ्या अनुभवाची Google क्लाउड प्लॅटफॉर्मशी तुलना केली, तर त्यांच्या बाबतीत मला फीडबॅक बटण कुठे आहे हे देखील माहित नव्हते, कारण त्याची गरजच नव्हती. आणि काही समस्या आल्यास, Google ने स्वतः एकतर्फी सूचना पाठवल्या. परंतु MCS च्या बाबतीत, मला वाटते की मोठा फायदा असा आहे की ते रशियन क्लायंटच्या शक्य तितक्या जवळ आहेत - भौगोलिक आणि मानसिक दोन्ही.

आम्ही भविष्यात ढगांसह कार्य कसे पाहतो

आता आमचे कार्य कुबर्नेट्सशी जवळून जोडलेले आहे, आणि पायाभूत सुविधांच्या कामांच्या दृष्टिकोनातून ते आमच्यासाठी पूर्णपणे अनुकूल आहे. त्यामुळे, आम्ही त्यातून कोठेही स्थलांतरित होण्याची योजना करत नाही, जरी आम्ही नियमित कार्ये सुलभ करण्यासाठी आणि नवीन स्वयंचलित करण्यासाठी, सेवांची स्थिरता आणि विश्वासार्हता वाढवण्यासाठी सतत नवीन पद्धती आणि सेवा सादर करत आहोत... आम्ही आता कॅओस मंकी सेवा सुरू करत आहोत (विशेषतः , आम्ही chaoskube वापरतो, परंतु यामुळे संकल्पना बदलत नाही: ), जी मूळत: नेटफ्लिक्सने तयार केली होती. कॅओस मंकी एक सोपी गोष्ट करतो: ते यादृच्छिक वेळी यादृच्छिक कुबर्नेट्स पॉड हटवते. आमच्या सेवेसाठी n–1 घटनांच्या संख्येसह सामान्यपणे जगण्यासाठी हे आवश्यक आहे, म्हणून आम्ही स्वतःला कोणत्याही समस्यांसाठी तयार राहण्याचे प्रशिक्षण देतो.

आता मला तृतीय-पक्ष सोल्यूशन्सचा वापर दिसत आहे - समान क्लाउड प्लॅटफॉर्म - तरुण कंपन्यांसाठी एकमेव योग्य गोष्ट म्हणून. सहसा, त्यांच्या प्रवासाच्या सुरुवातीला, ते मानवी आणि आर्थिक दोन्ही संसाधनांमध्ये मर्यादित असतात आणि त्यांचे स्वतःचे क्लाउड किंवा डेटा सेंटर तयार करणे आणि त्यांची देखभाल करणे खूप महाग आणि श्रम-केंद्रित असते. क्लाउड प्रदाते तुम्हाला हे खर्च कमी करण्याची परवानगी देतात; तुम्ही त्यांच्याकडून येथे आणि आता सेवांच्या ऑपरेशनसाठी आवश्यक असलेली संसाधने पटकन मिळवू शकता आणि वस्तुस्थितीनंतर या संसाधनांसाठी पैसे देऊ शकता. URUS कंपनीसाठी, आत्ता आम्ही क्लाउडमधील कुबर्नेट्सशी विश्वासू राहू. परंतु कोणास ठाऊक, आम्हाला भौगोलिकदृष्ट्या विस्तारित करावे लागेल किंवा काही विशिष्ट उपकरणांवर आधारित उपाय लागू करावे लागतील. किंवा कदाचित वापरल्या जाणार्‍या संसाधनांचे प्रमाण चांगल्या जुन्या दिवसांप्रमाणे, बेअर-मेटलवर स्वतःच्या कुबर्नेट्सचे समर्थन करेल. 🙂

क्लाउड सेवांसोबत काम करताना आम्ही काय शिकलो

आम्ही बेअर मेटलवर कुबर्नेट्स वापरण्यास सुरुवात केली आणि तेथेही ते स्वतःच्या मार्गाने चांगले होते. परंतु क्लाउडमधील एएएस घटक म्हणून त्याची ताकद तंतोतंत प्रकट झाली. तुम्ही ध्येय सेट केल्यास आणि शक्य तितक्या सर्व गोष्टी स्वयंचलित केल्यास, तुम्ही विक्रेता लॉक-इन टाळण्यास सक्षम असाल आणि क्लाउड प्रदात्यांच्या दरम्यान जाण्यासाठी काही तास लागतील आणि मज्जातंतू पेशी आमच्याकडे राहतील. आम्ही इतर कंपन्यांना सल्ला देऊ शकतो: तुम्हाला तुमची स्वतःची (क्लाउड) सेवा सुरू करायची असल्यास, मर्यादित संसाधने आणि विकासासाठी जास्तीत जास्त वेग असल्यास, क्लाउड संसाधने भाड्याने घेऊन आत्ताच प्रारंभ करा आणि फोर्ब्सने तुमच्याबद्दल लिहिल्यानंतर तुमचे डेटा सेंटर तयार करा.

स्त्रोत: www.habr.com