उमा.टेक ने बुनियादी ढांचे का विकास कैसे किया

हमने नई सेवाएँ लॉन्च कीं, ट्रैफ़िक बढ़ा, सर्वर बदले, नई साइटें जोड़ीं और डेटा सेंटर फिर से तैयार किए - और अब हम यह कहानी बताएंगे, जिसकी शुरुआत से हमने आपको पाँच साल पहले परिचित कराया था.

अंतरिम परिणामों के सारांश के लिए पाँच वर्ष एक विशिष्ट समय है। इसलिए, हमने अपने बुनियादी ढांचे के विकास के बारे में बात करने का फैसला किया, जो पिछले पांच वर्षों में विकास के आश्चर्यजनक रूप से दिलचस्प रास्ते से गुजरा है, जिस पर हमें गर्व है। हमने जो मात्रात्मक परिवर्तन लागू किए हैं वे गुणात्मक में बदल गए हैं; अब बुनियादी ढांचा उन तरीकों से काम कर सकता है जो पिछले दशक के मध्य में शानदार लगते थे।

हम प्रीमियर और मैच टीवी सहित विश्वसनीयता और भार के लिए सबसे कठोर आवश्यकताओं के साथ सबसे जटिल परियोजनाओं का संचालन सुनिश्चित करते हैं। खेल प्रसारण और लोकप्रिय टीवी श्रृंखला के प्रीमियर के लिए टेराबिट्स में ट्रैफ़िक की आवश्यकता होती है, हम इसे आसानी से लागू करते हैं, और अक्सर ऐसा होता है कि ऐसी गति के साथ काम करना हमारे लिए लंबे समय से आम बात हो गई है। और पांच साल पहले, हमारे सिस्टम पर चलने वाला सबसे भारी प्रोजेक्ट रूट्यूब था, जिसके विकसित होने के बाद से वॉल्यूम और ट्रैफिक में वृद्धि हुई है, जिसे लोड की योजना बनाते समय ध्यान में रखा जाना था।

हमने इस बारे में बात की कि हमने अपने बुनियादी ढांचे का हार्डवेयर कैसे विकसित किया ("रूट्यूब 2009-2015: हमारे हार्डवेयर का इतिहास") और वीडियो अपलोड करने के लिए जिम्मेदार एक प्रणाली विकसित की ("शून्य से 700 गीगाबिट प्रति सेकंड तक - रूस की सबसे बड़ी वीडियो होस्टिंग साइटों में से एक कैसे वीडियो अपलोड करती है"), लेकिन इन ग्रंथों को लिखे जाने के बाद से बहुत समय बीत चुका है, कई अन्य समाधान बनाए और कार्यान्वित किए गए हैं, जिनके परिणाम हमें आधुनिक आवश्यकताओं को पूरा करने और नए कार्यों को अनुकूलित करने के लिए पर्याप्त लचीले होने की अनुमति देते हैं।

नेटवर्क कोर हम लगातार विकास कर रहे हैं. हमने 2015 में सिस्को उपकरण पर स्विच किया, जिसका उल्लेख हमने पिछले लेख में किया था। उस समय यह अभी भी वही 10/40जी था, लेकिन स्पष्ट कारणों से, कुछ वर्षों के बाद उन्होंने मौजूदा चेसिस को अपग्रेड कर दिया, और अब हम सक्रिय रूप से 25/100जी का उपयोग करते हैं।

100G लिंक लंबे समय से न तो एक विलासिता रही है (बल्कि, यह हमारे सेगमेंट में समय की तत्काल आवश्यकता है), और न ही एक दुर्लभ वस्तु (अधिक से अधिक ऑपरेटर ऐसी गति पर कनेक्शन प्रदान करते हैं)। हालाँकि, 10/40G प्रासंगिक बना हुआ है: इन लिंक के माध्यम से हम कम मात्रा में ट्रैफ़िक वाले ऑपरेटरों को जोड़ना जारी रखते हैं, जिसके लिए अधिक क्षमता वाले पोर्ट का उपयोग करना वर्तमान में अनुपयुक्त है।

हमारे द्वारा बनाया गया नेटवर्क कोर अलग से विचार करने योग्य है और थोड़ी देर बाद एक अलग लेख का विषय बन जाएगा। वहां हम तकनीकी विवरण में गहराई से जाएंगे और इसे बनाते समय हमारे कार्यों के तर्क पर विचार करेंगे। लेकिन अब हम बुनियादी ढांचे को और अधिक योजनाबद्ध तरीके से आकर्षित करना जारी रखेंगे, क्योंकि प्रिय पाठकों, आपका ध्यान असीमित नहीं है।

वीडियो आउटपुट सर्वर तेजी से विकास करें, जिसके लिए हम काफी प्रयास करते हैं। यदि पहले हम मुख्य रूप से 2U सर्वरों का उपयोग 4-5 नेटवर्क कार्डों के साथ करते थे जिनमें प्रत्येक में दो 10G पोर्ट होते थे, तो अब अधिकांश ट्रैफ़िक 1U सर्वरों से भेजा जाता है, जिनमें प्रत्येक में दो 2G पोर्ट के साथ 3-25 कार्ड होते हैं। 10G और 25G वाले कार्ड की लागत लगभग बराबर है, और तेज़ समाधान आपको 10G और 25G दोनों पर संचारित करने की अनुमति देते हैं। परिणाम स्पष्ट बचत थी: कनेक्शन के लिए कम सर्वर घटक और केबल - कम लागत (और उच्च विश्वसनीयता), घटक रैक में कम जगह लेते हैं - प्रति यूनिट क्षेत्र में अधिक सर्वर रखना संभव हो गया और इसलिए, किराये की लागत कम हो गई।

लेकिन अधिक महत्वपूर्ण है गति में वृद्धि! अब हम 1U के साथ 100G से अधिक भेज सकते हैं! और यह उस स्थिति की पृष्ठभूमि में है जहां कुछ बड़ी रूसी परियोजनाएं 40यू से 2जी आउटपुट को "उपलब्धि" कहती हैं। हम उनकी समस्याएँ चाहेंगे!

ध्यान दें कि हम अभी भी उस पीढ़ी के नेटवर्क कार्ड का उपयोग करते हैं जो केवल 10G पर काम कर सकते हैं। यह उपकरण स्थिर रूप से काम करता है और हमारे लिए बहुत परिचित है, इसलिए हमने इसे फेंका नहीं, बल्कि इसके लिए एक नया उपयोग ढूंढ लिया। हमने इन घटकों को वीडियो स्टोरेज सर्वर में स्थापित किया है, जिसके लिए एक या दो 1जी इंटरफेस स्पष्ट रूप से प्रभावी ढंग से संचालित करने के लिए पर्याप्त नहीं हैं; यहां 10जी कार्ड प्रासंगिक साबित हुए।

भंडारण प्रणालियाँ भी बढ़ रहे हैं. पिछले पांच वर्षों में, वे बारह-डिस्क (12x HDD 2U) से छत्तीस-डिस्क (36x HDD 4U) में बदल गए हैं। कुछ लोग ऐसे विशाल "शवों" का उपयोग करने से डरते हैं, क्योंकि यदि ऐसी चेसिस विफल हो जाती है, तो उत्पादकता - या यहां तक ​​कि संचालन क्षमता को भी खतरा हो सकता है! - पूरे सिस्टम के लिए. लेकिन हमारे साथ ऐसा नहीं होगा: हमने डेटा की भू-वितरित प्रतियों के स्तर पर बैकअप प्रदान किया है। हमने चेसिस को विभिन्न डेटा केंद्रों में वितरित किया है - हम कुल मिलाकर तीन का उपयोग करते हैं - और यह चेसिस में विफलता के मामले में और साइट गिरने पर दोनों समस्याओं की घटना को समाप्त करता है।

बेशक, इस दृष्टिकोण ने हार्डवेयर RAID को निरर्थक बना दिया, जिसे हमने छोड़ दिया। अतिरेक को समाप्त करके, हमने समाधान को सरल बनाकर और विफलता के संभावित बिंदुओं में से एक को हटाकर सिस्टम विश्वसनीयता में वृद्धि की है। हम आपको याद दिला दें कि हमारी भंडारण प्रणालियाँ "घरेलू" हैं। हमने यह काफी सोच-समझकर किया और हम परिणाम से पूरी तरह संतुष्ट हैं।

डेटा केंद्र पिछले पांच वर्षों में हम कई बार बदले हैं। पिछले लेख के लिखे जाने के बाद से, हमने केवल एक डेटा सेंटर - डेटालाइन - को नहीं बदला है - हमारे बुनियादी ढांचे के विकसित होने के साथ बाकी को प्रतिस्थापन की आवश्यकता थी। साइटों के बीच सभी स्थानान्तरण की योजना बनाई गई थी।

दो साल पहले, हम एमएमटीएस-9 के अंदर चले गए, उच्च गुणवत्ता वाली मरम्मत, एक अच्छी शीतलन प्रणाली, स्थिर बिजली आपूर्ति और कोई धूल नहीं, जो पहले सभी सतहों पर मोटी परतों में जमा थी और हमारे उपकरणों के अंदरूनी हिस्सों को भी बंद कर दिया था। . गुणवत्तापूर्ण सेवाएँ चुनें - और कोई धूल नहीं! - हमारे कदम का कारण बन गया।

लगभग हमेशा "एक चाल दो आग के बराबर होती है", लेकिन प्रवास के दौरान समस्याएं हर बार अलग होती हैं। इस बार, एक डेटा सेंटर के भीतर जाने की मुख्य कठिनाई ऑप्टिकल क्रॉस-कनेक्शन द्वारा "प्रदान की गई" थी - दूरसंचार ऑपरेटरों द्वारा एकल क्रॉस-कनेक्शन में संयोजित किए बिना फर्शों के बीच उनकी बहुतायत। क्रॉस-कनेक्शन को अद्यतन करने और पुनः रूट करने की प्रक्रिया (जिसमें एमएमटीएस-9 इंजीनियरों ने हमारी मदद की) शायद प्रवासन का सबसे कठिन चरण था।

दूसरा माइग्रेशन एक साल पहले हुआ था; 2019 में, हम एक बहुत अच्छे डेटा सेंटर से O2xygen में चले गए। इस कदम के कारण ऊपर चर्चा किए गए कारणों के समान थे, लेकिन वे दूरसंचार ऑपरेटरों के लिए मूल डेटा सेंटर की अनाकर्षकता की समस्या से पूरक थे - कई प्रदाताओं को अपने दम पर इस बिंदु तक "पकड़ना" पड़ा।

MMTS-13 में उच्च-गुणवत्ता वाली साइट पर 9 रैक के स्थानांतरण ने इस स्थान को न केवल एक ऑपरेटर के स्थान (कुछ रैक और ऑपरेटरों के "फॉरवर्ड") के रूप में विकसित करना संभव बना दिया, बल्कि इसे एक के रूप में उपयोग करना भी संभव बना दिया। मुख्य. इसने एक बहुत अच्छे डेटा सेंटर से माइग्रेशन को कुछ हद तक सरल बना दिया - हमने इसमें से अधिकांश उपकरण दूसरी साइट पर पहुंचाए, और O2xygen को एक विकासशील की भूमिका दी गई, जिससे उपकरणों के साथ 5 रैक वहां भेजे गए।

आज O2xygen पहले से ही एक पूर्ण प्लेटफॉर्म है, जहां हमें जिन ऑपरेटरों की आवश्यकता है वे "आ गए" हैं और नए जुड़ते रहते हैं। ऑपरेटरों के लिए O2xygen रणनीतिक विकास की दृष्टि से भी आकर्षक साबित हुआ।

हम हमेशा चाल के मुख्य चरण को एक रात में पूरा करते हैं, और एमएमटीएस-9 के भीतर और O2xygen में प्रवास करते समय, हम इस नियम का पालन करते हैं। हम इस बात पर जोर देते हैं कि रैक की संख्या की परवाह किए बिना, हम "रात भर चलें" नियम का सख्ती से पालन करते हैं! एक उदाहरण ऐसा भी था जब हमने 20 रैक स्थानांतरित किए और इसे भी एक रात में पूरा किया। प्रवासन एक काफी सरल प्रक्रिया है जिसमें सटीकता और निरंतरता की आवश्यकता होती है, लेकिन तैयारी प्रक्रिया में, और चलते समय, और किसी नए स्थान पर तैनाती करते समय, यहां कुछ तरकीबें हैं। यदि आप रुचि रखते हैं तो हम प्रवासन के बारे में विस्तार से बात करने के लिए तैयार हैं।

निष्कर्ष हमें पंचवर्षीय विकास योजनाएं पसंद हैं। हमने तीन डेटा केंद्रों में वितरित एक नए दोष-सहिष्णु बुनियादी ढांचे का निर्माण पूरा कर लिया है। हमने ट्रैफ़िक घनत्व में तेजी से वृद्धि की है - अगर हाल ही में हम 40U के साथ 80-2G से खुश थे, तो अब हमारे लिए मानक 100U के साथ 1G है। अब यातायात का एक टेराबाइट भी हमें सामान्य लगता है। हम अपने बुनियादी ढांचे को और विकसित करने के लिए तैयार हैं, जो लचीला और स्केलेबल बन गया है।

प्रश्न: प्रिय पाठकों, मुझे निम्नलिखित पाठों में आपको किस बारे में बताना चाहिए? हमने होममेड डेटा स्टोरेज सिस्टम बनाना क्यों शुरू किया? नेटवर्क कोर और इसकी विशेषताओं के बारे में? डेटा केंद्रों के बीच माइग्रेशन की युक्तियों और सूक्ष्मताओं के बारे में? घटकों और फाइन-ट्यूनिंग मापदंडों का चयन करके वितरण निर्णयों को अनुकूलित करने के बारे में? एक डेटा सेंटर के भीतर कई अतिरेक और क्षैतिज स्केलिंग क्षमताओं के कारण स्थायी समाधान बनाने के बारे में, जो तीन डेटा केंद्रों की संरचना में कार्यान्वित होते हैं?

लेखक: पेट्र विनोग्रादोव - उमा.टेक के तकनीकी निदेशक हैम्स्टर

स्रोत: www.habr.com