डेटा सेंटरों का मापन कैसे करें. यांडेक्स रिपोर्ट

हमने एक डेटा सेंटर नेटवर्क डिज़ाइन विकसित किया है जो प्रति सेकंड एक पेटाबाइट से अधिक की चरम द्विभाजन बैंडविड्थ के साथ 100 हजार सर्वर से बड़े कंप्यूटिंग क्लस्टर की तैनाती की अनुमति देता है।

दिमित्री अफानसियेव की रिपोर्ट से आप नए डिजाइन के बुनियादी सिद्धांतों, स्केलिंग टोपोलॉजी, इससे उत्पन्न होने वाली समस्याओं, उन्हें हल करने के विकल्प, "सघन रूप से जुड़े हुए" में आधुनिक नेटवर्क उपकरणों के फॉरवर्डिंग प्लेन फ़ंक्शंस को रूट करने और स्केल करने की विशेषताओं के बारे में जानेंगे। बड़ी संख्या में ईसीएमपी मार्गों वाली टोपोलॉजी। इसके अलावा, दीमा ने बाहरी कनेक्टिविटी के संगठन, भौतिक परत, केबल प्रणाली और क्षमता को और बढ़ाने के तरीकों के बारे में संक्षेप में बात की।

- सबको दोपहर की नमस्ते! मेरा नाम दिमित्री अफानसयेव है, मैं यांडेक्स में एक नेटवर्क आर्किटेक्ट हूं और मुख्य रूप से डेटा सेंटर नेटवर्क डिजाइन करता हूं।



मेरी कहानी यांडेक्स डेटा केंद्रों के अद्यतन नेटवर्क के बारे में होगी। यह हमारे डिज़ाइन का काफी हद तक विकास है, लेकिन साथ ही इसमें कुछ नए तत्व भी हैं। यह एक सिंहावलोकन प्रस्तुति है क्योंकि इसमें बहुत सारी जानकारी को थोड़े से समय में समेटना था। हम एक तार्किक टोपोलॉजी चुनकर शुरुआत करेंगे। फिर नियंत्रण विमान और डेटा प्लेन स्केलेबिलिटी के साथ समस्याओं का अवलोकन होगा, भौतिक स्तर पर क्या होगा इसका विकल्प होगा, और हम उपकरणों की कुछ विशेषताओं को देखेंगे। आइए एमपीएलएस वाले डेटा सेंटर में क्या हो रहा है, इस पर थोड़ा ध्यान दें, जिसके बारे में हमने कुछ समय पहले बात की थी।

तो, भार और सेवाओं के संदर्भ में यांडेक्स क्या है? यांडेक्स एक विशिष्ट हाइपरस्केलर है। यदि हम उपयोगकर्ताओं को देखें, तो हम मुख्य रूप से उपयोगकर्ता के अनुरोधों को संसाधित करते हैं। इसके अलावा विभिन्न स्ट्रीमिंग सेवाएँ और डेटा स्थानांतरण, क्योंकि हमारे पास भंडारण सेवाएँ भी हैं। यदि बैकएंड के करीब है, तो बुनियादी ढांचा भार और सेवाएं वहां दिखाई देती हैं, जैसे वितरित ऑब्जेक्ट भंडारण, डेटा प्रतिकृति और निश्चित रूप से, लगातार कतारें। कार्यभार के मुख्य प्रकारों में से एक है MapReduce और समान सिस्टम, स्ट्रीम प्रोसेसिंग, मशीन लर्निंग, आदि।

बुनियादी ढांचा कैसा है जिसके ऊपर यह सब होता है? फिर, हम एक बहुत ही विशिष्ट हाइपरस्केलर हैं, हालाँकि हम शायद स्पेक्ट्रम के कम हाइपरस्केलर पक्ष के थोड़ा करीब हैं। लेकिन हमारे पास सभी गुण हैं. जहां भी संभव हो हम कमोडिटी हार्डवेयर और क्षैतिज स्केलिंग का उपयोग करते हैं। हमारे पास पूर्ण संसाधन पूलिंग है: हम अलग-अलग मशीनों, व्यक्तिगत रैक के साथ काम नहीं करते हैं, बल्कि उन्हें कुछ अतिरिक्त सेवाओं के साथ विनिमेय संसाधनों के एक बड़े पूल में जोड़ते हैं जो योजना और आवंटन से निपटते हैं, और इस पूरे पूल के साथ काम करते हैं।

तो हमारे पास अगला स्तर है - कंप्यूटिंग क्लस्टर स्तर पर ऑपरेटिंग सिस्टम। यह बहुत महत्वपूर्ण है कि हम अपने द्वारा उपयोग की जाने वाली प्रौद्योगिकी स्टैक को पूरी तरह से नियंत्रित करें। हम एंडपॉइंट (होस्ट), नेटवर्क और सॉफ्टवेयर स्टैक को नियंत्रित करते हैं।

हमारे पास रूस और विदेशों में कई बड़े डेटा केंद्र हैं। वे एक रीढ़ की हड्डी से एकजुट हैं जो एमपीएलएस तकनीक का उपयोग करती है। हमारा आंतरिक बुनियादी ढांचा लगभग पूरी तरह से आईपीवी 6 पर बनाया गया है, लेकिन चूंकि हमें बाहरी ट्रैफ़िक की सेवा करने की ज़रूरत है जो अभी भी मुख्य रूप से आईपीवी 4 पर आता है, हमें किसी तरह आईपीवी 4 पर आने वाले अनुरोधों को फ्रंटएंड सर्वर तक पहुंचाना होगा, और थोड़ा और बाहरी आईपीवी 4- इंटरनेट पर जाना होगा - के लिए उदाहरण के लिए, अनुक्रमण के लिए।

डेटा सेंटर नेटवर्क डिज़ाइन के पिछले कुछ पुनरावृत्तियों में मल्टी-लेयर क्लोज़ टोपोलॉजी का उपयोग किया गया है और ये केवल L3 हैं। हमने कुछ देर पहले एल2 छोड़ दिया और राहत की सांस ली। अंत में, हमारे बुनियादी ढांचे में सैकड़ों हजारों कंप्यूट (सर्वर) उदाहरण शामिल हैं। कुछ समय पहले अधिकतम क्लस्टर आकार लगभग 10 हजार सर्वर था। यह काफी हद तक इस बात के कारण है कि वही क्लस्टर-स्तरीय ऑपरेटिंग सिस्टम, शेड्यूलर, संसाधन आवंटन इत्यादि कैसे काम कर सकते हैं। चूंकि इंफ्रास्ट्रक्चर सॉफ्टवेयर के पक्ष में प्रगति हुई है, लक्ष्य का आकार अब एक कंप्यूटिंग क्लस्टर में लगभग 100 हजार सर्वर है, और हमारे पास एक कार्य है - ऐसे नेटवर्क कारखाने बनाने में सक्षम होना जो ऐसे क्लस्टर में कुशल संसाधन पूलिंग की अनुमति देते हैं।

हम डेटा सेंटर नेटवर्क से क्या चाहते हैं? सबसे पहले, बहुत अधिक सस्ता और समान रूप से वितरित बैंडविड्थ है। क्योंकि नेटवर्क रीढ़ की हड्डी है जिसके माध्यम से हम संसाधनों को एकत्रित कर सकते हैं। नए लक्ष्य का आकार एक क्लस्टर में लगभग 100 हजार सर्वर है।

बेशक, हम एक स्केलेबल और स्थिर नियंत्रण विमान भी चाहते हैं, क्योंकि इतने बड़े बुनियादी ढांचे पर बस यादृच्छिक घटनाओं से भी बहुत सारे सिरदर्द पैदा होते हैं, और हम नहीं चाहते कि नियंत्रण विमान हमारे लिए भी सिरदर्द लेकर आए। साथ ही हम इसमें स्थिति को न्यूनतम करना चाहते हैं। स्थिति जितनी छोटी होगी, सब कुछ उतना ही बेहतर और अधिक स्थिर रूप से काम करेगा, और निदान करना उतना ही आसान होगा।

बेशक, हमें स्वचालन की आवश्यकता है, क्योंकि ऐसे बुनियादी ढांचे को मैन्युअल रूप से प्रबंधित करना असंभव है, और यह कुछ समय से असंभव है। हमें यथासंभव परिचालन सहायता और उस सीमा तक सीआई/सीडी सहायता की आवश्यकता है, जिसे प्रदान किया जा सकता है।

डेटा केंद्रों और समूहों के इतने आकार के साथ, सेवा में रुकावट के बिना वृद्धिशील तैनाती और विस्तार का समर्थन करने का कार्य काफी तीव्र हो गया है। यदि एक हजार मशीनों के आकार के समूहों पर, शायद दस हजार मशीनों के करीब, उन्हें अभी भी एक ऑपरेशन के रूप में शुरू किया जा सकता है - यानी, हम बुनियादी ढांचे के विस्तार की योजना बना रहे हैं, और कई हजार मशीनों को एक ऑपरेशन के रूप में जोड़ा जाता है, फिर एक लाख मशीनों के आकार का समूह इस तरह तुरंत पैदा नहीं होता है, यह समय के साथ बनता है। और यह वांछनीय है कि इस बार जो पहले से ही पंप किया गया है, जो बुनियादी ढांचा तैनात किया गया है, वह उपलब्ध होना चाहिए।

और एक आवश्यकता जो हमारे पास थी और छोड़ दी गई थी: मल्टीटेनेंसी के लिए समर्थन, यानी वर्चुअलाइजेशन या नेटवर्क सेगमेंटेशन। अब हमें नेटवर्क फैब्रिक स्तर पर ऐसा करने की आवश्यकता नहीं है, क्योंकि शार्डिंग मेजबानों के पास चली गई है, और इससे हमारे लिए स्केलिंग बहुत आसान हो गई है। IPv6 और एक बड़े पता स्थान के लिए धन्यवाद, हमें आंतरिक बुनियादी ढांचे में डुप्लिकेट पते का उपयोग करने की आवश्यकता नहीं थी; सभी पते पहले से ही अद्वितीय थे। और इस तथ्य के लिए धन्यवाद कि हमने फ़िल्टरिंग और नेटवर्क विभाजन को मेजबानों तक ले लिया है, हमें डेटा सेंटर नेटवर्क में कोई वर्चुअल नेटवर्क इकाई बनाने की आवश्यकता नहीं है।

एक बहुत ही महत्वपूर्ण चीज़ वह है जिसकी हमें आवश्यकता नहीं है। यदि कुछ फ़ंक्शन को नेटवर्क से हटाया जा सकता है, तो इससे जीवन बहुत आसान हो जाता है, और, एक नियम के रूप में, उपलब्ध उपकरण और सॉफ़्टवेयर की पसंद का विस्तार होता है, जिससे निदान बहुत सरल हो जाता है।

तो, ऐसा क्या है जिसकी हमें आवश्यकता नहीं है, हम क्या त्यागने में सक्षम हैं, हमेशा उस समय खुशी के साथ नहीं जब यह घटित हुआ, बल्कि प्रक्रिया पूरी होने पर बड़ी राहत के साथ?

सबसे पहले, L2 को त्यागना। हमें न तो L2 की आवश्यकता है, न वास्तविक और न ही अनुकरणीय। अप्रयुक्त बड़े पैमाने पर इस तथ्य के कारण कि हम एप्लिकेशन स्टैक को नियंत्रित करते हैं। हमारे एप्लिकेशन क्षैतिज रूप से स्केलेबल हैं, वे L3 एड्रेसिंग के साथ काम करते हैं, वे बहुत चिंतित नहीं हैं कि कुछ व्यक्तिगत उदाहरण बाहर चले गए हैं, वे बस एक नया रोल आउट करते हैं, इसे पुराने पते पर रोल आउट करने की आवश्यकता नहीं है, क्योंकि एक है क्लस्टर में स्थित मशीनों की सेवा खोज और निगरानी का अलग स्तर। हम यह कार्य नेटवर्क को नहीं सौंपते हैं। नेटवर्क का काम बिंदु A से बिंदु B तक पैकेट पहुंचाना है।

हमारे पास ऐसी स्थितियाँ भी नहीं हैं जहाँ पते नेटवर्क के भीतर चलते हैं, और इस पर निगरानी रखने की आवश्यकता है। कई डिज़ाइनों में आमतौर पर वीएम गतिशीलता का समर्थन करने के लिए इसकी आवश्यकता होती है। हम बड़े यांडेक्स के आंतरिक बुनियादी ढांचे में वर्चुअल मशीनों की गतिशीलता का उपयोग नहीं करते हैं, और इसके अलावा, हमारा मानना ​​​​है कि अगर ऐसा किया जाता है, तो भी नेटवर्क समर्थन के साथ ऐसा नहीं होना चाहिए। यदि इसे वास्तव में करने की आवश्यकता है, तो इसे होस्ट स्तर पर करने की आवश्यकता है, और उन पतों को पुश करें जो ओवरले में स्थानांतरित हो सकते हैं, ताकि अंडरले (परिवहन नेटवर्क) के रूटिंग सिस्टम को छूने या बहुत अधिक गतिशील परिवर्तन न करें। .

एक और तकनीक जिसका हम उपयोग नहीं करते वह है मल्टीकास्ट। यदि आप चाहें तो मैं आपको विस्तार से बता सकता हूं कि ऐसा क्यों है। इससे जीवन बहुत आसान हो जाता है, क्योंकि अगर किसी ने इससे निपटा है और देखा है कि मल्टीकास्ट कंट्रोल प्लेन बिल्कुल सरल इंस्टॉलेशन के अलावा सभी में कैसा दिखता है, तो यह एक बड़ा सिरदर्द है। और इससे भी अधिक, उदाहरण के लिए, एक अच्छी तरह से काम करने वाला ओपन सोर्स कार्यान्वयन खोजना कठिन है।

अंत में, हम अपने नेटवर्क को डिज़ाइन करते हैं ताकि उनमें बहुत अधिक बदलाव न हो। हम इस तथ्य पर भरोसा कर सकते हैं कि रूटिंग सिस्टम में बाहरी घटनाओं का प्रवाह छोटा है।

जब हम डेटा सेंटर नेटवर्क विकसित करते हैं तो क्या समस्याएं उत्पन्न होती हैं और किन प्रतिबंधों को ध्यान में रखा जाना चाहिए? बेशक, लागत। स्केलेबिलिटी, वह स्तर जिस तक हम बढ़ना चाहते हैं। सेवा बंद किये बिना विस्तार की जरूरत. बैंडविड्थ, उपलब्धता. परिचालन टीमों के लिए निगरानी प्रणालियों के लिए नेटवर्क पर क्या हो रहा है इसकी दृश्यता। स्वचालन समर्थन - फिर से, जितना संभव हो सके, क्योंकि विभिन्न कार्यों को विभिन्न स्तरों पर हल किया जा सकता है, जिसमें अतिरिक्त परतों की शुरूआत भी शामिल है। ख़ैर, [संभवतः] विक्रेताओं पर निर्भर नहीं। हालाँकि विभिन्न ऐतिहासिक कालखंडों में, आप किस अनुभाग को देखते हैं, इसके आधार पर, इस स्वतंत्रता को प्राप्त करना आसान या अधिक कठिन था। यदि हम नेटवर्क डिवाइस चिप्स का एक क्रॉस-सेक्शन लेते हैं, तो हाल तक विक्रेताओं से स्वतंत्रता के बारे में बात करना बहुत सशर्त था, अगर हम उच्च थ्रूपुट वाले चिप्स भी चाहते थे।

हम अपना नेटवर्क बनाने के लिए किस तार्किक टोपोलॉजी का उपयोग करेंगे? यह एक बहु-स्तरीय क्लोज़ होगा। वास्तव में, इस समय कोई वास्तविक विकल्प नहीं हैं। और क्लोस टोपोलॉजी काफी अच्छी है, भले ही विभिन्न उन्नत टोपोलॉजी की तुलना में जो अब अकादमिक रुचि के क्षेत्र में अधिक हैं, अगर हमारे पास बड़े रेडिक्स स्विच हैं।

बहु-स्तरीय क्लोस नेटवर्क मोटे तौर पर कैसे संरचित होता है और इसमें विभिन्न तत्वों को क्या कहा जाता है? सबसे पहले, हवा उठी, अपने आप को उन्मुख करें कि उत्तर कहाँ है, दक्षिण कहाँ है, पूर्व कहाँ है, पश्चिम कहाँ है। इस प्रकार के नेटवर्क आमतौर पर उन लोगों द्वारा बनाए जाते हैं जिनके पास बहुत बड़ा पश्चिम-पूर्व ट्रैफ़िक होता है। शेष तत्वों के लिए, शीर्ष पर छोटे स्विचों से इकट्ठा किया गया एक आभासी स्विच है। यह क्लोस नेटवर्क के पुनरावर्ती निर्माण का मुख्य विचार है। हम कुछ प्रकार के मूलांक वाले तत्व लेते हैं और उन्हें जोड़ते हैं ताकि जो हमें मिलता है उसे बड़े मूलांक वाला स्विच माना जा सके। यदि आपको और भी अधिक की आवश्यकता है, तो प्रक्रिया दोहराई जा सकती है।

ऐसे मामलों में, उदाहरण के लिए, दो-स्तरीय क्लोज़ के साथ, जब मेरे आरेख में लंबवत घटकों को स्पष्ट रूप से पहचानना संभव होता है, तो उन्हें आमतौर पर विमान कहा जाता है। यदि हमें स्पाइन स्विच के तीन स्तरों (जिनमें से सभी सीमा या टीओआर स्विच नहीं हैं और जिनका उपयोग केवल पारगमन के लिए किया जाता है) के साथ एक क्लोस बनाना था, तो विमान अधिक जटिल दिखेंगे; दो-स्तरीय वाले बिल्कुल इसी तरह दिखते हैं। हम टीओआर या लीफ स्विच के ब्लॉक और उनसे जुड़े प्रथम स्तर के स्पाइन स्विच को पॉड कहते हैं। पॉड के शीर्ष पर स्पाइन-1 स्तर के स्पाइन स्विच पॉड के शीर्ष, पॉड के शीर्ष हैं। जो स्विच पूरे कारखाने के शीर्ष पर स्थित हैं, वे कारखाने की सबसे ऊपरी परत हैं, कपड़े का शीर्ष।

बेशक, सवाल उठता है: क्लोस नेटवर्क कुछ समय के लिए बनाए गए हैं; यह विचार आम तौर पर शास्त्रीय टेलीफोनी, टीडीएम नेटवर्क के समय से आता है। शायद कुछ बेहतर सामने आया हो, शायद कुछ बेहतर किया जा सके? हां और ना। सैद्धांतिक रूप से हाँ, निकट भविष्य में व्यवहार में निश्चित रूप से नहीं। क्योंकि कई दिलचस्प टोपोलॉजी हैं, उनमें से कुछ का उपयोग उत्पादन में भी किया जाता है, उदाहरण के लिए, ड्रैगनफ्लाई का उपयोग एचपीसी अनुप्रयोगों में किया जाता है; एक्सपेंडर, फैटक्लिक, जेलिफ़िश जैसी दिलचस्प टोपोलॉजी भी हैं। यदि आप हाल ही में SIGCOMM या NSDI जैसे सम्मेलनों की रिपोर्टों को देखते हैं, तो आप वैकल्पिक टोपोलॉजी पर काफी बड़ी संख्या में काम पा सकते हैं जिनमें क्लोस की तुलना में बेहतर गुण (एक या दूसरे) हैं।

लेकिन इन सभी टोपोलॉजी में एक दिलचस्प संपत्ति है। यह डेटा सेंटर नेटवर्क में उनके कार्यान्वयन को रोकता है, जिसे हम कमोडिटी हार्डवेयर पर बनाने की कोशिश कर रहे हैं और जिसकी लागत काफी उचित है। इन सभी वैकल्पिक टोपोलॉजी में, अधिकांश बैंडविड्थ दुर्भाग्य से सबसे छोटे पथ के माध्यम से पहुंच योग्य नहीं है। इसलिए, हम तुरंत पारंपरिक नियंत्रण विमान का उपयोग करने का अवसर खो देते हैं।

सैद्धांतिक रूप से समस्या का समाधान ज्ञात है। उदाहरण के लिए, ये k-सबसे छोटे पथ का उपयोग करके लिंक स्थिति में संशोधन हैं, लेकिन, फिर से, ऐसे कोई प्रोटोकॉल नहीं हैं जो उत्पादन में लागू किए जाएंगे और उपकरणों पर व्यापक रूप से उपलब्ध होंगे।

इसके अलावा, चूंकि अधिकांश क्षमता सबसे छोटे पथों के माध्यम से पहुंच योग्य नहीं है, इसलिए हमें उन सभी पथों का चयन करने के लिए केवल नियंत्रण विमान से अधिक को संशोधित करने की आवश्यकता है (और वैसे, यह नियंत्रण विमान में काफी अधिक स्थिति है)। हमें अभी भी अग्रेषण विमान को संशोधित करने की आवश्यकता है, और, एक नियम के रूप में, कम से कम दो अतिरिक्त सुविधाओं की आवश्यकता है। यह पैकेट अग्रेषण के बारे में सभी निर्णय एक बार में लेने की क्षमता है, उदाहरण के लिए, होस्ट पर। वास्तव में, यह सोर्स रूटिंग है, कभी-कभी इंटरकनेक्शन नेटवर्क पर साहित्य में इसे ऑल-एट-वन्स फॉरवर्डिंग निर्णय कहा जाता है। और अनुकूली रूटिंग एक ऐसा फ़ंक्शन है जिसकी हमें नेटवर्क तत्वों पर आवश्यकता होती है, जो उदाहरण के लिए, इस तथ्य पर निर्भर करता है कि हम कतार पर सबसे कम लोड के बारे में जानकारी के आधार पर अगले हॉप का चयन करते हैं। उदाहरण के तौर पर अन्य विकल्प भी संभव हैं।

इस प्रकार, दिशा दिलचस्प है, लेकिन अफसोस, हम इसे अभी लागू नहीं कर सकते।

ठीक है, हमने क्लोज़ लॉजिकल टोपोलॉजी पर समझौता कर लिया है। हम इसे कैसे मापेंगे? आइए देखें कि यह कैसे काम करता है और क्या किया जा सकता है।

क्लोस नेटवर्क में दो मुख्य पैरामीटर हैं जिन्हें हम किसी तरह बदल सकते हैं और कुछ निश्चित परिणाम प्राप्त कर सकते हैं: तत्वों का मूलांक और नेटवर्क में स्तरों की संख्या। मेरे पास एक योजनाबद्ध आरेख है कि दोनों आकार को कैसे प्रभावित करते हैं। आदर्श रूप से, हम दोनों को मिलाते हैं।

यह देखा जा सकता है कि क्लोस नेटवर्क की अंतिम चौड़ाई दक्षिणी रेडिक्स के स्पाइन स्विच के सभी स्तरों का उत्पाद है, हमारे पास कितने लिंक हैं, यह कैसे शाखाएं हैं। इस प्रकार हम नेटवर्क के आकार को मापते हैं।

क्षमता के संबंध में, विशेष रूप से टीओआर स्विच पर, दो स्केलिंग विकल्प हैं। या तो हम सामान्य टोपोलॉजी को बनाए रखते हुए, तेज़ लिंक का उपयोग कर सकते हैं, या हम अधिक प्लेन जोड़ सकते हैं।

यदि आप क्लोस नेटवर्क के विस्तारित संस्करण (निचले दाएं कोने में) को देखते हैं और नीचे क्लोस नेटवर्क के साथ इस चित्र पर लौटते हैं...

... तो यह बिल्कुल वही टोपोलॉजी है, लेकिन इस स्लाइड पर इसे अधिक कॉम्पैक्ट रूप से ढहाया जाता है और कारखाने के विमानों को एक दूसरे पर आरोपित किया जाता है। यह एक ही है।

क्लॉज़ नेटवर्क को स्केल करना संख्याओं में कैसा दिखता है? यहां मैं डेटा प्रदान करता हूं कि एक नेटवर्क कितनी अधिकतम चौड़ाई प्राप्त की जा सकती है, रैक, टीओआर स्विच या लीफ स्विच की अधिकतम संख्या क्या है, यदि वे रैक में नहीं हैं, तो हम स्पाइन-लेवल के लिए उपयोग किए जाने वाले स्विच के रेडिक्स के आधार पर प्राप्त कर सकते हैं, और हम कितने स्तरों का उपयोग करते हैं.

यहां बताया गया है कि हमारे पास कितने रैक हो सकते हैं, कितने सर्वर हो सकते हैं और प्रति रैक 20 किलोवाट के आधार पर यह सब लगभग कितना उपभोग कर सकता है। कुछ समय पहले मैंने उल्लेख किया था कि हम लगभग 100 हजार सर्वरों के क्लस्टर आकार का लक्ष्य रख रहे हैं।

यह देखा जा सकता है कि इस पूरे डिज़ाइन में, ढाई विकल्प दिलचस्प हैं। स्पाइन की दो परतों और 64-पोर्ट स्विच वाला एक विकल्प है, जो थोड़ा छोटा पड़ता है। फिर 128-पोर्ट (मूलांक 128 के साथ) दो स्तरों वाले स्पाइन स्विच, या तीन स्तरों वाले मूलांक 32 वाले स्विच के लिए बिल्कुल उपयुक्त विकल्प हैं। और सभी मामलों में, जहां अधिक रेडिक्स और अधिक परतें हैं, आप एक बहुत बड़ा नेटवर्क बना सकते हैं, लेकिन यदि आप अपेक्षित खपत को देखते हैं, तो आमतौर पर गीगावाट होते हैं। केबल बिछाना संभव है, लेकिन हमें एक ही स्थान पर उतनी बिजली मिलने की संभावना नहीं है। यदि आप डेटा केंद्रों पर आंकड़ों और सार्वजनिक डेटा को देखें, तो आपको 150 मेगावाट से अधिक की अनुमानित क्षमता वाले बहुत कम डेटा केंद्र मिलेंगे। बड़े डेटा सेंटर आमतौर पर डेटा सेंटर परिसर होते हैं, कई बड़े डेटा सेंटर एक-दूसरे के काफी करीब स्थित होते हैं।

एक और महत्वपूर्ण पैरामीटर है. यदि आप बाएं कॉलम को देखते हैं, तो प्रयोग करने योग्य बैंडविड्थ वहां सूचीबद्ध है। यह देखना आसान है कि क्लोज़ नेटवर्क में पोर्ट का एक महत्वपूर्ण हिस्सा स्विच को एक-दूसरे से जोड़ने के लिए उपयोग किया जाता है। प्रयोग करने योग्य बैंडविड्थ, एक उपयोगी पट्टी, कुछ ऐसी चीज है जिसे सर्वर की ओर बाहर दिया जा सकता है। स्वाभाविक रूप से, मैं सशर्त बंदरगाहों और विशेष रूप से बैंड के बारे में बात कर रहा हूं। एक नियम के रूप में, नेटवर्क के भीतर के लिंक सर्वर के लिंक की तुलना में तेज़ होते हैं, लेकिन बैंडविड्थ की प्रति इकाई, जितना हम इसे अपने सर्वर उपकरण को भेज सकते हैं, नेटवर्क के भीतर अभी भी कुछ बैंडविड्थ मौजूद है। और हम जितने अधिक स्तर बनाएंगे, इस पट्टी को बाहर तक उपलब्ध कराने की विशिष्ट लागत उतनी ही अधिक होगी।

इसके अलावा, यह अतिरिक्त बैंड भी बिल्कुल वैसा नहीं है। जबकि स्पैन छोटे हैं, हम डीएसी (डायरेक्ट अटैच कॉपर, यानी ट्विनैक्स केबल्स), या मल्टीमोड ऑप्टिक्स जैसी किसी चीज़ का उपयोग कर सकते हैं, जिसकी कीमत कम या ज्यादा उचित पैसे होती है। जैसे ही हम लंबी अवधि की ओर बढ़ते हैं - एक नियम के रूप में, ये सिंगल मोड ऑप्टिक्स हैं, और इस अतिरिक्त बैंडविड्थ की लागत उल्लेखनीय रूप से बढ़ जाती है।

और फिर, पिछली स्लाइड पर लौटते हुए, यदि हम ओवरसब्सक्रिप्शन के बिना क्लोस नेटवर्क बनाते हैं, तो आरेख को देखना आसान है, देखें कि नेटवर्क कैसे बनाया गया है - स्पाइन स्विच के प्रत्येक स्तर को जोड़ते हुए, हम पूरी स्ट्रिप को दोहराते हैं जो कि थी तल। प्लस लेवल - प्लस समान बैंड, स्विच पर पोर्ट की उतनी ही संख्या जितनी पिछले स्तर पर थी, और ट्रांसीवर की भी उतनी ही संख्या। इसलिए, स्पाइन स्विच के स्तरों की संख्या को कम करना अत्यधिक वांछनीय है।

इस चित्र के आधार पर, यह स्पष्ट है कि हम वास्तव में 128 के मूलांक वाले स्विच जैसा कुछ बनाना चाहते हैं।

यहां, सिद्धांत रूप में, सब कुछ वैसा ही है जैसा मैंने अभी कहा था; यह बाद में विचार के लिए एक स्लाइड है।

ऐसे कौन से विकल्प हैं जिन्हें हम ऐसे स्विच के रूप में चुन सकते हैं? यह हमारे लिए बहुत सुखद खबर है कि अब ऐसे नेटवर्क अंततः सिंगल-चिप स्विच पर बनाए जा सकते हैं। और यह बहुत अच्छा है, इनमें बहुत सारी अच्छी विशेषताएं हैं। उदाहरण के लिए, उनके पास लगभग कोई आंतरिक संरचना नहीं है। इसका मतलब है कि वे अधिक आसानी से टूट जाते हैं। वे हर तरह से टूटते हैं, लेकिन सौभाग्य से वे पूरी तरह टूट जाते हैं। मॉड्यूलर उपकरणों में बड़ी संख्या में दोष (बहुत अप्रिय) होते हैं, जब पड़ोसियों और नियंत्रण विमान के दृष्टिकोण से यह काम करता प्रतीत होता है, लेकिन, उदाहरण के लिए, कपड़े का हिस्सा खो गया है और यह काम नहीं कर रहा है पूरी क्षमता से. और इस पर यातायात इस तथ्य के आधार पर संतुलित है कि यह पूरी तरह कार्यात्मक है, और हम अतिभारित हो सकते हैं।

या, उदाहरण के लिए, बैकप्लेन के साथ समस्याएं उत्पन्न होती हैं, क्योंकि मॉड्यूलर डिवाइस के अंदर हाई-स्पीड सर्डेस भी होते हैं - यह वास्तव में अंदर से जटिल है। अग्रेषण तत्वों के बीच या तो संकेत सिंक्रनाइज़ हैं या सिंक्रनाइज़ नहीं हैं। सामान्य तौर पर, बड़ी संख्या में तत्वों से युक्त कोई भी उत्पादक मॉड्यूलर डिवाइस, एक नियम के रूप में, अपने अंदर एक ही क्लोस नेटवर्क रखता है, लेकिन इसका निदान करना बहुत मुश्किल है। अक्सर स्वयं विक्रेता के लिए भी इसका निदान करना कठिन होता है।

और इसमें बड़ी संख्या में विफलता परिदृश्य हैं जिनमें डिवाइस खराब हो जाता है, लेकिन टोपोलॉजी से पूरी तरह से बाहर नहीं होता है। चूंकि हमारा नेटवर्क बड़ा है, समान तत्वों के बीच संतुलन सक्रिय रूप से उपयोग किया जाता है, नेटवर्क बहुत नियमित है, अर्थात, एक पथ जिस पर सब कुछ क्रम में है वह दूसरे पथ से अलग नहीं है, हमारे लिए बस कुछ खोना अधिक लाभदायक है टोपोलॉजी से उपकरण ऐसी स्थिति में समाप्त होते हैं जहां उनमें से कुछ काम करते प्रतीत होते हैं, लेकिन उनमें से कुछ काम नहीं करते हैं।

सिंगल-चिप उपकरणों की अगली अच्छी विशेषता यह है कि वे बेहतर और तेजी से विकसित होते हैं। उनमें बेहतर क्षमता भी होती है. यदि हम बड़ी एकत्रित संरचनाओं को लेते हैं जो हमारे पास एक सर्कल पर हैं, तो समान गति के बंदरगाहों के लिए प्रति रैक इकाई की क्षमता मॉड्यूलर उपकरणों की तुलना में लगभग दोगुनी है। एकल चिप के आसपास निर्मित उपकरण मॉड्यूलर उपकरणों की तुलना में काफी सस्ते होते हैं और कम ऊर्जा की खपत करते हैं।

लेकिन, निःसंदेह, यह सब एक कारण से है, इसके नुकसान भी हैं। सबसे पहले, रेडिक्स मॉड्यूलर उपकरणों की तुलना में लगभग हमेशा छोटा होता है। यदि हम 128 पोर्ट के साथ एक चिप के आसपास निर्मित डिवाइस प्राप्त कर सकते हैं, तो हम बिना किसी समस्या के अब कई सौ पोर्ट के साथ एक मॉड्यूलर डिवाइस प्राप्त कर सकते हैं।

यह फ़ॉरवर्डिंग तालिकाओं का काफ़ी छोटा आकार है और, एक नियम के रूप में, डेटा प्लेन स्केलेबिलिटी से संबंधित सब कुछ है। उथला बफ़र्स. और, एक नियम के रूप में, बल्कि सीमित कार्यक्षमता। लेकिन यह पता चला है कि यदि आप इन प्रतिबंधों को जानते हैं और उन्हें दरकिनार करने के लिए समय पर सावधानी बरतते हैं या बस उन्हें ध्यान में रखते हैं, तो यह इतना डरावना नहीं है। तथ्य यह है कि मूलांक छोटा है, अब 128 मूलांक वाले उपकरणों पर कोई समस्या नहीं है जो अंततः हाल ही में सामने आए हैं; हम रीढ़ की दो परतों में निर्माण कर सकते हैं। लेकिन हमारे लिए दिलचस्प दो से छोटी कोई भी चीज़ बनाना अभी भी असंभव है। एक स्तर से बहुत छोटे-छोटे समूह प्राप्त होते हैं। यहां तक ​​कि हमारे पिछले डिज़ाइन और आवश्यकताएं अभी भी उनसे अधिक हैं।

वास्तव में, यदि अचानक कहीं समाधान कगार पर है, तो अभी भी पैमाने पर पहुंचने का एक रास्ता है। चूंकि अंतिम (या पहला), सबसे निचला स्तर जहां सर्वर जुड़े हुए हैं, टीओआर स्विच या लीफ स्विच हैं, हमें उनसे एक रैक कनेक्ट करने की आवश्यकता नहीं है। इसलिए, यदि समाधान लगभग आधे से कम हो जाता है, तो आप निचले स्तर पर बड़े रेडिक्स वाले स्विच का उपयोग करने और उदाहरण के लिए, दो या तीन रैक को एक स्विच में जोड़ने के बारे में सोच सकते हैं। यह भी एक विकल्प है, इसकी अपनी लागतें हैं, लेकिन यह काफी अच्छी तरह से काम करता है और जब आपको लगभग दोगुने आकार तक पहुंचने की आवश्यकता हो तो यह एक अच्छा समाधान हो सकता है।

संक्षेप में कहें तो, हम आठ फ़ैक्टरी परतों के साथ रीढ़ के दो स्तरों वाली एक टोपोलॉजी पर निर्माण कर रहे हैं।

फिजिक्स का क्या होगा? बहुत ही सरल गणना. यदि हमारे पास स्पाइन के दो स्तर हैं, तो हमारे पास स्विच के केवल तीन स्तर हैं, और हम उम्मीद करते हैं कि नेटवर्क में तीन केबल खंड होंगे: सर्वर से लीफ स्विच, स्पाइन 1 से स्पाइन 2 तक। विकल्प जो हम कर सकते हैं उपयोग हैं - ये ट्विनैक्स, मल्टीमोड, सिंगल मोड हैं। और यहां हमें इस बात पर विचार करने की आवश्यकता है कि कौन सी पट्टी उपलब्ध है, इसकी लागत कितनी होगी, भौतिक आयाम क्या हैं, हम कौन से स्पैन को कवर कर सकते हैं, और हम कैसे अपग्रेड करेंगे।

लागत के संदर्भ में, सब कुछ पंक्तिबद्ध किया जा सकता है। ट्विनैक्स सक्रिय ऑप्टिक्स की तुलना में काफी सस्ते हैं, मल्टीमोड ट्रांसीवर की तुलना में सस्ते हैं, यदि आप इसे अंत से प्रति उड़ान लेते हैं, तो 100-गीगाबिट स्विच पोर्ट की तुलना में कुछ हद तक सस्ता है। और, कृपया ध्यान दें, इसकी लागत सिंगल मोड ऑप्टिक्स से कम है, क्योंकि उन उड़ानों में जहां सिंगल मोड की आवश्यकता होती है, डेटा केंद्रों में कई कारणों से सीडब्ल्यूडीएम का उपयोग करना समझ में आता है, जबकि समानांतर सिंगल मोड (पीएसएम) काम करने के लिए बहुत सुविधाजनक नहीं है। के साथ, बहुत बड़े पैक में फाइबर प्राप्त होते हैं, और यदि हम इन प्रौद्योगिकियों पर ध्यान केंद्रित करते हैं, तो हमें लगभग निम्नलिखित मूल्य पदानुक्रम मिलता है।

एक और नोट: दुर्भाग्य से, अलग-अलग 100 से 4x25 मल्टीमोड पोर्ट का उपयोग करना बहुत संभव नहीं है। SFP28 ट्रांससीवर्स की डिज़ाइन विशेषताओं के कारण, यह 28 Gbit QSFP100 से अधिक सस्ता नहीं है। और मल्टीमोड के लिए यह डिस्सेम्बली बहुत अच्छी तरह से काम नहीं करती है।

एक और सीमा यह है कि कंप्यूटिंग क्लस्टर के आकार और सर्वर की संख्या के कारण, हमारे डेटा केंद्र भौतिक रूप से बड़े हो जाते हैं। इसका मतलब है कि कम से कम एक उड़ान सिंगलमॉड से करनी होगी। फिर, पॉड्स के भौतिक आकार के कारण, ट्विनैक्स (कॉपर केबल) के दो स्पैन चलाना संभव नहीं होगा।

परिणामस्वरूप, यदि हम कीमत के लिए अनुकूलन करते हैं और इस डिज़ाइन की ज्यामिति को ध्यान में रखते हैं, तो हमें CWDM का उपयोग करके ट्विनैक्स का एक स्पैन, मल्टीमोड का एक स्पैन और सिंगलमोड का एक स्पैन मिलता है। यह संभावित उन्नयन पथों को ध्यान में रखता है।

हाल ही में ऐसा ही लग रहा है, हम किधर जा रहे हैं और क्या संभव है। यह स्पष्ट है, कम से कम, मल्टीमोड और सिंगलमोड दोनों के लिए 50-गीगाबिट सर्डेस की ओर कैसे बढ़ना है। इसके अलावा, यदि आप देखें कि अभी और भविष्य में 400जी के लिए सिंगल-मोड ट्रांसीवर में क्या है, तो अक्सर तब भी जब 50जी सर्ड विद्युत पक्ष से आते हैं, 100 जीबीपीएस प्रति लेन पहले से ही ऑप्टिक्स में जा सकते हैं। इसलिए, यह बहुत संभव है कि 50 पर जाने के बजाय, 100 गीगाबिट सर्ड और 100 जीबीपीएस प्रति लेन में संक्रमण होगा, क्योंकि कई विक्रेताओं के वादों के अनुसार, उनकी उपलब्धता बहुत जल्द होने की उम्मीद है। ऐसा लगता है कि वह अवधि जब 50जी सर्डेस सबसे तेज़ थी, बहुत लंबी नहीं होगी, क्योंकि 100जी सर्डेस की पहली प्रतियां लगभग अगले साल सामने आ रही हैं। और उसके कुछ समय बाद वे संभवतः उचित पैसे के लायक होंगे।

भौतिकी की पसंद के बारे में एक और बारीकियाँ। सिद्धांत रूप में, हम पहले से ही 400G सर्डेस का उपयोग करके 200 या 50 गीगाबिट पोर्ट का उपयोग कर सकते हैं। लेकिन यह पता चला है कि इसका कोई खास मतलब नहीं है, क्योंकि, जैसा कि मैंने पहले कहा था, हम निश्चित रूप से, कारण के भीतर, स्विच पर काफी बड़ा रेडिक्स चाहते हैं। हम 128 चाहते हैं। और यदि हमारे पास सीमित चिप क्षमता है और हम लिंक गति बढ़ाते हैं, तो मूलांक स्वाभाविक रूप से कम हो जाता है, कोई चमत्कार नहीं होता है।

और हम विमानों का उपयोग करके कुल क्षमता बढ़ा सकते हैं, और इसमें कोई विशेष लागत नहीं है; हम विमानों की संख्या जोड़ सकते हैं। और यदि हम रेडिक्स खो देते हैं, तो हमें एक अतिरिक्त स्तर पेश करना होगा, इसलिए वर्तमान स्थिति में, प्रति चिप वर्तमान अधिकतम उपलब्ध क्षमता के साथ, यह पता चलता है कि 100-गीगाबिट पोर्ट का उपयोग करना अधिक कुशल है, क्योंकि वे आपको अनुमति देते हैं एक बड़ा मूलांक प्राप्त करने के लिए.

अगला प्रश्न यह है कि भौतिकी को कैसे व्यवस्थित किया जाता है, लेकिन केबल बुनियादी ढांचे के दृष्टिकोण से। इससे पता चलता है कि इसे काफी मजाकिया तरीके से आयोजित किया गया है। लीफ-स्विच और प्रथम-स्तरीय स्पाइन के बीच केबलिंग - वहां बहुत सारे लिंक नहीं हैं, सब कुछ अपेक्षाकृत सरलता से बनाया गया है। लेकिन अगर हम एक विमान लेते हैं, तो अंदर क्या होता है कि हमें पहले स्तर की सभी रीढ़ों को दूसरे स्तर की सभी रीढ़ों से जोड़ना होता है।

साथ ही, एक नियम के रूप में, डेटा सेंटर के अंदर यह कैसा दिखना चाहिए, इसके बारे में कुछ इच्छाएँ हैं। उदाहरण के लिए, हम वास्तव में केबलों को एक बंडल में जोड़ना और उन्हें खींचना चाहते थे ताकि एक उच्च-घनत्व पैच पैनल पूरी तरह से एक पैच पैनल में चला जाए, ताकि लंबाई के मामले में कोई चिड़ियाघर न हो। हम इस समस्या को हल करने में कामयाब रहे. यदि आप प्रारंभ में तार्किक टोपोलॉजी को देखें, तो आप देख सकते हैं कि विमान स्वतंत्र हैं, प्रत्येक विमान अपने आप बनाया जा सकता है। लेकिन जब हम इस तरह का एक बंडल जोड़ते हैं और पूरे पैच पैनल को एक पैच पैनल में खींचना चाहते हैं, तो हमें एक बंडल के अंदर अलग-अलग विमानों को मिलाना होगा और ऑप्टिकल क्रॉस-कनेक्शन के रूप में एक मध्यवर्ती संरचना पेश करनी होगी ताकि उन्हें फिर से पैक किया जा सके कि उन्हें कैसे इकट्ठा किया गया था। एक खंड पर, दूसरे खंड पर उन्हें कैसे एकत्र किया जाएगा। इसके लिए धन्यवाद, हमें एक अच्छी सुविधा मिलती है: सभी जटिल स्विचिंग रैक से आगे नहीं जाती हैं। जब आपको किसी चीज को बहुत मजबूती से जोड़ने की जरूरत होती है, "विमानों को खोलना", जैसा कि कभी-कभी क्लोस नेटवर्क में कहा जाता है, तो यह सब एक रैक के अंदर केंद्रित होता है। हमारे पास रैक के बीच स्विच करने, अलग-अलग लिंक तक, अत्यधिक अलग-अलग नहीं हैं।

केबल बुनियादी ढांचे के तार्किक संगठन के दृष्टिकोण से यह इस तरह दिखता है। बाईं ओर की तस्वीर में, बहु-रंगीन ब्लॉक प्रथम-स्तरीय स्पाइन स्विच के ब्लॉक, प्रत्येक के आठ टुकड़े, और उनसे आने वाले केबल के चार बंडलों को दर्शाते हैं, जो स्पाइन -2 स्विच के ब्लॉक से आने वाले बंडलों के साथ जाते हैं और एक दूसरे को काटते हैं। .

छोटे वर्ग चौराहों को दर्शाते हैं। ऊपर बाईं ओर ऐसे प्रत्येक चौराहे का विवरण है, यह वास्तव में एक 512 गुणा 512 पोर्ट क्रॉस-कनेक्ट मॉड्यूल है जो केबलों को दोबारा पैक करता है ताकि वे पूरी तरह से एक रैक में आ जाएं, जहां केवल एक स्पाइन -2 विमान है। और दाईं ओर, इस तस्वीर का स्कैन स्पाइन-1 स्तर पर कई पॉड्स के संबंध में थोड़ा और विस्तृत है, और इसे क्रॉस-कनेक्ट में कैसे पैक किया जाता है, यह स्पाइन-2 स्तर पर कैसे आता है।

यह है जो ऐसा लग रहा है। स्पाइन-2 स्टैंड (बाईं ओर) और क्रॉस-कनेक्ट स्टैंड अभी तक पूरी तरह से इकट्ठे नहीं हुए हैं। दुर्भाग्य से, वहाँ देखने के लिए बहुत कुछ नहीं है। यह संपूर्ण संरचना अभी हमारे बड़े डेटा केंद्रों में से एक में तैनात की जा रही है जिसका विस्तार किया जा रहा है। यह कार्य प्रगति पर है, यह अच्छा लगेगा, यह बेहतर ढंग से भरा जाएगा।

एक महत्वपूर्ण प्रश्न: हमने तार्किक टोपोलॉजी को चुना और भौतिकी का निर्माण किया। नियंत्रण विमान का क्या होगा? ऑपरेटिंग अनुभव से यह काफी अच्छी तरह से ज्ञात है, ऐसी कई रिपोर्टें हैं कि लिंक स्टेट प्रोटोकॉल अच्छे हैं, उनके साथ काम करना खुशी की बात है, लेकिन, दुर्भाग्य से, वे सघन रूप से जुड़े टोपोलॉजी पर अच्छा स्केल नहीं करते हैं। और एक मुख्य कारक है जो इसे रोकता है - यह है कि लिंक राज्य प्रोटोकॉल में बाढ़ कैसे काम करती है। यदि आप केवल बाढ़ एल्गोरिदम लेते हैं और देखते हैं कि हमारा नेटवर्क कैसे संरचित है, तो आप देख सकते हैं कि प्रत्येक चरण पर एक बहुत बड़ा फैनआउट होगा, और यह बस नियंत्रण विमान को अपडेट से भर देगा। विशेष रूप से, ऐसी टोपोलॉजी लिंक स्टेट प्रोटोकॉल में पारंपरिक बाढ़ एल्गोरिदम के साथ बहुत खराब तरीके से मिश्रित होती हैं।

विकल्प बीजीपी का उपयोग करना है। बड़े डेटा केंद्रों में बीजीपी के उपयोग के बारे में आरएफसी 7938 में इसे सही तरीके से कैसे तैयार किया जाए, इसका वर्णन किया गया है। मूल विचार सरल हैं: प्रति होस्ट उपसर्गों की न्यूनतम संख्या और आम तौर पर नेटवर्क पर उपसर्गों की न्यूनतम संख्या, यदि संभव हो तो एकत्रीकरण का उपयोग करें, और पथ शिकार को रोकें। हम अपडेट का बहुत सावधानीपूर्वक, बहुत नियंत्रित वितरण चाहते हैं, जिसे वैली फ्री कहा जाता है। हम चाहते हैं कि अपडेट नेटवर्क से गुजरते ही ठीक एक बार तैनात किए जाएं। यदि वे नीचे से उत्पन्न होते हैं, तो वे ऊपर जाते हैं, एक से अधिक बार प्रकट नहीं होते हैं। कोई टेढ़ा-मेढ़ा नहीं होना चाहिए. ज़िगज़ैग बहुत ख़राब हैं.

ऐसा करने के लिए, हम एक ऐसे डिज़ाइन का उपयोग करते हैं जो अंतर्निहित बीजीपी तंत्र का उपयोग करने के लिए काफी सरल है। अर्थात्, हम लिंक लोकल पर चलने वाले ईबीजीपी का उपयोग करते हैं, और स्वायत्त प्रणालियों को निम्नानुसार सौंपा गया है: टीओआर पर एक स्वायत्त प्रणाली, एक पॉड के स्पाइन-1 स्विच के पूरे ब्लॉक पर एक स्वायत्त प्रणाली, और पूरे शीर्ष पर एक सामान्य स्वायत्त प्रणाली कपड़े का. यह देखना और देखना कठिन नहीं है कि बीजीपी का सामान्य व्यवहार भी हमें उन अपडेट का वितरण देता है जो हम चाहते हैं।

स्वाभाविक रूप से, एड्रेसिंग और एड्रेस एकत्रीकरण को डिज़ाइन किया जाना चाहिए ताकि यह रूटिंग के निर्माण के तरीके के अनुकूल हो, ताकि यह नियंत्रण विमान की स्थिरता सुनिश्चित कर सके। ट्रांसपोर्ट में L3 एड्रेसिंग टोपोलॉजी से जुड़ा हुआ है, क्योंकि इसके बिना एकत्रीकरण हासिल करना असंभव है; इसके बिना, व्यक्तिगत पते रूटिंग सिस्टम में रेंग जाएंगे। और एक और बात यह है कि एकत्रीकरण, दुर्भाग्य से, मल्टी-पाथ के साथ बहुत अच्छी तरह से मिश्रण नहीं करता है, क्योंकि जब हमारे पास मल्टी-पाथ होता है और हमारे पास एकत्रीकरण होता है, तो सब कुछ ठीक होता है, जब पूरा नेटवर्क स्वस्थ होता है, तो इसमें कोई विफलता नहीं होती है। दुर्भाग्य से, जैसे ही नेटवर्क में विफलताएँ दिखाई देती हैं और टोपोलॉजी की समरूपता खो जाती है, हम उस बिंदु पर आ सकते हैं जहाँ से इकाई की घोषणा की गई थी, जहाँ से हम आगे नहीं जा सकते जहाँ हमें जाने की आवश्यकता है। इसलिए, वहां एकत्रित करना सबसे अच्छा है जहां कोई और मल्टी-पाथ नहीं है, हमारे मामले में ये टीओआर स्विच हैं।

वास्तव में, एकत्रीकरण संभव है, लेकिन सावधानी से। यदि नेटवर्क विफलता होने पर हम नियंत्रित पृथक्करण कर सकते हैं। लेकिन यह काफी मुश्किल काम है, हमने यह भी सोचा कि क्या ऐसा करना संभव होगा, क्या अतिरिक्त स्वचालन जोड़ना संभव है, और सीमित राज्य मशीनें जो वांछित व्यवहार प्राप्त करने के लिए बीजीपी को सही ढंग से किक कर सकें। दुर्भाग्य से, कोने के मामलों को संसाधित करना बहुत गैर-स्पष्ट और जटिल है, और बीजीपी में बाहरी अनुलग्नक संलग्न करके यह कार्य अच्छी तरह से हल नहीं किया गया है।

इस संबंध में आरआईएफटी प्रोटोकॉल के ढांचे के भीतर बहुत दिलचस्प काम किया गया है, जिसकी चर्चा अगली रिपोर्ट में की जाएगी।

एक और महत्वपूर्ण बात यह है कि घने टोपोलॉजी में डेटा प्लेन कैसे स्केल करते हैं, जहां हमारे पास बड़ी संख्या में वैकल्पिक रास्ते हैं। इस मामले में, कई अतिरिक्त डेटा संरचनाओं का उपयोग किया जाता है: ईसीएमपी समूह, जो बदले में नेक्स्ट हॉप समूहों का वर्णन करते हैं।

सामान्य रूप से काम करने वाले नेटवर्क में, विफलताओं के बिना, जब हम क्लोस टोपोलॉजी पर जाते हैं, तो केवल एक समूह का उपयोग करना पर्याप्त होता है, क्योंकि जो कुछ भी स्थानीय नहीं है वह डिफ़ॉल्ट रूप से वर्णित है, हम ऊपर जा सकते हैं। जब हम ऊपर से नीचे दक्षिण की ओर जाते हैं, तो सभी पथ ECMP नहीं होते, वे एकल पथ पथ होते हैं। और सब ठीक है न। परेशानी यह है, और क्लासिक क्लोस टोपोलॉजी की ख़ासियत यह है कि यदि हम कपड़े के शीर्ष पर, किसी भी तत्व को देखते हैं, तो नीचे किसी भी तत्व के लिए केवल एक ही रास्ता है। यदि इस पथ पर विफलताएँ होती हैं, तो फ़ैक्टरी के शीर्ष पर स्थित यह विशेष तत्व उन उपसर्गों के लिए अमान्य हो जाता है जो टूटे हुए पथ के पीछे स्थित हैं। लेकिन बाकी के लिए यह मान्य है, और हमें ईसीएमपी समूहों को पार्स करना होगा और एक नया राज्य पेश करना होगा।

आधुनिक उपकरणों पर डेटा प्लेन स्केलेबिलिटी कैसी दिखती है? यदि हम एलपीएम (सबसे लंबा उपसर्ग मिलान) करते हैं, तो सब कुछ काफी अच्छा है, 100 हजार से अधिक उपसर्ग। अगर हम नेक्स्ट हॉप समूहों के बारे में बात कर रहे हैं, तो सब कुछ बदतर है, 2-4 हजार। यदि हम एक तालिका के बारे में बात कर रहे हैं जिसमें नेक्स्ट हॉप्स (या आसन्न) का विवरण है, तो यह 16k से 64k तक है। और ये एक समस्या बन सकती है. और यहां हम एक दिलचस्प विषयांतर पर आते हैं: डेटा केंद्रों में एमपीएलएस का क्या हुआ? सिद्धांत रूप में, हम यह करना चाहते थे।

दो बातें हुईं. हमने मेजबानों पर सूक्ष्म-विभाजन किया; अब हमें इसे नेटवर्क पर करने की आवश्यकता नहीं है। यह विभिन्न विक्रेताओं के समर्थन के साथ बहुत अच्छा नहीं था, और एमपीएलएस के साथ सफेद बक्सों पर खुले कार्यान्वयन के साथ तो और भी अच्छा नहीं था। और एमपीएलएस, कम से कम इसका पारंपरिक कार्यान्वयन, दुर्भाग्य से, ईसीएमपी के साथ बहुत खराब तरीके से मेल खाता है। और यही कारण है।

आईपी ​​के लिए ईसीएमपी अग्रेषण संरचना इस तरह दिखती है। बड़ी संख्या में उपसर्ग एक ही समूह और एक ही नेक्स्ट हॉप्स ब्लॉक (या आसन्नता, इसे अलग-अलग उपकरणों के लिए अलग-अलग दस्तावेज़ों में अलग-अलग कहा जा सकता है) का उपयोग कर सकते हैं। मुद्दा यह है कि इसे आउटगोइंग पोर्ट के रूप में वर्णित किया गया है और सही नेक्स्ट हॉप तक पहुंचने के लिए मैक पते को फिर से लिखना होगा। आईपी ​​​​के लिए सब कुछ सरल दिखता है, आप एक ही समूह, एक ही नेक्स्ट हॉप्स ब्लॉक के लिए बहुत बड़ी संख्या में उपसर्गों का उपयोग कर सकते हैं।

क्लासिक एमपीएलएस आर्किटेक्चर का तात्पर्य है कि, आउटगोइंग इंटरफ़ेस के आधार पर, लेबल को विभिन्न मानों पर फिर से लिखा जा सकता है। इसलिए, हमें प्रत्येक इनपुट लेबल के लिए एक समूह और एक नेक्स्ट हॉप्स ब्लॉक रखने की आवश्यकता है। और अफ़सोस, इसका कोई पैमाना नहीं है।

यह देखना आसान है कि हमारे डिज़ाइन में हमें लगभग 4000 टीओआर स्विच की आवश्यकता थी, अधिकतम चौड़ाई 64 ईसीएमपी पथ थी, अगर हम स्पाइन -1 से स्पाइन -2 की ओर बढ़ते हैं। यदि टीओआर के साथ केवल एक उपसर्ग हटा दिया जाता है, तो हम मुश्किल से ईसीएमपी समूहों की एक तालिका में पहुंच पाते हैं, और हम अगली हॉप्स तालिका में बिल्कुल भी नहीं पहुंच पाते हैं।

यह सब निराशाजनक नहीं है, क्योंकि सेगमेंट रूटिंग जैसे आर्किटेक्चर में वैश्विक लेबल शामिल होते हैं। औपचारिक रूप से, इन सभी नेक्स्ट हॉप्स ब्लॉकों को फिर से ध्वस्त करना संभव होगा। ऐसा करने के लिए, आपको एक वाइल्ड कार्ड प्रकार के ऑपरेशन की आवश्यकता है: एक लेबल लें और उसे बिना किसी विशिष्ट मान के उसी में फिर से लिखें। लेकिन दुर्भाग्य से, यह उपलब्ध कार्यान्वयन में मौजूद नहीं है।

और अंत में, हमें बाहरी ट्रैफ़िक को डेटा सेंटर में लाने की आवश्यकता है। इसे कैसे करना है? पहले, ट्रैफ़िक को ऊपर से क्लोज़ नेटवर्क में पेश किया गया था। यानी, एज राउटर्स थे जो फैब्रिक के शीर्ष पर सभी डिवाइसों से जुड़े थे। यह समाधान छोटे से मध्यम आकार पर काफी अच्छा काम करता है। दुर्भाग्य से, इस तरह से पूरे नेटवर्क पर ट्रैफ़िक को सममित रूप से भेजने के लिए, हमें फैब्रिक के शीर्ष के सभी तत्वों पर एक साथ पहुंचने की आवश्यकता है, और जब उनमें से सौ से अधिक होते हैं, तो यह पता चलता है कि हमें एक बड़ी की भी आवश्यकता है एज राउटर्स पर रेडिक्स। सामान्य तौर पर, इसमें पैसा खर्च होता है, क्योंकि एज राउटर अधिक कार्यात्मक होते हैं, उन पर पोर्ट अधिक महंगे होंगे, और डिज़ाइन बहुत सुंदर नहीं है।

दूसरा विकल्प यह है कि ऐसे ट्रैफ़िक को नीचे से शुरू किया जाए। यह सत्यापित करना आसान है कि क्लोस टोपोलॉजी इस तरह से बनाई गई है कि नीचे से आने वाला ट्रैफ़िक, यानी टीओआर की ओर से, पूरे नेटवर्क को लोड करते हुए, दो पुनरावृत्तियों में फैब्रिक के पूरे शीर्ष पर स्तरों के बीच समान रूप से वितरित किया जाता है। इसलिए, हम एक विशेष प्रकार का पॉड, एज पॉड पेश करते हैं, जो बाहरी कनेक्टिविटी प्रदान करता है।

एक और विकल्प है. उदाहरण के लिए, फेसबुक यही करता है। वे इसे फैब्रिक एग्रीगेटर या एचजीआरआईडी कहते हैं। कई डेटा केंद्रों को जोड़ने के लिए एक अतिरिक्त स्पाइन लेवल पेश किया जा रहा है। यह डिज़ाइन संभव है यदि हमारे पास इंटरफ़ेस पर अतिरिक्त फ़ंक्शन या इनकैप्सुलेशन परिवर्तन नहीं हैं। यदि वे अतिरिक्त स्पर्श बिंदु हैं, तो यह कठिन है। आमतौर पर, डेटा सेंटर के विभिन्न हिस्सों को अलग करने वाले अधिक कार्य और एक प्रकार की झिल्ली होती है। ऐसी झिल्ली को बड़ा बनाने का कोई मतलब नहीं है, लेकिन अगर किसी कारण से इसकी वास्तव में आवश्यकता है, तो इसे दूर ले जाने, इसे जितना संभव हो उतना चौड़ा बनाने और मेजबानों को स्थानांतरित करने की संभावना पर विचार करना समझ में आता है। उदाहरण के लिए, यह कई क्लाउड ऑपरेटरों द्वारा किया जाता है। उनके पास ओवरले हैं, वे मेजबानों से शुरू होते हैं।

हम विकास के क्या अवसर देखते हैं? सबसे पहले, सीआई/सीडी पाइपलाइन के लिए समर्थन में सुधार करना। हम उसी तरह उड़ना चाहते हैं जिस तरह हम परीक्षण करते हैं और जिस तरह हम उड़ते हैं उसका परीक्षण करना चाहते हैं। यह बहुत अच्छी तरह से काम नहीं करता है, क्योंकि बुनियादी ढांचा बड़ा है और परीक्षणों के लिए इसकी नकल करना असंभव है। आपको यह समझने की आवश्यकता है कि उत्पादन के बुनियादी ढांचे में परीक्षण तत्वों को बिना गिराए कैसे शामिल किया जाए।

बेहतर उपकरण और बेहतर निगरानी लगभग कभी भी अनावश्यक नहीं होती। पूरा प्रश्न प्रयास और वापसी के संतुलन का है। यदि आप इसे उचित प्रयास से जोड़ सकें तो बहुत अच्छा।

नेटवर्क उपकरणों के लिए ऑपरेटिंग सिस्टम खोलें। बेहतर प्रोटोकॉल और बेहतर रूटिंग सिस्टम, जैसे कि RIFT। बेहतर भीड़ नियंत्रण योजनाओं के उपयोग और शायद क्लस्टर के भीतर आरडीएमए समर्थन की शुरूआत, कम से कम कुछ बिंदुओं पर अनुसंधान की भी आवश्यकता है।

भविष्य की ओर देखते हुए, हमें उन्नत टोपोलॉजी और संभवतः ऐसे नेटवर्क की आवश्यकता है जो कम ओवरहेड का उपयोग करें। ताज़ा चीज़ों में से, हाल ही में एचपीसी क्रे स्लिंगशॉट के लिए फैब्रिक तकनीक के बारे में प्रकाशन हुए हैं, जो कमोडिटी ईथरनेट पर आधारित है, लेकिन बहुत छोटे हेडर का उपयोग करने के विकल्प के साथ। परिणामस्वरूप, ओवरहेड कम हो जाता है।

हर चीज़ को यथासंभव सरल रखा जाना चाहिए, लेकिन इससे अधिक सरल नहीं। जटिलता स्केलेबिलिटी की दुश्मन है. सादगी और नियमित संरचनाएं हमारे मित्र हैं। यदि आप कहीं स्केल आउट कर सकते हैं, तो करें। और सामान्य तौर पर, अब नेटवर्क प्रौद्योगिकियों में शामिल होना बहुत अच्छा है। बहुत सारी दिलचस्प चीज़ें चल रही हैं। धन्यवाद।

स्रोत: www.habr.com