ब्लूमबर्ग की स्टोरेज सपोर्ट टीम ओपन सोर्स और एसडीएस पर निर्भर है

TL, डॉ: ब्लूमबर्ग स्टोरेज इंजीनियरिंग टीम ने आंतरिक उपयोग के लिए क्लाउड स्टोरेज बनाया जो बुनियादी ढांचे में हस्तक्षेप नहीं करता है और महामारी के दौरान व्यापार की अस्थिरता के भारी भार का सामना कर सकता है।

ब्लूमबर्ग स्टोरेज इंजीनियरिंग टीम में तकनीकी प्रबंधक के रूप में अपने काम के बारे में बात करते समय मैथ्यू लियोनार्ड अक्सर "चुनौतीपूर्ण" और "मज़ेदार" शब्दों का उपयोग करते हैं। नवीनतम NVMe-आधारित SAN सरणियों से लेकर DevOps में ओपन सोर्स सॉफ़्टवेयर-परिभाषित स्टोरेज तक, भंडारण के व्यापक दायरे से चुनौतियाँ उत्पन्न होती हैं। यहीं से "मज़ा" शुरू होता है (हैब्रे पर मेरा अवतार देखें, लगभग। अनुवादक).

लियोनार्ड और उनके 25 सहयोगियों की टीम ब्लूमबर्ग टर्मिनल के लिए एप्लिकेशन विकसित करने वाले 100 इंजीनियरों के लिए 6000 पेटाबाइट से अधिक क्षमता और एक आंतरिक क्लाउड की देखरेख करती है, वह तकनीक जिसने माइकल ब्लूमबर्ग को अरबपति बना दिया। टीम ब्लूमबर्ग इंजीनियरिंग के लिए भंडारण प्रणालियों को डिजाइन, निर्माण और रखरखाव करती है।

बाकी आईटी पेशे की तरह, स्टोरेज इंजीनियरिंग टीम के सदस्यों के लिए 2020 एक असामान्य वर्ष था क्योंकि COVID-19 ने उन्हें दूर से काम करने के लिए मजबूर किया। लियोनार्ड ने कहा कि महामारी ने सामाजिक रूप से उनकी "गठित टीम" को प्रभावित किया है क्योंकि आमने-सामने की बातचीत समाप्त हो गई है, लेकिन कर्मचारियों ने लैपटॉप और वीडियो कॉन्फ्रेंसिंग पर घर से काम करने के लिए बहुत जल्दी अनुकूलित किया है।

आश्चर्यजनक रूप से, मैं यह कहना चाहता हूं कि इससे चीजें बदतर नहीं हुईं। अनुकूलन की एक छोटी अवधि थी - हर कोई घर से काम करने के लिए तैयार नहीं था। एक-दो हफ्ते बाद ये बात सबको समझ आ गई. हम इस समय के दौरान कंपनी को समर्थन देने के लिए खुद को व्यस्त रखने, उपकरण खरीदने और अपग्रेड करने और लागत बढ़ाने के तरीके ढूंढने में सक्षम थे। हमें रचनात्मक होना था, लेकिन हमें चोट नहीं पहुंची

सबसे बड़ी चुनौती शायद कोविड-19 के चरम से पहले ही आ गई थी। ऐसा वैश्विक अर्थव्यवस्था पर महामारी के प्रभाव के बारे में चिंताओं के कारण अस्थिर बाजार व्यापार के कारण था। वैश्विक पूंजी बाजारों से ब्लूमबर्ग टर्मिनलों में आने वाले डेटा की मात्रा लगभग दोगुनी हो गई, जो मार्च के अंत में कुछ दिनों में 240 बिलियन जानकारी तक पहुंच गई। यह भंडारण प्रणालियों का एक गंभीर परीक्षण है।

जब आप एक ही दिन में अपनी भंडारण आवश्यकताओं को तुरंत दोगुना कर देते हैं, तो यह दिलचस्प समस्याएं पैदा करता है। हम इस पर काबू पाने और यह सुनिश्चित करने में सक्षम थे कि एप्लिकेशन विकास टीमों को वह स्थान और प्रदर्शन दिया जाए जिसकी उन्हें आवश्यकता थी। इसका अधिकांश संबंध इस बात से है कि हम भंडारण प्रणालियों के बारे में कैसे सोचते हैं। आज हम कुछ भी नहीं बना रहे हैं. हम यह नहीं कहते, "हम एबीसी का उपयोग करते हैं, इसलिए हम एबीसी के लिए बुनियादी ढांचे का निर्माण करेंगे।" हम उपयोग का पूर्वानुमान लगाने, उपयोग और प्रदर्शन के रुझानों का विश्लेषण करने के लिए अपनी टीमों के साथ वह काम करते हैं जिसे हम "डेटा बजटिंग" कहते हैं, और हम सुरक्षा पर भी ध्यान देते हैं। इस प्रकार की योजना, सोच और व्यवस्थित परिश्रम हमें बिना किसी परेशानी के उछाल पर कठोर कार्रवाई करने की अनुमति देता है। बेशक, मैं घबराया हुआ था, लेकिन मैं अपनी जगह पर रहकर सहज महसूस कर रहा था।

लियोनार्ड ने हाल ही में डेटा-संचालित व्यवसायों के लिए भंडारण के प्रबंधन के बारे में सर्चस्टोरेज के साथ विस्तार से बात की। उन्होंने चर्चा की कि ब्लूमबर्ग डेटा केंद्रों में किसी भी डेटा को रखते हुए अपने उपयोगकर्ताओं को AWS सुविधाएँ प्रदान करने की क्षमता के साथ एक निजी क्लाउड स्टोरेज समाधान की पेशकश करने में क्या लगेगा।

यदि अब कोई महामारी नहीं है, तो ब्लूमबर्ग इंजीनियरों को भंडारण के प्रबंधन में क्या कठिनाइयाँ आती हैं?

हमारी कई ज़रूरतें हैं, हम बस अलग-अलग दिशाओं में बंटे हुए हैं। इसलिए हमें अपने एप्लिकेशन डेवलपर्स को स्टोरेज के बारे में चिंता करने के बजाय अपने कार्यों पर ध्यान केंद्रित करने में मदद करने के लिए विभिन्न एसएलए स्तरों पर कई अलग-अलग प्रकार के उत्पाद प्रदान करने की आवश्यकता है।

और इसके लिए आप क्या रणनीति अपनाते हैं?

हम जो करने का प्रयास कर रहे हैं उसका एक हिस्सा भंडारण प्रदर्शन में सुधार करना है। AWS मॉडल के बारे में सोचें जहां एक विकास इंजीनियर आता है, एक बटन दबाता है, और फिर "क्लिक" करने से जादुई ढंग से अपनी समस्या का समाधान करने के लिए सही भंडारण प्रकार प्राप्त हो जाता है।

आपका भंडारण बुनियादी ढांचा कैसा दिखता है?

क्योंकि हमारे पास एक बहुत ही विविध पारिस्थितिकी तंत्र और कई अलग-अलग डेवलपर्स हैं, हम एक ही उत्पाद पेश नहीं कर सकते हैं। हमारे पास ऑब्जेक्ट, फ़ाइल और ब्लॉक स्टोरेज है। ये अलग-अलग उत्पाद हैं और हम इन्हें वितरित करने के लिए विभिन्न प्रकार की तकनीकें पेश करते हैं। ब्लॉक के लिए हम SAN का उपयोग करते हैं। हमारे पास एसडीएस भी है, जो प्रदर्शन आवश्यकताओं के एक अलग सेट के साथ एक और ब्लॉक स्टोरेज विकल्प प्रदान करता है। फ़ाइलों के लिए हम NFS का उपयोग करते हैं। एसडीएस का उपयोग ऑब्जेक्ट स्टोरेज के लिए भी किया जाता है। ब्लॉक और ऑब्जेक्ट भाग कंप्यूटिंग और भंडारण के लिए एक आंतरिक निजी क्लाउड बनाते हैं।

तो क्या आप सार्वजनिक क्लाउड स्टोरेज का उपयोग नहीं करते?

यह सही है। कुछ विकास टीमों को सार्वजनिक क्लाउड का उपयोग करने की अनुमति है। लेकिन हमारे व्यवसाय की प्रकृति के कारण, हम उन चीज़ों पर अधिक नियंत्रण रखना पसंद करते हैं जो हमारी दीवारों से बाहर आती हैं। तो हाँ, हमारे अपने बादल हैं जो हमारे नियंत्रण में हैं। यह हमारे प्रबंधन के तहत हमारे डेटा सेंटर में स्थित उपकरण है।

हमारे डेटा केंद्रों में, हम बहु-विक्रेता रणनीति पसंद करते हैं। वे बड़े आपूर्तिकर्ता हैं, लेकिन हम यह नहीं बताएंगे कि वास्तव में कौन हैं (यह ब्लूमबर्ग की नीति है कि वह किसी भी आपूर्तिकर्ता का समर्थन नहीं करता है, लगभग। अनुवादक).

क्या आप अपना निजी क्लाउड बनाने के लिए हाइपरकन्वर्ज्ड इंफ्रास्ट्रक्चर का उपयोग कर रहे हैं?

नहीं। ब्लूमबर्ग में हम एक ऐसी दिशा चुन रहे हैं जहां हम हाइपरकन्वर्जेंस की ओर नहीं बढ़ रहे हैं। हम गणना को भंडारण से अलग करने का प्रयास कर रहे हैं ताकि हम उन्हें स्वतंत्र रूप से माप सकें। हम जिस दिशा में आगे बढ़ रहे हैं, विशेष रूप से अपने क्लाउड के साथ, वह हमारे लिए उन दो संस्थाओं को अलग करने में सक्षम होना है। और सब इसलिए क्योंकि हमारे देश में कुछ चीजों के लिए गहन गणना की आवश्यकता होती है, जबकि अन्य के लिए भंडारण की आवश्यकता होती है। यदि आप उन्हें समान रूप से मापते हैं, तो आप संसाधनों को खो देंगे, चाहे पैसा कुछ भी हो, या डेटा केंद्रों में जगह, या ऐसी क्षमता खरीदने से जिसकी आपको आवश्यकता नहीं है। इसीलिए हम दोनों संस्थाओं के बीच एक सामान्य इंटरफ़ेस रखना पसंद करते हैं, लेकिन वे पूरी तरह से अलग सिस्टम हों और अलग-अलग टीमों द्वारा प्रबंधित हों।

निजी क्लाउड बनाने के लिए किन बाधाओं को दूर करना होगा?

पैमाने की समस्या. अधिकांश चीज़ों की तरह, शैतान विवरण में है। जब आप सोचते हैं कि ये चीजें कैसे काम करती हैं, उन्हें कैसे लचीला बनाया जाए, परिचालन भार को कैसे संभाला जाए, आप भौतिक संपत्ति टीमों के साथ कैसे संवाद करते हैं, तो चीजें थोड़ी दिलचस्प हो जाती हैं। चुनौती यह है कि हर चीज़ को एक स्केलेबल और समर्थन योग्य उत्पाद बनाने का एक तरीका खोजा जाए, जिसे हमारे एप्लिकेशन डेवलपर्स उपयोग करना चाहेंगे, ताकि सार्वजनिक क्लाउड जो कर रहा है, उसमें अत्याधुनिक रहते हुए फीचर सेट को समृद्ध किया जा सके। और इन सबको एक साथ लाना भी ताकि यह काम करता रहे। यह हमारी मुख्य समस्या है - हम व्यवसाय के सभी क्षेत्रों में काम करते हैं, सभी जरूरतों को पूरा करने की कोशिश करते हैं, लेकिन अन्य जरूरतों को नजरअंदाज नहीं करते हैं।

क्या आपको लगता है कि आपको AWS और अन्य सार्वजनिक क्लाउड में उपलब्ध नवीनतम सुविधाओं की आवश्यकता है?

S3 के बारे में सबसे मज़ेदार तथ्य यह है कि जीवन स्तर लगातार बदल रहा है, हमेशा नई सुविधाएँ जोड़ी जा रही हैं। यह एक नए खिलौने की तरह है. यदि कोई नई रिलीज़ में कोई नई सुविधा देखता है, तो वह उसे चाहता है। सभी AWS सुविधाएँ हमारे परिवेश में लागू नहीं हैं, इसलिए यह जानना महत्वपूर्ण और दिलचस्प है कि डेवलपर्स को क्या मदद मिलेगी और इसे इन-हाउस कैसे प्राप्त किया जाए।

आप कौन से भंडारण उपकरण का उपयोग करते हैं?

हम नवीनतम उपकरणों का उपयोग करते हैं। हमारा आंतरिक क्लाउड पूरी तरह से एनवीएमई फ्लैश पर आधारित है, जो इन प्रणालियों को बहुत शक्तिशाली बनाता है। यह हमारे जीवन को थोड़ा आसान बनाता है, और यह हमारे डेवलपर्स के लिए भी एक अच्छी सुविधा है क्योंकि उन्हें भंडारण प्रदर्शन के बारे में चिंता करने की ज़रूरत नहीं है।

आप ऑब्जेक्ट स्टोरेज का उपयोग किस लिए करते हैं?

हमारे पास 6000 डेवलपर्स बुनियादी ढांचे पर काम कर रहे हैं, वे किसी एक उपयोग के मामले से एकजुट नहीं हैं। आप किसी भी विकल्प के बारे में सोच सकते हैं, संभवतः वह हमारे पास ऑब्जेक्ट स्टोरेज में है। कुछ टीमें इसका उपयोग कोल्ड आर्काइव स्टोरेज के लिए करती हैं, कुछ डेटा ट्रांसफर के लिए करती हैं, और अन्य जो इसका उपयोग लेनदेन संबंधी अनुप्रयोगों के लिए करती हैं। इन सभी उपयोग मामलों के लिए एसएलए के विभिन्न स्तरों की आवश्यकता होती है, इसलिए जैसा कि आप देख सकते हैं, हमारे बुनियादी ढांचे के विभिन्न उपयोगकर्ताओं के लिए हमारे पास विभिन्न प्रकार के ट्रैफ़िक, सभी प्रकार की ज़रूरतें हैं। यह हमारे किसी भी भंडारण के शीर्ष पर चलने वाला एक सजातीय उपयोग का मामला नहीं है, जो स्पष्ट रूप से चीजों को और अधिक जटिल बनाता है।

कुबेरनेट्स और कंटेनर आपके लिए कितनी बड़ी भूमिका निभाते हैं, और यह भंडारण को कैसे प्रभावित करता है?

हम क्लाउड की भावना, एक सेवा के रूप में कुछ की भावना पैदा करने के लिए भंडारण उत्पादकता पर जोर दे रहे हैं, जहां डेवलपर्स के लिए अपने शिल्प में तेजी लाने और रास्ते में बुनियादी ढांचे को हटाने के लिए एक बटन है।

संपादक का एनबी: 15 अक्टूबर 2020 को तैयार हो जाएगा सेफ वीडियो कोर्स. आप दोष सहनशीलता में सुधार के लिए अपनी परियोजनाओं में उपयोग करने के लिए सेफ नेटवर्क स्टोरेज तकनीक सीखेंगे।

हमारी तीन टीमें हैं, पहली स्टोरेज एपीआई टीम है। वे ब्लूमबर्ग में ऐप डेवलपमेंट क्लाइंट के लिए प्रोग्रामेटिक एक्सेस, एंडपॉइंट और पूर्वनिर्धारित वर्कफ़्लो बनाते हैं। यह फुल स्टैक वेब डेवलपर्स की एक टीम है, वे नोड.जेएस, पायथन, अपाचे एयरफ्लो जैसी ओपन सोर्स प्रौद्योगिकियों का उपयोग करते हैं, इसलिए वे कंटेनरीकरण और वर्चुअलाइजेशन का अध्ययन करते हैं।

हमारे पास दो तकनीकी टीमें भी हैं जो वास्तव में बिट्स और बाइट्स को स्थानांतरित करती हैं। वे उपकरण से अधिक सीधे संबंधित हैं। हमारे पास बहुत सारे उपकरण हैं, और ये टीमें वर्चुअलाइजेशन और कंटेनरों का उपयोग नहीं करती हैं।

हम कुबेरनेट्स सीएसआई ड्राइवरों का अध्ययन करते हुए, उद्योग में जो कुछ भी हो रहा है, उसे बनाए रखने की कोशिश कर रहे हैं, और ब्लूमबर्ग में कुबेरनेट्स को लागू करने वाली टीम के साथ मिलकर काम कर रहे हैं ताकि यह आकलन किया जा सके कि क्या हम कुबेरनेट्स स्टोरेज को हमारे पास मौजूद प्रौद्योगिकियों के साथ लगातार काम कर सकते हैं, और हमारे पास है यह काम कर रहा है. हम लगातार स्टोरेज से जुड़े कुबेरनेट्स का समर्थन करने के लिए एसडीएस का उपयोग करते हैं। हमने इस तकनीक को सफलतापूर्वक विकसित कर लिया है, और दोनों टीमों के बीच इस बात पर चर्चा जारी है कि हम इसे ब्लूमबर्ग में अन्य सभी के लिए कैसे उपलब्ध करा सकते हैं। हमने दिखाया है कि यह काफी संभव है।

आप अन्य कौन से ओपन सोर्स सॉफ़्टवेयर का उपयोग करते हैं, विशेष रूप से भंडारण के लिए?

एप्लिकेशन ट्रैफ़िक को सीमित करने के लिए हम Apache Airflow, HAProxy का उपयोग करते हैं। हम एसडीएस के लिए एक प्लेटफॉर्म सेफ का भी उपयोग करते हैं। इसके साथ, आपके पास कमांड के लिए एक सिस्टम हो सकता है, लेकिन क्लाइंट को कई इंटरफ़ेस प्रदान किए जा सकते हैं। वर्चुअलाइजेशन प्लेटफ़ॉर्म में से एक ओपनस्टैक पर चलता है - हम इस टीम के साथ मिलकर काम करते हैं। हमारे पास एक ओपन सोर्स वर्चुअलाइजेशन प्लेटफॉर्म है जो स्टोरेज के लिए ओपन सोर्स एसडीएस प्लेटफॉर्म का उपयोग करता है। यह अजीब है।

अगले दो से तीन वर्षों के लिए आप किन भंडारण तकनीकों पर विचार कर रहे हैं?

हम हमेशा भंडारण उद्योग में होने वाली अन्य अच्छी नई चीजों पर ध्यान देते रहते हैं। यह हमारे काम का हिस्सा है, यह "यहां आपका SAN है, यहां प्रबंधित करें, और यहां आपका NFS है, वहां प्रबंधित करें" नहीं है। हम अपने ग्राहकों के साथ संवाद करने का प्रयास करते हैं, अर्थात्। हमारे एप्लिकेशन डेवलपर्स द्वारा। हम यह समझने के लिए मिलकर काम करते हैं कि वे किन समस्याओं को हल करने का प्रयास कर रहे हैं और इसका हमारे बाहरी ब्लूमबर्ग ग्राहकों - बैंकों और हमारे सॉफ़्टवेयर का उपयोग करने वाले अन्य लोगों पर क्या प्रभाव पड़ेगा। और फिर हम उन्हें उनके लक्ष्य को प्राप्त करने में मदद करने के अवसर खोजने के लिए डेटा भंडारण की दुनिया में वापस जाते हैं। हम उन्हें सही भंडारण तकनीक ढूंढने में कैसे मदद कर सकते हैं जो उनके एसएलए या वे जो करने की कोशिश कर रहे हैं उसके अनुकूल हो? क्योंकि हमारे पास बहुत सारे इंजीनियर हैं जो अच्छी चीजें कर रहे हैं, यह कभी उबाऊ नहीं होता।

हम वर्तमान में एसडीएस के प्रदर्शन को बेहतर बनाने के तरीकों पर विचार कर रहे हैं जो संभावित रूप से सामान्य प्रयोजन सर्वर पर चल सकते हैं। इसलिए हम टीसीपी के बजाय एनवीएमई पर काम कर रहे हैं, यह एक बहुत ही दिलचस्प और अच्छी पहल है, कई में से एक। हम उद्योग के प्रमुख लोगों और कुछ मौजूदा आपूर्तिकर्ताओं के साथ भी काम कर रहे हैं ताकि यह पता लगाया जा सके कि वे क्या पेशकश करते हैं और वास्तविक प्रदर्शन क्या होगा, क्या हम कंपनी में उत्पादन में इसका उपयोग शुरू कर सकते हैं। इससे नए क्षितिज खुलते हैं जिन तक पहले पहुंच नहीं थी।

पीएस में थोड़ी मदद

पुनश्च यदि संभव हो तो मैं आपको याद दिलाना चाहूंगा कि 28-30 सितंबर को आयोजित किया जाएगा गहन कुबेरनेट्स बेस, उन लोगों के लिए जो कुबेरनेट्स को नहीं जानते हैं, लेकिन इससे परिचित होना चाहते हैं और इसके साथ काम करना शुरू करना चाहते हैं।

स्रोत: www.habr.com