ब्लूमबर्गको भण्डारण समर्थन टोली खुला स्रोत र SDS मा निर्भर छ

TL; ड: ब्लूमबर्ग भण्डारण इन्जिनियरिङ टोलीले आन्तरिक प्रयोगको लागि क्लाउड भण्डारण सिर्जना गर्यो जसले पूर्वाधारमा हस्तक्षेप गर्दैन र महामारीको समयमा व्यापारिक अस्थिरताको भारी भारलाई सामना गर्न सक्छ।

म्याट्यु लियोनार्ड, ब्लूमबर्ग स्टोरेज इन्जिनियरिङ् टोलीमा प्राविधिक प्रबन्धकको रूपमा आफ्नो कामको बारेमा कुरा गर्दा, प्रायः "चुनौतीपूर्ण" र "रमाइलो" शब्दहरू प्रयोग गर्छन्। चुनौतीहरू भण्डारणको फराकिलो दायराबाट उत्पन्न हुन्छन्, नवीनतम NVMe-आधारित SAN arrays देखि DevOps मा खुला स्रोत सफ्टवेयर-परिभाषित भण्डारण सम्म। यहींबाट "रमाइलो" सुरु हुन्छ (हेब्रेमा मेरो अवतार हेर्नुहोस्, लगभग। अनुवादक).

लियोनार्ड र उनका 25 सहकर्मीहरूको टोलीले 100 पेटाबाइट क्षमता र 6000 इन्जिनियरहरूको लागि आन्तरिक क्लाउड ब्लूमबर्ग टर्मिनल, टेक्नोलोजी जसले माइकल ब्लूमबर्गलाई अर्बपति बनायो,का लागि अनुप्रयोगहरू विकास गर्दैछन्। टोलीले ब्लूमबर्ग इन्जिनियरिङका लागि भण्डारण प्रणालीहरू डिजाइन, निर्माण र मर्मत गर्दछ।

IT पेशाका बाँकी भागहरू जस्तै, 2020 भण्डारण इन्जिनियरिङ टोलीका सदस्यहरूका लागि असामान्य वर्ष थियो किनभने COVID-19 ले उनीहरूलाई टाढाबाट काम गर्न बाध्य तुल्यायो। लियोनार्डले भने कि महामारीले उसको "टाइट-निट टीम" लाई सामाजिक रूपमा प्रभाव पारेको थियो किनकि आमने सामने अन्तरक्रियाहरू हटाइयो, तर कर्मचारीहरूले ल्यापटप र भिडियो कन्फरेन्सिंगमा घरबाट काम गर्न धेरै चाँडै अनुकूल भएका थिए।

अचम्मको कुरा, म भन्न चाहन्छु कि यसले चीजहरू खराब बनाउँदैन। त्यहाँ छोटो अनुकूलन अवधि थियो - सबैजना घरबाट काम गर्न तयार थिएनन्। एक/दुई हप्तापछि सबैले बुझे । हामीले आफूलाई व्यस्त राख्ने, उपकरणहरू किन्ने र अपग्रेड गर्ने र यस समयमा कम्पनीलाई सहयोग गर्न लागत बढाउने तरिकाहरू फेला पार्न सक्षम थियौं। हामीले क्रिएटिभ हुनुपर्‍यो, तर हामीलाई चोट लागेन

सबैभन्दा ठूलो चुनौती COVID-19 को शिखर भन्दा पहिले नै हुन सक्छ। यो विश्वव्यापी अर्थतन्त्रमा महामारीको प्रभावको बारेमा चिन्ताका कारण अस्थिर बजार व्यापारको कारण हो। विश्व पूँजी बजारबाट ब्लूमबर्ग टर्मिनलहरूमा प्रवाह हुने डाटाको मात्रा लगभग दोब्बर भयो, मार्चको अन्तमा केही दिनहरूमा सूचनाको 240 बिलियन टुक्रामा पुग्यो। यो भण्डारण प्रणाली को एक गम्भीर परीक्षण हो।

जब तपाइँ तुरुन्तै तपाइँको भण्डारण आवश्यकताहरू एक दिनमा दोब्बर गर्नुहुन्छ, यसले रोचक समस्याहरू सिर्जना गर्दछ। हामीले यसलाई पार गर्न र एप्लिकेसन विकास टोलीहरूलाई उनीहरूलाई आवश्यक पर्ने ठाउँ र प्रदर्शन दिइएको छ भनी सुनिश्चित गर्न सक्षम भयौं। यी मध्ये धेरै जसो हामीले भण्डारण प्रणालीको बारेमा सोच्ने तरिकासँग सम्बन्धित छ। आज हामी केहि पनि सिर्जना गर्दैनौं। हामी यसो भन्दैनौं, "हामी ABC प्रयोग गर्छौं, त्यसैले हामी ABC को लागि पूर्वाधार निर्माण गर्नेछौं।" हामीले प्रयोगको पूर्वानुमान गर्न, उपयोग र कार्यसम्पादन प्रवृत्तिको विश्लेषण गर्नका लागि हाम्रा टोलीहरूसँग "डेटा बजेटिङ" भन्दछौँ र हामी सुरक्षालाई पनि हेर्छौँ। यस प्रकारको योजना, सोच, र विधिगत उचित लगनशीलताले हामीलाई पसिना नछोडिकन सर्जहरूमा कठोर कदम चाल्न अनुमति दिन्छ। निस्सन्देह, म नर्भस थिएँ, तर मलाई मेरो ठाउँमा आराम महसुस भयो।

लियोनार्डले भर्खरै डाटा-संचालित व्यवसायहरूको लागि भण्डारण प्रबन्ध गर्ने बारे विस्तृत रूपमा SearchStorage सँग कुरा गर्नुभयो। उनले ब्लुमबर्ग डाटा सेन्टरहरूमा कुनै पनि डाटा राख्दा आफ्ना प्रयोगकर्ताहरूलाई AWS सुविधाहरू प्रदान गर्ने क्षमताको साथ निजी क्लाउड भण्डारण समाधान प्रस्ताव गर्न के लिनेछ भनेर छलफल गरे।

यदि त्यहाँ अब महामारी छैन भने, ब्लुमबर्ग इन्जिनियरहरूलाई भण्डारण व्यवस्थापन गर्न कस्ता कठिनाइहरू छन्?

हामीसँग धेरै आवश्यकताहरू छन्, हामी केवल विभिन्न दिशाहरूमा च्यातिएका छौं। त्यसैले हामीले हाम्रा अनुप्रयोग विकासकर्ताहरूलाई भण्डारणको बारेमा चिन्ता गर्नुको सट्टा तिनीहरूका कार्यहरूमा ध्यान केन्द्रित गर्न मद्दत गर्न विभिन्न SLA स्तरहरूमा विभिन्न प्रकारका उत्पादनहरू उपलब्ध गराउन आवश्यक छ।

र यसका लागि तपाईले कस्तो रणनीति अपनाउनुहुन्छ ?

हामीले के गर्न खोजिरहेका छौं त्यसको एउटा अंश भनेको भण्डारण कार्यसम्पादनमा सुधार गर्नु हो। AWS मोडेलको बारेमा सोच्नुहोस् जहाँ एक विकास इन्जिनियर भित्र जान्छ, बटन थिच्छ, र त्यसपछि "क्लिक" ले जादुई रूपमा उसको समस्या समाधान गर्न सही भण्डारण प्रकार प्राप्त गर्दछ।

तपाईंको भण्डारण पूर्वाधार कस्तो देखिन्छ?

किनभने हामीसँग धेरै विविध इकोसिस्टम र धेरै फरक विकासकर्ताहरू छन्, हामी एउटै उत्पादन प्रस्ताव गर्न सक्दैनौं। हामीसँग वस्तु, फाइल र ब्लक भण्डारण छ। यी विभिन्न उत्पादनहरू हुन् र हामी तिनीहरूलाई डेलिभर गर्न विभिन्न प्रकारका प्रविधिहरू प्रस्ताव गर्छौं। ब्लकको लागि हामी SAN प्रयोग गर्छौं। हामीसँग SDS पनि छ, जसले प्रदर्शन आवश्यकताहरूको फरक सेटको साथ अर्को ब्लक भण्डारण विकल्प प्रदान गर्दछ। फाईलहरूको लागि हामी NFS प्रयोग गर्छौं। SDS वस्तु भण्डारणको लागि पनि प्रयोग गरिन्छ। ब्लक र वस्तु भागहरू कम्प्युटिङ र भण्डारणको लागि आन्तरिक निजी क्लाउड बनाउँछ।

त्यसोभए तपाइँ सार्वजनिक क्लाउड भण्डारण प्रयोग गर्नुहुन्न?

त्यो सहि हो। केही विकास टोलीहरूसँग सार्वजनिक क्लाउडहरू प्रयोग गर्ने अनुमति छ। तर हाम्रो व्यवसायको प्रकृतिको कारणले गर्दा, हामी हाम्रा पर्खालहरू छोड्ने चीजहरूमा बढी नियन्त्रण राख्न रुचाउँछौं। त्यसोभए हो, हामीसँग हाम्रा आफ्नै बादलहरू छन् जुन हाम्रो नियन्त्रणमा छन्। यो हाम्रो व्यवस्थापन अन्तर्गत हाम्रो डाटा केन्द्र मा स्थित उपकरण हो।

हाम्रो डेटा केन्द्रहरूमा, हामी बहु-विक्रेता रणनीतिलाई प्राथमिकता दिन्छौं। तिनीहरू ठूला आपूर्तिकर्ताहरू हुन्, तर हामी वास्तवमा कसले भन्‍ने छैनौं (कुनै पनि आपूर्तिकर्तालाई समर्थन नगर्ने ब्लूमबर्गको नीति हो, लगभग। अनुवादक).

के तपाइँ तपाइँको निजी क्लाउड निर्माण गर्न हाइपरकन्भर्ज्ड पूर्वाधार प्रयोग गर्दै हुनुहुन्छ?

छैन। हामी ब्लूमबर्ग मा एक दिशा छनोट गर्दैछौं जहाँ हामी हाइपरकन्भरजेन्स तिर लागिरहेका छैनौं। हामी भण्डारणबाट कम्प्युट डिकपल गर्ने प्रयास गर्दैछौं ताकि हामी तिनीहरूलाई स्वतन्त्र रूपमा मापन गर्न सक्छौं। हामी जुन दिशामा जाँदैछौं, विशेष गरी हाम्रो क्लाउडको साथ, ती दुई संस्थाहरूलाई अलग गर्न सक्षम हुनको लागि हो। र सबै किनभने हाम्रो देशमा केहि चीजहरूलाई गहन गणना चाहिन्छ, जबकि अरूलाई भण्डारण चाहिन्छ। यदि तपाईंले तिनीहरूलाई समान रूपमा मापन गर्नुभयो भने, तपाईंले स्रोतहरू गुमाउनुहुनेछ, पैसा, वा डाटा केन्द्रहरूमा ठाउँ, वा तपाईंलाई आवश्यक नभएको क्षमता खरिद गरेर। यसैले हामी दुई संस्थाहरू बीच साझा इन्टरफेस हुन चाहन्छौं, तर तिनीहरू पूर्ण रूपमा फरक प्रणालीहरू र विभिन्न टोलीहरूद्वारा व्यवस्थित हुनुपर्छ।

निजी क्लाउड निर्माण गर्न कस्ता अवरोधहरू पार गर्नुपर्छ?

स्केलको समस्या। धेरै चीजहरू जस्तै, शैतान विवरणहरूमा छ। जब तपाइँ यी चीजहरू कसरी काम गर्नुहुन्छ भन्ने बारे सोच्नुहुन्छ, कसरी तिनीहरूलाई लचिलो बनाउने, कसरी परिचालन लोड ह्यान्डल गर्ने, तपाइँ कसरी भौतिक सम्पत्ति टोलीहरूसँग कुराकानी गर्नुहुन्छ, चीजहरू थोरै रोचक हुन्छन्। चुनौती भनेको हाम्रा एप्लिकेसन विकासकर्ताहरूले प्रयोग गर्न चाहने सबै कुरालाई स्केलेबल र समर्थनयोग्य उत्पादन बनाउने बाटो खोज्नु हो, सार्वजनिक क्लाउडले के गरिरहेको छ भन्ने कुराको अत्याधुनिक पक्षमा रहँदा सुविधा सेटलाई समृद्ध बनाउन सक्षम हुनु हो। र यो पनि सबै एक साथ ल्याउन ताकि यो काम जारी छ। यो हाम्रो मुख्य समस्या हो - हामी व्यवसायका सबै क्षेत्रहरूमा काम गर्छौं, सबै आवश्यकताहरू पूरा गर्ने प्रयास गर्छौं, तर अन्य आवश्यकताहरूलाई बेवास्ता गर्दैनौं।

के तपाईंलाई AWS र अन्य सार्वजनिक क्लाउडहरूमा उपलब्ध नवीनतम सुविधाहरू चाहिन्छ जस्तो लाग्छ?

S3 को बारेमा सबैभन्दा रमाइलो तथ्य यो हो कि जीवनको स्तर निरन्तर परिवर्तन भइरहेको छ, नयाँ सुविधाहरू सधैं थपिँदैछ। यो नयाँ खेलौना जस्तै छ। यदि कसैले नयाँ रिलिजमा नयाँ सुविधा देख्छ भने, तिनीहरू यो चाहन्छन्। सबै AWS सुविधाहरू हाम्रो वातावरणमा लागू हुँदैनन्, त्यसैले विकासकर्ताहरूलाई के मद्दत गर्छ र यसलाई घरभित्र कसरी प्राप्त गर्ने भन्ने जान्न महत्त्वपूर्ण र रोचक छ।

तपाईं कुन भण्डारण उपकरण प्रयोग गर्नुहुन्छ?

हामी नवीनतम उपकरण प्रयोग गर्दछौं। हाम्रो आन्तरिक क्लाउड पूर्णतया NVMe Flash मा आधारित छ, जसले यी प्रणालीहरूलाई धेरै शक्तिशाली बनाउँछ। यसले हाम्रो जीवनलाई अलि सजिलो बनाउँछ, र यो हाम्रा विकासकर्ताहरूका लागि राम्रो सुविधा पनि हो किनभने उनीहरूले भण्डारण कार्यसम्पादनको बारेमा चिन्ता लिनु पर्दैन।

तपाईं वस्तु भण्डारण के को लागी प्रयोग गर्नुहुन्छ?

हामीसँग 6000 विकासकर्ताहरू पूर्वाधारमा काम गरिरहेका छन्, तिनीहरू कुनै पनि प्रयोगको मामलामा एकजुट छैनन्। तपाईले सोच्न सक्ने कुनै पनि विकल्प, हामीसँग यो वस्तु भण्डारणमा छ। केही टोलीहरूले यसलाई चिसो अभिलेख भण्डारणको लागि प्रयोग गर्छन्, केही डेटा स्थानान्तरणको लागि, र अरू जसले यसलाई लेनदेन अनुप्रयोगहरूको लागि प्रयोग गर्छन्। यी सबै प्रयोगका केसहरूलाई SLA को विभिन्न स्तरहरू चाहिन्छ, त्यसैले तपाईंले देख्न सक्नुहुन्छ, हामीसँग विभिन्न प्रकारका ट्राफिकहरू छन्, हाम्रा पूर्वाधारका विभिन्न प्रयोगकर्ताहरूका लागि सबै प्रकारका आवश्यकताहरू छन्। यो हाम्रो कुनै पनि भण्डारणको शीर्षमा चलिरहेको एकसमान प्रयोग केस होइन, जसले स्पष्ट रूपमा चीजहरूलाई थप जटिल बनाउँछ।

Kubernetes र कन्टेनरहरूले तपाईंको लागि कति ठूलो भूमिका खेल्छन्, र यसले भण्डारणलाई कसरी असर गर्छ?

हामी क्लाउडको भावना, सेवाको रूपमा केहीको भावना सिर्जना गर्न भण्डारण उत्पादकत्वलाई जोड दिइरहेका छौं, जहाँ विकासकर्ताहरूका लागि आफ्नो शिल्पलाई गति दिन र बाटोमा पूर्वाधार हटाउन बटन छ।

सम्पादकको n.b.: अक्टोबर १५, २०२० तयार हुनेछ Ceph भिडियो कोर्स। तपाईंले गल्ती सहिष्णुता सुधार गर्न तपाईंको परियोजनाहरूमा प्रयोग गर्न Ceph नेटवर्क भण्डारण प्रविधि सिक्नुहुनेछ।

हामीसँग तीन टोलीहरू छन्, पहिलो भण्डारण API टोली हो। तिनीहरूले ब्लूमबर्गमा एप विकास ग्राहकहरूका लागि प्रोग्रामेटिक पहुँच, अन्त्य बिन्दुहरू, र पूर्वनिर्धारित कार्यप्रवाहहरू बनाउँछन्। यो पूर्ण स्ट्याक वेब विकासकर्ताहरूको टोली हो, तिनीहरूले node.js, python, Apache Airflow जस्ता खुला स्रोत प्रविधिहरू प्रयोग गर्छन्, त्यसैले तिनीहरू कन्टेनराइजेशन र भर्चुअलाइजेशन अध्ययन गर्छन्।

हामीसँग दुई प्राविधिक टोलीहरू पनि छन् जसले वास्तवमा बिट र बाइटहरू सार्न सक्छन्। तिनीहरू अधिक प्रत्यक्ष रूपमा उपकरणसँग सम्बन्धित छन्। हामीसँग धेरै उपकरणहरू छन्, र यी टोलीहरूले भर्चुअलाइजेशन र कन्टेनरहरू प्रयोग गर्दैनन्।

हामी उद्योगमा के भइरहेको छ भन्ने कुरालाई निरन्तरता दिने प्रयास गर्दैछौं, कुबेरनेट CSI ड्राइभरहरू अध्ययन गर्दैछौं, र हामीसँग रहेको प्रविधिहरू अनुरूप Kubernetes भण्डारण काम गर्न सक्छौं कि सक्दैनौं भनेर मूल्याङ्कन गर्न ब्लूमबर्गमा Kubernetes कार्यान्वयन गर्ने टोलीसँग नजिकबाट काम गरिरहेका छौं, र हामीसँग छ। यसले काम गरिरहेको छ। हामी निरन्तर भण्डारणमा जडान भएका Kubernetes लाई समर्थन गर्न SDS प्रयोग गर्छौं। हामीले यस प्रविधिलाई सफलतापूर्वक विकास गरेका छौं, र हामी कसरी ब्लूमबर्गमा सबैलाई यो उपलब्ध गराउन सक्छौं भन्ने बारे दुई टोलीहरू बीच छलफल जारी छ। यो एकदम सम्भव छ भनेर हामीले देखाइसकेका छौं।

तपाईं कुन अन्य खुला स्रोत सफ्टवेयर प्रयोग गर्नुहुन्छ, विशेष गरी भण्डारणको लागि?

हामी एप ट्राफिक सीमित गर्न Apache Airflow, HAProxy प्रयोग गर्छौं। हामी सेफ, SDS को लागी एक प्लेटफर्म पनि प्रयोग गर्दछौं। यसको साथ, तपाइँसँग आदेशहरूको लागि एउटा प्रणाली हुन सक्छ, तर ग्राहकहरूलाई धेरै इन्टरफेसहरू प्रदान गर्नुहोस्। भर्चुअलाइजेशन प्लेटफर्महरू मध्ये एउटा OpenStack मा चल्छ - हामी यस टोलीसँग नजिकबाट काम गर्छौं। हामीसँग खुला स्रोत भर्चुअलाइजेशन प्लेटफर्म छ जसले भण्डारणको लागि खुला स्रोत SDS प्लेटफर्म प्रयोग गर्दछ। यो हास्यास्पद छ।

तपाईं आगामी दुई देखि तीन वर्षको लागि कुन भण्डारण प्रविधिहरू विचार गर्दै हुनुहुन्छ?

हामी सँधै भण्डारण उद्योगमा भइरहेको अन्य नयाँ नयाँ चीजहरू खोजिरहेका छौं। यो हाम्रो कामको भाग हो, यो "यहाँ तपाईंको SAN छ, यहाँ व्यवस्थापन गर्नुहोस्, र यहाँ तपाईंको NFS छ, त्यहाँ व्यवस्थापन गर्नुहोस्।" हामी हाम्रा ग्राहकहरूसँग कुराकानी गर्ने प्रयास गर्छौं, अर्थात्। हाम्रो अनुप्रयोग विकासकर्ताहरू द्वारा। हामी उनीहरूले समाधान गर्न खोजिरहेका समस्याहरू र यसले हाम्रा बाह्य ब्लुमबर्ग क्लाइन्टहरू - बैंकहरू र हाम्रो सफ्टवेयर प्रयोग गर्ने अन्यहरूलाई कसरी प्रभाव पार्छ भन्ने कुरा बुझ्न हामी सँगै काम गर्छौं। र त्यसपछि हामी डेटा भण्डारणको संसारमा फर्कन्छौँ ताकि उनीहरूलाई उनीहरूको लक्ष्य हासिल गर्न मद्दत गर्ने अवसरहरू खोज्नुहोस्। हामी तिनीहरूलाई तिनीहरूको SLA मा मिल्ने वा तिनीहरूले गर्न खोजेको सही भण्डारण प्रविधि फेला पार्न कसरी मद्दत गर्न सक्छौं? किनभने हामीसँग धेरै इन्जिनियरहरूले राम्रो चीजहरू गरिरहेका छन्, यो कहिल्यै बोरिंग हुँदैन।

हामी हाल SDS को लागि कार्यसम्पादन सुधार गर्ने तरिकाहरू खोजिरहेका छौं जुन सम्भावित रूपमा सामान्य उद्देश्य सर्भरहरूमा चल्न सक्छ। त्यसैले हामी TCP मा NVMe मा काम गर्दैछौं, यो धेरै रोचक र राम्रो पहल हो, धेरै मध्ये एक। हामी उद्योगका प्रमुख व्यक्तिहरू र केही अवस्थित आपूर्तिकर्ताहरूसँग उनीहरूले के प्रस्ताव गर्छन् र वास्तविक कार्यसम्पादन के हुनेछ, हामी कम्पनीमा उत्पादनमा प्रयोग गर्न सक्छौं कि सक्दैनौं भनेर पत्ता लगाउन काम गरिरहेका छौं। यसले नयाँ क्षितिजहरू खोल्छ जुन पहिले पहुँचयोग्य थिएन।

PS मा सानो सहयोग

PS यदि म सक्छु भने, म तपाईंलाई सम्झाउन चाहन्छु कि सेप्टेम्बर 28-30 आयोजित हुनेछ गहन Kubernetes आधार, जो Kubernetes थाहा छैन, तर यसको साथ परिचित हुन र यसको साथ काम सुरु गर्न चाहनेहरूका लागि।

स्रोत: www.habr.com