4 इन्जिनियरहरू, 7000 सर्भरहरू र एक विश्वव्यापी महामारी

हे हाबर! म तपाईंको ध्यानाकर्षणमा लेखको अनुवाद प्रस्तुत गर्दछु "4 इन्जिनियरहरू, 7000 सर्भरहरू, र एक विश्वव्यापी महामारी" Adib Daw द्वारा।

यदि त्यो शीर्षकले तपाइँको मेरुदण्ड तल हल्का काँप पठाउँदैन भने, तपाइँ अर्को अनुच्छेदमा जानु पर्छ वा समर्पित हाम्रो पृष्ठ भ्रमण गर्नुपर्छ कम्पनी मा क्यारियर - हामी कुरा गर्न चाहन्छौं।

हामी कौन हो

हामी 4 पेन्गुइनहरूको टोली हौं जसले कोड लेख्न र हार्डवेयरसँग काम गर्न मन पराउँछन्। हाम्रो फुर्सदको समयमा, हामी संयुक्त राज्यमा 7000 फरक डाटा केन्द्रहरूमा वितरित Linux चलाउने 3 भन्दा बढी भौतिक सर्भरहरूको फ्लीट तैनाती, मर्मत र सञ्चालन गर्न जिम्मेवार छौं।

हामीले साइटहरूबाट 10 किलोमिटर टाढा, हाम्रो आफ्नै कार्यालयको आरामबाट यो गर्ने अवसर पनि पायौं, जुन भूमध्यसागरको समुद्र तटबाट छोटो ड्राइभमा अवस्थित छ।

स्केलको समस्याहरू

अपेक्षाकृत कम प्रारम्भिक लगानीको कारणले क्लाउडमा यसको पूर्वाधार होस्ट गरेर स्टार्टअप सुरु गर्नको लागि यो अर्थपूर्ण छ, हामीले आउटब्रेनमा हाम्रो आफ्नै सर्भरहरू प्रयोग गर्ने निर्णय गर्यौं। हामीले यो गर्‍यौं किनभने क्लाउड पूर्वाधारको लागत एक निश्चित स्तरमा विकास पछि डाटा केन्द्रहरूमा अवस्थित हाम्रा आफ्नै उपकरणहरू सञ्चालन गर्ने लागतहरू भन्दा धेरै छ। थप रूपमा, तपाईंको सर्भरले उच्च स्तरको नियन्त्रण र समस्या निवारण क्षमताहरू प्रदान गर्दछ।

जब हामी विकास गर्छौं, समस्याहरू सधैं नजिकै छन्। यसबाहेक, तिनीहरू सामान्यतया समूहहरूमा आउँछन्। सर्भरको संख्यामा द्रुत बृद्धिको सन्दर्भमा ठीकसँग कार्य गर्न सक्षम हुन सर्भर जीवनचक्र व्यवस्थापनलाई निरन्तर आत्म-सुधार चाहिन्छ। डाटा केन्द्रहरूमा सर्भर समूहहरू प्रबन्ध गर्नका लागि सफ्टवेयर विधिहरू चाँडै अव्यवस्थित हुन्छन्। QoS मापदण्डहरू पूरा गर्दा असफलताहरू पत्ता लगाउने, समस्या निवारण गर्ने, र न्यूनीकरण गर्नु भनेको हार्डवेयरको अत्यन्त विविध एरेहरू, फरक कार्यभारहरू, अपग्रेड समय सीमाहरू, र अन्य राम्रा चीजहरू जो कोही पनि चिन्ता गर्न चाहँदैनन्।

आफ्नो डोमेन मास्टर

यी धेरै समस्याहरू समाधान गर्न, हामीले Outbrain मा सर्भर जीवनचक्रलाई यसको मुख्य कम्पोनेन्टहरूमा तोड्यौं र तिनीहरूलाई डोमेनहरू भनिन्छ। उदाहरणका लागि, एउटा डोमेनले उपकरण आवश्यकताहरू कभर गर्दछ, अर्कोले सूची जीवन चक्रसँग सम्बन्धित रसदहरू कभर गर्दछ, र तेस्रोले क्षेत्रका कर्मचारीहरूसँगको सञ्चारलाई कभर गर्दछ। हार्डवेयर अवलोकनको बारेमा अर्को एउटा छ, तर हामी सबै बिन्दुहरू वर्णन गर्दैनौं। हाम्रो लक्ष्य डोमेनहरू अध्ययन र परिभाषित गर्नु थियो ताकि तिनीहरू कोड प्रयोग गरेर सार गर्न सकिन्छ। एक पटक काम गर्ने अमूर्तता विकसित भएपछि, यसलाई म्यानुअल प्रक्रियामा स्थानान्तरण गरिन्छ जुन तैनात, परीक्षण र परिष्कृत हुन्छ। अन्तमा, डोमेनलाई एपीआई मार्फत अन्य डोमेनहरूसँग एकीकृत गर्न कन्फिगर गरिएको छ, एक समग्र, गतिशील, र सँधै विकसित हार्डवेयर जीवनचक्र प्रणाली बनाउँछ जुन प्रयोगयोग्य, परीक्षण योग्य, र अवलोकनयोग्य छ। हाम्रा अन्य उत्पादन प्रणालीहरू जस्तै।

यो दृष्टिकोण अपनाएर हामीलाई धेरै समस्याहरू सही रूपमा समाधान गर्न अनुमति दियो - उपकरणहरू र स्वचालन सिर्जना गरेर।

डोमेन चाहिन्छ

यद्यपि इमेल र स्प्रेडसिटहरू प्रारम्भिक दिनहरूमा माग पूरा गर्न एक व्यवहार्य तरिका थिए, यो एक सफल समाधान थिएन, विशेष गरी जब सर्भरहरूको संख्या र आगमन अनुरोधहरूको मात्रा निश्चित स्तरमा पुग्यो। द्रुत विस्तारको अनुहारमा आगमन अनुरोधहरूलाई राम्रोसँग व्यवस्थित गर्न र प्राथमिकता दिन, हामीले प्रस्ताव गर्न सक्ने टिकट प्रणाली प्रयोग गर्नुपर्‍यो:

• केवल सान्दर्भिक क्षेत्रहरूको दृश्य अनुकूलन गर्ने क्षमता (सरल)
• APIs खोल्नुहोस् (विस्तार योग्य)
• हाम्रो टोलीलाई थाहा छ (बुझेको)
• हाम्रो अवस्थित कार्यप्रवाह (एकीकृत) संग एकीकरण

हामीले हाम्रो स्प्रिन्टहरू र आन्तरिक कार्यहरू व्यवस्थापन गर्न जिरा प्रयोग गर्ने भएकोले, हामीले अर्को परियोजना सिर्जना गर्ने निर्णय गर्यौं जसले हाम्रा ग्राहकहरूलाई टिकटहरू पेश गर्न र तिनीहरूको नतिजाहरू ट्र्याक गर्न मद्दत गर्नेछ। आगमन अनुरोधहरू र आन्तरिक कार्यहरू प्रबन्ध गर्नका लागि जिरा प्रयोग गरेर हामीलाई एकल कानबन बोर्ड सिर्जना गर्न अनुमति दियो जसले हामीलाई सम्पूर्ण प्रक्रियाहरू हेर्न अनुमति दियो। हाम्रा आन्तरिक "ग्राहकहरू" ले अतिरिक्त कार्यहरू (जस्तै उपकरणहरू सुधार गर्ने, बगहरू समाधान गर्ने) को कम महत्त्वपूर्ण विवरणहरूमा ध्यान नदिईकन मात्र उपकरणहरूको लागि अनुरोधहरू देखे।

जिरामा कानबन बोर्ड

बोनसको रूपमा, लामहरू र प्राथमिकताहरू अब सबैले देख्न सक्ने तथ्यले "कहाँ लाममा" एक विशेष अनुरोध थियो र यो अघि के थियो भनेर बुझ्न सम्भव बनायो। यसले मालिकहरूलाई हामीलाई सम्पर्क नगरीकन आफ्नै अनुरोधहरूलाई पुन: प्राथमिकता दिन अनुमति दियो। यसलाई तान्नुहोस् र यो हो। यसले हामीलाई जिरामा उत्पन्न मेट्रिक्सको आधारमा अनुरोध प्रकारहरू अनुसार हाम्रा SLA हरूको अनुगमन र मूल्याङ्कन गर्न अनुमति दियो।

उपकरण जीवनचक्र डोमेन

प्रत्येक सर्भर र्याकमा प्रयोग हुने हार्डवेयर प्रबन्ध गर्ने जटिलता कल्पना गर्ने प्रयास गर्नुहोस्। अझ नराम्रो कुरा के हो भने हार्डवेयरका धेरै टुक्राहरू (RAM, ROM) गोदामबाट सर्भर कोठामा र पछाडि सार्न सकिन्छ। तिनीहरू पनि असफल हुन्छन् वा लेखिएका हुन्छन् र प्रतिस्थापन गरिन्छ र प्रतिस्थापन/मरम्मतको लागि आपूर्तिकर्तालाई फिर्ता गरिन्छ। यी सबै उपकरणको भौतिक मर्मतसम्भारमा संलग्न कोलोकेशन सेवा कर्मचारीहरूलाई सूचित गरिनु पर्छ। यी समस्याहरू समाधान गर्न, हामीले फ्लपी भनिने आन्तरिक उपकरण सिर्जना गर्यौं। उनको कार्य हो:

• क्षेत्र कर्मचारीहरु संग संचार को व्यवस्थापन, सबै जानकारी को एकत्रीकरण;
• प्रत्येक पूरा र प्रमाणित उपकरण मर्मत कार्य पछि "गोदाम" डाटा अपडेट गर्दै।

गोदाम, बारीमा, ग्राफना प्रयोग गरेर कल्पना गरिएको छ, जुन हामीले हाम्रा सबै मेट्रिक्स प्लट गर्न प्रयोग गर्छौं। यसैले, हामी गोदाम दृश्य र अन्य उत्पादन आवश्यकताहरूको लागि उही उपकरण प्रयोग गर्दछौं।

Grafana मा गोदाम उपकरण नियन्त्रण प्यानल

वारेन्टी अन्तर्गत रहेका सर्भर उपकरणहरूको लागि, हामी अर्को उपकरण प्रयोग गर्छौं जसलाई हामी डिस्प्याचर भन्छौं। उनी:

• प्रणाली लग सङ्कलन;
• विक्रेता द्वारा आवश्यक ढाँचामा रिपोर्टहरू उत्पन्न गर्दछ;
• API मार्फत विक्रेताबाट अनुरोध सिर्जना गर्दछ;
• यसको प्रगतिको थप ट्र्याकिङको लागि अनुप्रयोग पहिचानकर्ता प्राप्त गर्दछ र भण्डार गर्दछ।

हाम्रो दावी स्वीकृत भएपछि (सामान्यतया व्यापार घण्टा भित्र), स्पेयर पार्ट उपयुक्त डाटा केन्द्रमा पठाइन्छ र स्टाफ द्वारा स्वीकार गरिन्छ।

जेनकिन्स कन्सोल आउटपुट

संचार डोमेन

हाम्रो व्यवसायको द्रुत बृद्धिलाई निरन्तरता दिनको लागि, जसको लागि सधैं बढ्दो क्षमता चाहिन्छ, हामीले स्थानीय डेटा केन्द्रहरूमा प्राविधिक विशेषज्ञहरूसँग काम गर्ने तरिकालाई अनुकूलन गर्नुपरेको थियो। यदि पहिले मापन अप गर्नु भनेको नयाँ सर्भरहरू किन्नु हो भने, त्यसपछि एक समेकन परियोजना (कुबर्नेट्समा संक्रमणमा आधारित) पछि यो पूर्ण रूपमा फरक भयो। "र्याक थप्ने" देखि "सर्भरहरू पुन: निर्माण गर्ने" सम्मको हाम्रो विकास।

नयाँ दृष्टिकोण प्रयोग गर्न नयाँ उपकरणहरू पनि आवश्यक छ जसले डेटा केन्द्रका कर्मचारीहरूसँग अझ सहज रूपमा अन्तरक्रिया गर्न सम्भव बनायो। यी उपकरणहरू आवश्यक थियो:

• सरलता;
• स्वतन्त्रता;
• दक्षता;
• विश्वसनीयता।

प्राविधिकहरूले सीधै सर्भर उपकरणहरूसँग काम गर्न सकून् भनेर हामीले आफूलाई चेनबाट बाहिर राख्नुपर्छ र कामको संरचना बनाउनुपर्छ। हाम्रो हस्तक्षेप बिना र कामको बोझ, काम गर्ने घण्टा, उपकरण उपलब्धता, इत्यादि सम्बन्धी यी सबै मुद्दाहरू नियमित रूपमा उठाउँदैन।

यो प्राप्त गर्न, हामीले प्रत्येक डाटा केन्द्रमा iPads स्थापना गर्यौं। सर्भरमा जडान गरेपछि, निम्न हुनेछ:

• यन्त्रले यो सर्भरलाई साँच्चै केही काम चाहिन्छ भनेर पुष्टि गर्छ;
• सर्भरमा चलिरहेका अनुप्रयोगहरू बन्द छन् (आवश्यक भएमा);
• आवश्यक चरणहरू व्याख्या गर्दै काम निर्देशनहरूको सेट स्ल्याक च्यानलमा पोस्ट गरिएको छ;
• काम पूरा भएपछि, यन्त्रले सर्भरको अन्तिम अवस्थाको शुद्धता जाँच गर्दछ;
• आवश्यक भएमा अनुप्रयोगहरू पुन: सुरु गर्नुहोस्।

थप रूपमा, हामीले प्राविधिकलाई मद्दत गर्न स्ल्याक बोट पनि तयार गर्यौं। क्षमताहरूको एक विस्तृत श्रृंखलाको लागि धन्यवाद (हामी निरन्तर कार्यक्षमता विस्तार गर्दैछौं), बोटले आफ्नो कामलाई सजिलो बनायो, र हाम्रो जीवनलाई धेरै सजिलो बनायो। यस तरिकाले हामीले सर्भरहरू पुन: निर्माण गर्ने र मर्मत गर्ने प्रक्रियालाई अनुकूलित गर्यौं, आफैलाई कार्यप्रवाहबाट हटाएर।

हाम्रो डेटा केन्द्रहरू मध्ये एक मा iPad

हार्डवेयर डोमेन

हाम्रो डेटा केन्द्र पूर्वाधारलाई विश्वसनीय रूपमा मापन गर्न प्रत्येक घटकमा राम्रो दृश्यता चाहिन्छ, उदाहरणका लागि:

• हार्डवेयर विफलता को पहिचान
• सर्भर अवस्थाहरू (सक्रिय, होस्ट गरिएको, जोम्बी, आदि)
• पावर खपत
• फर्मवेयर संस्करण
• यस सम्पूर्ण व्यवसायको लागि विश्लेषण

हाम्रा समाधानहरूले हामीलाई कसरी, कहाँ र कहिले उपकरणहरू खरिद गर्ने भन्ने बारे निर्णयहरू गर्न अनुमति दिन्छ, कहिलेकाहीँ यो वास्तवमै आवश्यक हुनु अघि नै। साथै, विभिन्न उपकरणहरूमा लोडको स्तर निर्धारण गरेर, हामी सुधारिएको स्रोत आवंटन प्राप्त गर्न सक्षम भयौं। विशेष गरी, ऊर्जा खपत। हामी अब सर्भरको र्‍याकमा स्थापना हुनु अघि र पावर स्रोतमा जडान हुनु अघि, यसको जीवनचक्र र यसको अन्तिम सेवानिवृत्ति सम्मको बारेमा सूचित निर्णयहरू गर्न सक्छौं।

Grafana मा ऊर्जा ड्यासबोर्ड

र त्यसपछि COVID-19 देखा पर्‍यो ...

हाम्रो टोलीले प्रविधिहरू सिर्जना गर्दछ जसले मिडिया कम्पनीहरू र प्रकाशकहरूलाई अनलाइन सशक्त बनाउँछ आगन्तुकहरूलाई सान्दर्भिक सामग्री, उत्पादनहरू र सेवाहरू फेला पार्न मद्दत गर्न जुन तिनीहरूको रुचि हुन सक्छ। हाम्रो पूर्वाधार केहि रोमाञ्चक समाचार जारी हुँदा उत्पन्न ट्राफिक सेवा गर्न डिजाइन गरिएको छ।

COVID-19 वरपरको तीव्र मिडिया कभरेज, ट्राफिकमा भएको बृद्धिसँगै, हामीले यी दबाबहरूसँग कसरी सामना गर्ने भनेर तुरुन्तै सिक्नु आवश्यक छ भन्ने हो। यसबाहेक, यो सबै विश्वव्यापी संकटको समयमा गर्नुपर्‍यो, जब आपूर्ति श्रृंखला अवरुद्ध भएको थियो र अधिकांश कर्मचारीहरू घरमा थिए।

तर, हामीले भनेझैं, हाम्रो मोडेलले पहिले नै मानेको छ कि:

• हाम्रा डाटा सेन्टरहरूमा भएका उपकरणहरू, अधिकांश भागका लागि, हामीलाई भौतिक रूपमा पहुँचयोग्य छैन;
•  हामी लगभग सबै शारीरिक काम टाढाबाट गर्छौं;
• काम एसिन्क्रोनस, स्वायत्त र ठूलो मात्रामा प्रदर्शन गरिन्छ;
• हामी नयाँ उपकरणहरू खरिद गर्नुको सट्टा "पार्ट्सबाट निर्माण" विधि प्रयोग गरेर उपकरणहरूको माग पूरा गर्छौं;
• हामीसँग एउटा गोदाम छ जसले हामीलाई केहि नयाँ सिर्जना गर्न अनुमति दिन्छ, र नियमित मर्मत मात्र गर्दैन।

यसरी, विश्वव्यापी प्रतिबन्धहरूले धेरै कम्पनीहरूलाई उनीहरूको डेटा केन्द्रहरूमा भौतिक पहुँच प्राप्त गर्नबाट रोकेको थियो। र स्पेयर पार्ट्स र सर्भरहरूको लागि, हो, हामीले उपकरणहरूको स्थिर सञ्चालन सुनिश्चित गर्ने प्रयास गर्यौं। तर यो सम्भावित घटनाहरू रोक्नको उद्देश्यले गरिएको थियो जब यो अचानक बाहिर जान्छ कि हार्डवेयरको केही टुक्रा उपलब्ध छैन। हामीले सुनिश्चित गर्यौं कि हालको माग पूरा गर्ने लक्ष्य बिना हाम्रो भण्डारहरू भरिएको थियो।

संक्षेपमा, म भन्न चाहन्छु कि डाटा सेन्टर उद्योगमा काम गर्ने हाम्रो दृष्टिकोणले डाटा सेन्टरको भौतिक व्यवस्थापनमा राम्रो कोड डिजाइनका सिद्धान्तहरू लागू गर्न सम्भव छ भनेर प्रमाणित गर्दछ। र सायद तपाईंले यो रोचक पाउनुहुनेछ।

मूल: tyts

स्रोत: www.habr.com