🥇४ अभियंते, ७,००० सर्व्हर आणि एक जागतिक महामारी

अहो हाब्र! लेखाचा अनुवाद मी तुमच्या लक्षात आणून देत आहे "४ अभियंते, ७००० सर्व्हर आणि एक जागतिक महामारी" आदिब डाव यांनी.

जर त्या मथळ्याने तुमच्या पाठीला थोडासाही थरकाप उडवला नसेल, तर तुम्ही पुढील परिच्छेदावर जावे किंवा आमच्या समर्पित पृष्ठावर जावे. कंपनीतील करिअर — आम्हाला बोलायचे आहे.

आम्ही कोण आहोत

आम्ही चार पेंग्विनची टीम आहोत ज्यांना कोडिंग आणि हार्डवेअरमध्ये बदल करायला आवडते. आमच्या मोकळ्या वेळेत, आम्ही युनायटेड स्टेट्समधील तीन वेगवेगळ्या डेटा सेंटरमध्ये वितरित केलेल्या ७,००० हून अधिक भौतिक लिनक्स सर्व्हरच्या ताफ्याचे तैनात, देखभाल आणि ऑपरेटिंगसाठी जबाबदार आहोत.

भूमध्य समुद्रावरील समुद्रकिनाऱ्यापासून काही मिनिटांच्या अंतरावर असलेल्या आमच्या स्वतःच्या कार्यालयाच्या आरामात, साइट्सपासून १०,००० किमी अंतरावर हे करण्याची संधी आम्हाला मिळाली आहे.

प्रमाणाच्या समस्या

तुलनेने कमी सुरुवातीच्या गुंतवणुकीमुळे स्टार्टअपने क्लाउडमध्ये पायाभूत सुविधांसह सुरुवात करणे अर्थपूर्ण असले तरी, आउटब्रेनमध्ये आम्ही आमचे स्वतःचे सर्व्हर वापरण्याचा निर्णय घेतला. आम्ही हे केले कारण क्लाउड पायाभूत सुविधांचा खर्च विकासाच्या एका विशिष्ट पातळीवर पोहोचल्यानंतर डेटा सेंटरमध्ये होस्ट केलेल्या आमच्या स्वतःच्या उपकरणांच्या ऑपरेटिंग खर्चापेक्षा खूपच जास्त असतो. शिवाय, आमचा स्वतःचा सर्व्हर सर्वोच्च पातळीचे नियंत्रण आणि समस्यानिवारण क्षमता प्रदान करतो.

आपण जसजसे विकसित होत जातो तसतसे समस्या नेहमीच समोर येतात. आणि त्या सहसा गटांमध्ये येतात. सर्व्हरच्या जलद वाढीला तोंड देण्यासाठी सर्व्हर लाइफसायकल व्यवस्थापनात सतत सुधारणा आवश्यक असतात. डेटा सेंटरमध्ये सर्व्हर फार्म व्यवस्थापित करण्यासाठी सॉफ्टवेअर-आधारित पद्धती लवकर गुंतागुंतीच्या होतात. सेवा पातळी करार मानके राखताना अपयश शोधणे, समस्यानिवारण करणे आणि त्यांचे निराकरण करणे ही अत्यंत वैविध्यपूर्ण हार्डवेअर अ‍ॅरे, वेगवेगळे वर्कलोड, पॅच वेळापत्रक आणि इतर आनंददायी गोष्टींशी जुळवून घेण्याची बाब बनते ज्यांची कोणीही काळजी करू इच्छित नाही.

तुमच्या डोमेनमध्ये प्रभुत्व मिळवा

यापैकी अनेक समस्यांचे निराकरण करण्यासाठी, आम्ही आउटब्रेनमधील सर्व्हर लाइफसायकलला त्याच्या मुख्य घटकांमध्ये विभागले आहे आणि त्यांना डोमेन म्हटले आहे. उदाहरणार्थ, एक डोमेन हार्डवेअर आवश्यकता पूर्ण करतो, दुसरा इन्व्हेंटरी लाइफसायकलशी संबंधित लॉजिस्टिक्स कव्हर करतो आणि तिसरा डोमेन ऑन-साइट कर्मचार्‍यांशी संप्रेषण करतो. हार्डवेअर निरीक्षणक्षमतेशी संबंधित आणखी एक डोमेन आहे, परंतु आम्ही प्रत्येक तपशील कव्हर करणार नाही. आमचे ध्येय डोमेन समजून घेणे आणि परिभाषित करणे होते जेणेकरून ते कोड वापरून अमूर्त केले जाऊ शकतील. एकदा कार्यरत अमूर्तता विकसित झाल्यानंतर, ते एका मॅन्युअल प्रक्रियेत रूपांतरित केले जाते जे तैनात केले जाते, चाचणी केले जाते आणि परिष्कृत केले जाते. शेवटी, प्रत्येक डोमेन API द्वारे इतर डोमेनशी एकत्रित करण्यासाठी कॉन्फिगर केले जाते, एक सुसंगत, गतिमान आणि सतत विकसित होणारी हार्डवेअर लाइफसायकल सिस्टम तयार करते जी आमच्या इतर सर्व उत्पादन प्रणालींप्रमाणेच तैनात केली जाऊ शकते, चाचणी केली जाऊ शकते आणि निरीक्षण करता येते.

या दृष्टिकोनाचा अवलंब केल्याने आम्हाला अनेक समस्या योग्यरित्या सोडवता आल्या आहेत - साधने तयार करून आणि ऑटोमेशन करून.

गरजांचे क्षेत्र

सुरुवातीच्या काळात मागणी हाताळण्यासाठी ईमेल आणि स्प्रेडशीट्स हे स्वीकार्य मार्ग होते, परंतु ते एक व्यवहार्य उपाय नव्हते, विशेषतः सर्व्हरची संख्या आणि येणाऱ्या विनंत्यांची संख्या एका विशिष्ट पातळीपर्यंत पोहोचल्यानंतर. आम्ही वेगाने विस्तारत असताना येणाऱ्या विनंत्यांना चांगले व्यवस्थित करण्यासाठी आणि प्राधान्य देण्यासाठी, आम्हाला एक तिकीट प्रणाली वापरावी लागली जी ऑफर करते:

फक्त संबंधित फील्डचे सादरीकरण कस्टमाइझ करण्याची क्षमता (सोपी)
ओपन एपीआय (एक्सटेंसिबल)
आमच्या टीमला माहित आहे (समजले)
आमच्या विद्यमान कार्यप्रवाहांसह एकत्रीकरण (एकत्रित)

आम्ही आमच्या स्प्रिंट्स आणि अंतर्गत कार्ये व्यवस्थापित करण्यासाठी जिरा वापरत असल्याने, आमच्या क्लायंटना विनंत्या सबमिट करण्यास आणि त्यांच्या प्रगतीचा मागोवा घेण्यास मदत करण्यासाठी आम्ही दुसरा प्रकल्प तयार करण्याचा निर्णय घेतला. येणाऱ्या विनंत्यांसाठी आणि अंतर्गत कार्ये व्यवस्थापित करण्यासाठी जिरा वापरल्याने आम्हाला एक एकीकृत कानबन बोर्ड तयार करण्याची परवानगी मिळाली, ज्यामुळे आम्हाला सर्व प्रक्रियांचा समग्र दृष्टिकोन मिळाला. आमच्या अंतर्गत "क्लायंट"नी अतिरिक्त कार्यांच्या कमी महत्त्वाच्या तपशीलांमध्ये (जसे की साधन सुधारणा आणि बग निराकरणे) न जाता फक्त उपकरण विनंत्या पाहिल्या.

जिरा मधील कानबान बोर्ड

बोनस म्हणून, रांगा आणि प्राधान्यक्रम आता सर्वांना दिसू लागले आहेत या वस्तुस्थितीमुळे एखाद्या विशिष्ट विनंतीला रांगेत कुठे आणि त्यापूर्वी काय आहे हे समजणे शक्य झाले. यामुळे मालकांना आमच्याशी संपर्क न करता त्यांच्या स्वतःच्या विनंत्यांच्या प्राधान्यक्रमांमध्ये बदल करण्याची परवानगी मिळाली. फक्त ड्रॅग आणि ड्रॉप करा, आणि बस्स. यामुळे आम्हाला जिरामध्ये व्युत्पन्न केलेल्या मेट्रिक्सवर आधारित विनंती प्रकारांनुसार आमच्या SLA चे निरीक्षण आणि मूल्यांकन करण्याची परवानगी मिळाली.

उपकरणांचे जीवनचक्र क्षेत्र

प्रत्येक सर्व्हर रॅकमध्ये वापरल्या जाणाऱ्या हार्डवेअरचे व्यवस्थापन किती गुंतागुंतीचे आहे याची कल्पना करा. त्याहूनही वाईट म्हणजे, हार्डवेअरचे अनेक तुकडे (RAM, ROM) वेअरहाऊसमधून सर्व्हर रूममध्ये आणि परत हलवले जाऊ शकतात. ते देखील बिघडतात, लिहून काढले जातात, बदलले जातात किंवा बदली/दुरुस्तीसाठी पुरवठादाराकडे परत केले जातात. हे सर्व भौतिक हार्डवेअर देखभालीसाठी जबाबदार असलेल्या कोलोकेशन कर्मचाऱ्यांना कळवणे आवश्यक आहे. या समस्यांचे निराकरण करण्यासाठी, आम्ही फ्लॉपी नावाचे एक अंतर्गत साधन तयार केले. त्याचा उद्देश आहे:

स्थानिक कर्मचाऱ्यांशी संवाद व्यवस्थापित करणे, सर्व माहिती एकत्रित करणे;
प्रत्येक पूर्ण झालेल्या आणि सत्यापित उपकरणांच्या देखभालीच्या कामानंतर "वेअरहाऊस" डेटा अपडेट करणे.

त्याऐवजी, ग्राफाना वापरून गोदामाचे दृश्यमानीकरण केले जाते, ज्याचा वापर आम्ही आमच्या सर्व मेट्रिक्सचे आलेख प्लॉट करण्यासाठी करतो. याचा अर्थ आम्ही गोदामाच्या दृश्यमानतेसाठी आणि इतर उत्पादन गरजांसाठी समान साधन वापरतो.

ग्राफानामधील गोदाम उपकरणे नियंत्रण पॅनेल

वॉरंटी अंतर्गत असलेल्या सर्व्हर डिव्हाइसेससाठी, आम्ही डिस्पॅचर नावाचे वेगळे साधन वापरतो. ते:

सिस्टम लॉग गोळा करते;
विक्रेत्याला आवश्यक असलेल्या स्वरूपात अहवाल तयार करते;
API द्वारे विक्रेत्याला विनंती सबमिट करते;
अनुप्रयोगाच्या प्रगतीचा पुढील मागोवा घेण्यासाठी तो अभिज्ञापक प्राप्त करतो आणि संग्रहित करतो.

एकदा आमचा दावा स्वीकारला गेला (सहसा एका कामकाजाच्या दिवसात), सुटे भाग योग्य डेटा सेंटरला पाठवले जातात आणि कर्मचाऱ्यांकडून ते स्वीकारले जातात.

जेनकिन्स कन्सोल आउटपुट

संप्रेषण क्षेत्र

आमच्या व्यवसायाच्या जलद वाढीला चालना देण्यासाठी, ज्यासाठी सतत वाढती क्षमता आवश्यक होती, आम्हाला आमच्या ऑन-प्रिमाइसेस डेटा सेंटर्समधील तांत्रिक तज्ञांसोबत काम करण्याच्या पद्धतींमध्ये बदल करावे लागले. सुरुवातीला स्केलिंगचा अर्थ नवीन सर्व्हर खरेदी करणे होता, परंतु एकत्रीकरण प्रकल्पानंतर (कुबर्नेट्समध्ये संक्रमणावर आधारित), हे पूर्णपणे वेगळे झाले. आमचा विकास "रॅक जोडण्या" वरून "सर्व्हर पुन्हा वापरण्या" कडे वळला.

डेटा सेंटर कर्मचाऱ्यांशी अधिक आरामदायी संवाद साधण्यासाठी नवीन पद्धतीमध्ये नवीन साधनांची आवश्यकता होती. ही साधने यासाठी आवश्यक होती:

साधेपणा;
स्वायत्तता;
कार्यक्षमता;
विश्वसनीयता.

आम्हाला स्वतःला या साखळीतून बाहेर काढावे लागले आणि आमचे काम अशा प्रकारे व्यवस्थित करावे लागले की तंत्रज्ञ आमच्या हस्तक्षेपाशिवाय आणि कामाचा ताण, कामाचे तास, उपकरणांची उपलब्धता इत्यादी सर्व समस्या नियमितपणे उपस्थित न करता सर्व्हर उपकरणांसह थेट काम करू शकतील.

हे साध्य करण्यासाठी, आम्ही प्रत्येक डेटा सेंटरमध्ये एक आयपॅड स्थापित केला. सर्व्हरशी कनेक्ट झाल्यानंतर, खालील गोष्टी घडतात:

हे उपकरण पुष्टी करते की या सर्व्हरला प्रत्यक्षात काही कामाची आवश्यकता आहे;
सर्व्हरवर चालणारे अनुप्रयोग बंद आहेत (आवश्यक असल्यास);
स्लॅक चॅनेलवर आवश्यक पायऱ्या स्पष्ट करणाऱ्या कामाच्या सूचनांचा एक संच पोस्ट केला आहे;
काम पूर्ण झाल्यावर, डिव्हाइस सर्व्हरच्या अंतिम स्थितीची शुद्धता तपासते;
आवश्यक असल्यास अनुप्रयोग पुन्हा सुरू करते.

आमच्या तांत्रिक तज्ञांना मदत करण्यासाठी आम्ही एक स्लॅक बॉट देखील विकसित केला. त्याच्या विस्तृत वैशिष्ट्यांसह (आम्ही त्याची कार्यक्षमता सतत वाढवत होतो), बॉटने त्यांचे काम सोपे केले आणि आमचे जीवन खूप सोपे केले. यामुळे सर्व्हरचे पुनर्वापर आणि देखभाल प्रक्रिया बरीच सुव्यवस्थित झाली, स्वतःला वर्कफ्लोपासून दूर केले.

आमच्या एका डेटा सेंटरमध्ये एक iPad

हार्डवेअर डोमेन

आमच्या डेटा सेंटरच्या पायाभूत सुविधांचे विश्वसनीयरित्या स्केलिंग करण्यासाठी प्रत्येक घटकामध्ये चांगली दृश्यमानता आवश्यक आहे, जसे की:

हार्डवेअर बिघाड शोधणे
सर्व्हर स्थिती (सक्रिय, होस्ट केलेले, झोम्बी, इ.)
वीज खप
फर्मवेअर आवृत्ती
या संपूर्ण व्यवसायासाठी विश्लेषणे

आमच्या उपायांमुळे आम्हाला उपकरणे कशी, कुठे आणि केव्हा खरेदी करायची याबद्दल निर्णय घेण्याची परवानगी मिळते, कधीकधी ती प्रत्यक्षात आवश्यक नसतानाही. वेगवेगळ्या उपकरणांच्या लोड लेव्हल ओळखून, आम्ही संसाधन वाटप सुधारू शकलो आहोत, विशेषतः वीज वापराच्या बाबतीत. आता आम्ही सर्व्हर प्लेसमेंटबद्दल माहितीपूर्ण निर्णय घेऊ शकतो ते रॅकमध्ये स्थापित करण्यापूर्वी आणि वीज स्त्रोताशी कनेक्ट करण्यापूर्वी, तसेच त्याच्या संपूर्ण जीवनचक्रात आणि ते शेवटी बंद होण्यापूर्वी देखील.

ग्राफानामध्ये एनर्जी डॅशबोर्ड

आणि मग कोविड-१९ दिसू लागले...

आमचा कार्यसंघ अशी तंत्रज्ञाने तयार करतो जी मीडिया कंपन्या आणि प्रकाशकांच्या ऑनलाइन क्षमता वाढवतात, ज्यामुळे अभ्यागतांना त्यांच्या आवडीची संबंधित सामग्री, उत्पादने आणि सेवा शोधण्यात मदत होते. आमची पायाभूत सुविधा ब्रेकिंग न्यूजमुळे निर्माण होणारा ट्रॅफिक हाताळण्यासाठी डिझाइन केलेली आहे.

कोविड-१९ च्या घटनांचे सक्रिय मीडिया कव्हरेज, वाढत्या रहदारीसह, आम्हाला या कामाचा कसा सामना करायचा हे तातडीने शिकण्याची आवश्यकता होती. शिवाय, हे सर्व जागतिक संकटाच्या काळात करावे लागले, पुरवठा साखळी विस्कळीत झाली आणि आमचे बहुतेक कर्मचारी घरीच राहिले.

परंतु, जसे आपण आधीच सांगितले आहे, आपले मॉडेल आधीच गृहीत धरते की:

आमच्या डेटा सेंटरमधील उपकरणे, बहुतेक भागांसाठी, भौतिकदृष्ट्या दुर्गम आहेत;
आपण जवळजवळ सर्व शारीरिक काम दूरस्थपणे करतो;
हे काम असिंक्रोनस, स्वायत्त आणि मोठ्या प्रमाणात केले जाते;
आम्ही नवीन उपकरणे खरेदी करण्याऐवजी "भागांमधून असेंब्ली" पद्धतीने उपकरणांची मागणी पूर्ण करतो;
आमच्याकडे एक गोदाम आहे जे आम्हाला फक्त नियमित दुरुस्तीच नाही तर काहीतरी नवीन तयार करण्याची परवानगी देते.

अशाप्रकारे, अनेक कंपन्यांना त्यांच्या डेटा सेंटर्समध्ये प्रत्यक्ष प्रवेश मिळू न देणाऱ्या जागतिक निर्बंधांचा आमच्यावर फारसा परिणाम झाला नाही. सुटे भाग आणि सर्व्हरबद्दल, हो, आम्ही उपकरणांचे स्थिर ऑपरेशन सुनिश्चित करण्याचा प्रयत्न केला. परंतु अचानक काही हार्डवेअर स्टॉकमध्ये नसल्याचे आढळून आल्यास संभाव्य घटना टाळण्यासाठी हे केले गेले. आम्ही सध्याची मागणी पूर्ण करण्याचे उद्दिष्ट न ठेवता आमचे साठे पुन्हा भरले आहेत याची खात्री करत होतो.

शेवटी, मी असे म्हणू इच्छितो की डेटा सेंटर ऑपरेशन्सबद्दलचा आमचा दृष्टिकोन हे सिद्ध करतो की चांगले कोड डिझाइन तत्त्वे भौतिक डेटा सेंटर व्यवस्थापन प्रक्रियांवर लागू केली जाऊ शकतात. आणि तुम्हाला हे मनोरंजक वाटू शकते.

मूळ: tyts

स्त्रोत: www.habr.com