4 अभियंते, 7000 सर्व्हर आणि एक जागतिक महामारी

अहो हाब्र! लेखाचा अनुवाद मी तुमच्या लक्षात आणून देत आहे "4 अभियंते, 7000 सर्व्हर आणि एक जागतिक महामारी" आदिब दाव द्वारे.

जर त्या मथळ्यामुळे तुमच्या मणक्याला थोडासा थरकाप येत नसेल, तर तुम्ही पुढील परिच्छेदावर जा किंवा आमच्या पेजला भेट द्या कंपनीत करिअर - आम्हाला बोलायचे आहे.

आम्ही कोण आहोत

आम्ही 4 पेंग्विनचा संघ आहोत ज्यांना कोड लिहायला आणि हार्डवेअरसोबत काम करायला आवडते. आमच्या फावल्या वेळेत, आम्ही संपूर्ण युनायटेड स्टेट्समधील 7000 वेगवेगळ्या डेटा सेंटरमध्ये वितरित केलेल्या Linux चालवणाऱ्या 3 हून अधिक भौतिक सर्व्हरच्या ताफ्याला तैनात, देखरेख आणि ऑपरेट करण्यासाठी जबाबदार आहोत.

भूमध्य समुद्रावरील समुद्रकिनाऱ्यापासून थोड्या अंतरावर असलेल्या आमच्या स्वत:च्या कार्यालयाच्या आरामात साइटपासून 10 किमी दूर हे करण्याची संधीही आम्हाला मिळाली.

स्केलच्या समस्या

तुलनेने कमी प्रारंभिक गुंतवणुकीमुळे क्लाउडमध्ये त्याच्या पायाभूत सुविधा होस्ट करून स्टार्टअप सुरू करणे अर्थपूर्ण असताना, आम्ही आउटब्रेन येथे आमचे स्वतःचे सर्व्हर वापरण्याचे ठरवले. आम्ही हे केले कारण क्लाउड इन्फ्रास्ट्रक्चरची किंमत एका विशिष्ट स्तरावर विकसित झाल्यानंतर डेटा सेंटरमध्ये असलेल्या आमच्या स्वतःच्या उपकरणे चालवण्याच्या खर्चापेक्षा जास्त आहे. याव्यतिरिक्त, तुमचा सर्व्हर नियंत्रण आणि समस्यानिवारण क्षमतांची सर्वोच्च पातळी प्रदान करतो.

आपण विकसित होत असताना, समस्या नेहमीच जवळ असतात. शिवाय, ते सहसा गटात येतात. सर्व्हरच्या संख्येत झपाट्याने होणार्‍या वाढीच्या संदर्भात योग्यरित्या कार्य करण्यास सक्षम होण्यासाठी सर्व्हर लाइफसायकल मॅनेजमेंटला सतत स्वयं-सुधारणा आवश्यक आहे. डेटा सेंटरमध्ये सर्व्हर गट व्यवस्थापित करण्यासाठी सॉफ्टवेअर पद्धती त्वरीत अवास्तव होतात. QoS मानकांची पूर्तता करताना अपयश शोधणे, समस्यानिवारण करणे आणि कमी करणे ही अत्यंत वैविध्यपूर्ण हार्डवेअर, विविध वर्कलोड्स, अपग्रेड डेडलाइन आणि इतर छान गोष्टी आहेत ज्यांची कोणीही काळजी करू इच्छित नाही.

तुमच्या डोमेनवर प्रभुत्व मिळवा

यापैकी अनेक समस्यांचे निराकरण करण्यासाठी, आम्ही आउटब्रेनमधील सर्व्हर लाइफसायकल त्याच्या मुख्य घटकांमध्ये मोडून टाकले आणि त्यांना डोमेन म्हटले. उदाहरणार्थ, एका डोमेनमध्ये उपकरणे आवश्यक असतात, दुसरे इन्व्हेंटरी लाइफ सायकलशी संबंधित लॉजिस्टिक कव्हर करते आणि तिसरे फील्ड कर्मचार्‍यांशी संप्रेषण कव्हर करते. हार्डवेअर निरीक्षणासंबंधी आणखी एक आहे, परंतु आम्ही सर्व बिंदूंचे वर्णन करणार नाही. आमचे ध्येय डोमेन्सचा अभ्यास करणे आणि परिभाषित करणे हे होते जेणेकरून ते कोड वापरून अमूर्त केले जाऊ शकतात. एकदा कार्यरत अ‍ॅब्स्ट्रॅक्शन विकसित झाल्यानंतर, ते एका मॅन्युअल प्रक्रियेमध्ये हस्तांतरित केले जाते जे तैनात केले जाते, चाचणी केली जाते आणि परिष्कृत केली जाते. शेवटी, डोमेन APIs द्वारे इतर डोमेनसह एकत्रित करण्यासाठी कॉन्फिगर केले आहे, एक समग्र, डायनॅमिक आणि सतत विकसित होणारी हार्डवेअर लाइफसायकल प्रणाली तयार करते जी तैनात करण्यायोग्य, चाचणी करण्यायोग्य आणि निरीक्षण करण्यायोग्य आहे. आमच्या इतर सर्व उत्पादन प्रणालींप्रमाणेच.

या दृष्टिकोनाचा अवलंब केल्याने आम्हाला अनेक समस्या योग्यरित्या सोडवता आल्या - साधने आणि ऑटोमेशन तयार करून.

डोमेनची गरज आहे

जरी सुरुवातीच्या काळात मागणी पूर्ण करण्यासाठी ईमेल आणि स्प्रेडशीट्स हा एक व्यवहार्य मार्ग होता, तरीही तो एक यशस्वी उपाय नव्हता, विशेषत: जेव्हा सर्व्हरची संख्या आणि येणार्‍या विनंत्यांची संख्या एका विशिष्ट स्तरावर पोहोचली. जलद विस्ताराच्या पार्श्वभूमीवर येणार्‍या विनंत्यांना अधिक चांगल्या प्रकारे व्यवस्थापित करण्यासाठी आणि प्राधान्य देण्यासाठी, आम्हाला ऑफर करू शकणारी तिकीट प्रणाली वापरावी लागली:

• केवळ संबंधित फील्डचे दृश्य सानुकूलित करण्याची क्षमता (साधे)
• API उघडा (विस्तारण करण्यायोग्य)
• आमच्या टीमला माहीत आहे (समजले)
• आमच्या विद्यमान वर्कफ्लोसह एकत्रीकरण (युनिफाइड)

आम्ही आमच्या स्प्रिंट आणि अंतर्गत कार्ये व्यवस्थापित करण्यासाठी जिरा वापरत असल्याने, आम्ही आमच्या क्लायंटना तिकिटे सबमिट करण्यात आणि त्यांच्या निकालांचा मागोवा घेण्यास मदत करणारा दुसरा प्रकल्प तयार करण्याचा निर्णय घेतला. येणार्‍या विनंत्यांसाठी आणि अंतर्गत कार्ये व्यवस्थापित करण्यासाठी जिरा वापरल्याने आम्हाला एकच कानबान बोर्ड तयार करण्याची अनुमती दिली ज्यामुळे आम्हाला सर्व प्रक्रिया संपूर्णपणे पाहण्याची परवानगी मिळाली. आमच्या अंतर्गत "क्लायंटने" अतिरिक्त कार्यांच्या (जसे की साधने सुधारणे, दोषांचे निराकरण करणे) कमी महत्त्वपूर्ण तपशीलांचा शोध न घेता केवळ उपकरणांसाठी विनंत्या पाहिल्या.

जिरा मध्ये कानबन बोर्ड

बोनस म्‍हणून, रांग आणि प्राधान्‍यक्रम आता सर्वांना दिसत असल्‍यामुळे "रांगेत कुठे" विशिष्ट विनंती होती आणि ती आधी काय आहे हे समजणे शक्य झाले. यामुळे मालकांना आमच्याशी संपर्क न करता त्यांच्या स्वतःच्या विनंत्यांना पुन्हा प्राधान्य देण्याची अनुमती दिली. ते ड्रॅग करा आणि ते झाले. जिरामध्ये व्युत्पन्न केलेल्या मेट्रिक्सच्या आधारे विनंती प्रकारांनुसार आम्हाला आमच्या SLA चे निरीक्षण आणि मूल्यमापन करण्याची परवानगी दिली.

उपकरणे जीवनचक्र डोमेन

प्रत्येक सर्व्हर रॅकमध्ये वापरलेले हार्डवेअर व्यवस्थापित करण्याच्या जटिलतेची कल्पना करण्याचा प्रयत्न करा. सर्वात वाईट गोष्ट म्हणजे हार्डवेअरचे अनेक तुकडे (RAM, ROM) वेअरहाऊसमधून सर्व्हर रूममध्ये आणि मागे हलवले जाऊ शकतात. ते देखील अयशस्वी होतात किंवा राइट ऑफ केले जातात आणि बदलले जातात आणि बदली/दुरुस्तीसाठी पुरवठादाराकडे परत जातात. हे सर्व उपकरणांच्या भौतिक देखभालीमध्ये गुंतलेल्या कोलोकेशन सेवा कर्मचार्‍यांना कळवले पाहिजे. या समस्यांचे निराकरण करण्यासाठी, आम्ही फ्लॉपी नावाचे अंतर्गत साधन तयार केले. त्याचे कार्य आहे:

• फील्ड कर्मचार्‍यांसह संप्रेषणांचे व्यवस्थापन, सर्व माहिती एकत्र करणे;
• प्रत्येक पूर्ण आणि सत्यापित उपकरण देखभाल कार्यानंतर "वेअरहाऊस" डेटा अद्यतनित करणे.

वेअरहाऊस, बदल्यात, ग्राफना वापरून दृश्यमान केले जाते, जे आम्ही आमच्या सर्व मेट्रिक्स प्लॉट करण्यासाठी वापरतो. अशा प्रकारे, आम्ही वेअरहाऊस व्हिज्युअलायझेशन आणि इतर उत्पादन गरजांसाठी समान साधन वापरतो.

Grafana मध्ये गोदाम उपकरणे नियंत्रण पॅनेल

वॉरंटी अंतर्गत असलेल्या सर्व्हर उपकरणांसाठी, आम्ही दुसरे साधन वापरतो ज्याला आम्ही डिस्पॅचर म्हणतो. तो:

• सिस्टम लॉग गोळा करते;
• विक्रेत्याला आवश्यक असलेल्या फॉरमॅटमध्ये अहवाल व्युत्पन्न करते;
• API द्वारे विक्रेत्याकडून विनंती तयार करते;
• त्याच्या प्रगतीचा पुढील मागोवा घेण्यासाठी ऍप्लिकेशन अभिज्ञापक प्राप्त आणि संग्रहित करते.

एकदा आमचा दावा मान्य झाला की (सामान्यत: व्यवसायाच्या वेळेत), सुटे भाग योग्य डेटा सेंटरला पाठवला जातो आणि कर्मचार्‍यांनी स्वीकारला.

जेनकिन्स कन्सोल आउटपुट

संप्रेषण डोमेन

आमच्‍या व्‍यवसायाची जलद वाढ चालू ठेवण्‍यासाठी, जिच्‍यासाठी सतत वाढणारी क्षमता आवश्‍यक आहे, आम्‍हाला स्‍थानिक डेटा केंद्रांमध्‍ये तांत्रिक तज्ञांसोबत काम करण्‍याच्‍या पद्धतीशी जुळवून घेणे आवश्‍यक आहे. जर प्रथम स्केलिंग अप म्हणजे नवीन सर्व्हर खरेदी करणे, तर एकत्रीकरण प्रकल्पानंतर (कुबर्नेट्सच्या संक्रमणावर आधारित) ते पूर्णपणे वेगळे झाले. आमची उत्क्रांती “रॅक जोडण्यापासून” “सर्व्हर्स पुन्हा वापरणे” पर्यंत.

नवीन दृष्टिकोन वापरण्यासाठी नवीन साधने देखील आवश्यक आहेत ज्यामुळे डेटा सेंटर कर्मचार्‍यांशी अधिक आरामात संवाद साधणे शक्य झाले. या साधनांची आवश्यकता होती:

• साधेपणा;
• स्वायत्तता;
• कार्यक्षमता;
• विश्वसनीयता.

आम्हाला साखळीतून वगळून कामाची रचना करायची होती जेणेकरून तंत्रज्ञ थेट सर्व्हर उपकरणांसह काम करू शकतील. आमच्या हस्तक्षेपाशिवाय आणि वर्कलोड, कामाचे तास, उपकरणांची उपलब्धता इ. या सर्व समस्या नियमितपणे न मांडता.

हे साध्य करण्यासाठी, आम्ही प्रत्येक डेटा सेंटरमध्ये iPads स्थापित केले. सर्व्हरशी कनेक्ट केल्यानंतर, पुढील गोष्टी घडतील:

• डिव्हाइस पुष्टी करते की या सर्व्हरला खरोखर काही काम आवश्यक आहे;
• सर्व्हरवर चालणारे अनुप्रयोग बंद आहेत (आवश्यक असल्यास);
• कामाच्या सूचनांचा संच स्लॅक चॅनेलवर पोस्ट केला जातो ज्यामध्ये आवश्यक पायऱ्या स्पष्ट केल्या जातात;
• काम पूर्ण झाल्यावर, डिव्हाइस सर्व्हरच्या अंतिम स्थितीची शुद्धता तपासते;
• आवश्यक असल्यास अनुप्रयोग रीस्टार्ट करते.

याव्यतिरिक्त, आम्ही तंत्रज्ञांना मदत करण्यासाठी एक स्लॅक बॉट देखील तयार केला आहे. क्षमतांच्या विस्तृत श्रेणीबद्दल धन्यवाद (आम्ही कार्यक्षमतेचा सतत विस्तार करत होतो), बॉटने त्यांचे कार्य सोपे केले आणि आमचे जीवन खूप सोपे केले. अशा प्रकारे आम्ही वर्कफ्लोपासून स्वतःला काढून टाकून सर्व्हरची पुनर्प्रस्तुत आणि देखरेख करण्याच्या बहुतेक प्रक्रियेस ऑप्टिमाइझ केले.

आमच्या एका डेटा सेंटरमध्ये iPad

हार्डवेअर डोमेन

आमच्या डेटा सेंटर इन्फ्रास्ट्रक्चरला विश्वासार्हपणे स्केलिंग करण्यासाठी प्रत्येक घटकामध्ये चांगली दृश्यमानता आवश्यक आहे, उदाहरणार्थ:

• हार्डवेअर अपयश शोधणे
• सर्व्हर स्थिती (सक्रिय, होस्ट केलेले, झोम्बी इ.)
• वीज खप
• फर्मवेअर आवृत्ती
• या संपूर्ण व्यवसायासाठी विश्लेषण

आमचे उपाय आम्हाला उपकरणे कशी, कोठे आणि केव्हा खरेदी करायची याविषयी निर्णय घेण्यास अनुमती देतात, कधीकधी ते प्रत्यक्षात आवश्यक असण्याआधीच. तसेच, विविध उपकरणांवरील लोडची पातळी निश्चित करून, आम्ही सुधारित संसाधन वाटप साध्य करू शकलो. विशेषतः, ऊर्जा वापर. सर्व्हर रॅकमध्ये स्थापित होण्यापूर्वी आणि उर्जा स्त्रोताशी कनेक्ट होण्यापूर्वी, त्याच्या संपूर्ण जीवनकाळात आणि त्याच्या अंतिम सेवानिवृत्तीपर्यंत आम्ही आता त्याच्या प्लेसमेंटबद्दल माहितीपूर्ण निर्णय घेऊ शकतो.

ग्राफाना मध्ये ऊर्जा डॅशबोर्ड

आणि मग कोविड-19 दिसू लागला...

आमचा कार्यसंघ तंत्रज्ञान तयार करतो जे मीडिया कंपन्या आणि प्रकाशकांना ऑनलाइन सशक्त बनवतात जेणेकरून अभ्यागतांना त्यांच्यासाठी स्वारस्य असलेली संबंधित सामग्री, उत्पादने आणि सेवा शोधण्यात मदत होईल. आमची पायाभूत सुविधा काही रोमांचक बातम्या प्रसिद्ध झाल्यावर व्युत्पन्न होणारी रहदारी सेवा देण्यासाठी डिझाइन केलेली आहे.

कोविड-19 च्या सभोवतालचे तीव्र मीडिया कव्हरेज, रहदारीच्या वाढीसह, याचा अर्थ असा होतो की या दबावांचा सामना कसा करायचा हे आम्हाला तातडीने शिकण्याची आवश्यकता आहे. शिवाय, हे सर्व जागतिक संकटाच्या वेळी करावे लागले, जेव्हा पुरवठा साखळी विस्कळीत झाली होती आणि बहुतेक कर्मचारी घरी होते.

परंतु, आम्ही म्हटल्याप्रमाणे, आमचे मॉडेल आधीपासूनच असे गृहीत धरते की:

• आमच्या डेटा सेंटरमधील उपकरणे, बहुतेक भागांसाठी, आमच्यासाठी भौतिकदृष्ट्या दुर्गम आहेत;
•  आम्ही जवळजवळ सर्व शारीरिक कार्य दूरस्थपणे करतो;
• कार्य असिंक्रोनस, स्वायत्तपणे आणि मोठ्या प्रमाणावर केले जाते;
• आम्ही नवीन उपकरणे खरेदी करण्याऐवजी "भागांपासून तयार करा" पद्धत वापरून उपकरणांची मागणी पूर्ण करतो;
• आमच्याकडे एक वेअरहाऊस आहे जे आम्हाला काहीतरी नवीन तयार करण्याची परवानगी देते, आणि फक्त नियमित दुरुस्तीच करत नाही.

अशाप्रकारे, अनेक कंपन्यांना त्यांच्या डेटा केंद्रांवर प्रत्यक्ष प्रवेश मिळवण्यापासून रोखणाऱ्या जागतिक निर्बंधांचा आमच्यावर फारसा परिणाम झाला नाही. आणि स्पेअर पार्ट्स आणि सर्व्हरसाठी, होय, आम्ही उपकरणांचे स्थिर ऑपरेशन सुनिश्चित करण्याचा प्रयत्न केला. परंतु अचानक काही हार्डवेअर उपलब्ध नसल्याचे लक्षात येताच संभाव्य घटना रोखण्याच्या उद्देशाने हे केले गेले. सध्याची मागणी पूर्ण करण्याचे उद्दिष्ट न ठेवता आमचा साठा भरला गेला आहे याची आम्ही खात्री केली.

सारांशात, मी असे म्हणू इच्छितो की डेटा सेंटर उद्योगात काम करण्याचा आमचा दृष्टीकोन हे सिद्ध करतो की डेटा सेंटरच्या भौतिक व्यवस्थापनासाठी चांगल्या कोड डिझाइनची तत्त्वे लागू करणे शक्य आहे. आणि कदाचित तुम्हाला ते मनोरंजक वाटेल.

मूळ: tyts

स्त्रोत: www.habr.com