हामीले कसरी Yandex ड्युटी शिफ्ट खाली गर्यौं

जब काम एक ल्यापटपमा फिट हुन्छ र अन्य व्यक्तिहरूबाट स्वायत्त रूपमा प्रदर्शन गर्न सकिन्छ, त्यसपछि टाढाको स्थानमा सार्न कुनै समस्या छैन - यो बिहान घरमा बस्न पर्याप्त छ। तर सबैजना यति भाग्यमानी छैनन्।

ड्यूटी शिफ्ट सेवा उपलब्धता विशेषज्ञ (SREs) को टोली हो। यसमा कर्तव्य प्रशासकहरू, विकासकर्ताहरू, प्रबन्धकहरू, साथै प्रत्येक 26 इन्चको 55 LCD प्यानलहरूको साझा "ड्यासबोर्ड" समावेश छन्। कम्पनीको सेवाहरूको स्थिरता र समस्याहरू समाधान गर्ने गति ड्यूटी शिफ्टको काममा निर्भर गर्दछ।

आज दिमित्री Melikov tal10n, ड्यूटीमा शिफ्टको प्रमुखले कसरी केही दिनमा उनीहरूले उपकरणहरू आफ्नो घरमा ढुवानी गर्न र नयाँ कार्य प्रक्रियाहरू स्थापना गर्न व्यवस्थित गरे भन्ने बारे कुरा गर्नेछन्। म उसलाई भुइँ दिन्छु।

- जब तपाईंसँग समयको अन्तहीन आपूर्ति हुन्छ, तपाईं आरामसँग कुनै पनि ठाउँमा जान सक्नुहुन्छ। तर कोरोनाभाइरसको द्रुत प्रसारले हामीलाई पूर्णतया फरक अवस्थामा राखेको छ। यान्डेक्सका कर्मचारीहरू सेल्फ-आइसोलेसन प्रणाली लागू हुनु अघि नै टाढाको काममा स्विच गर्ने पहिलो व्यक्तिहरू थिए। यस्तो भयो । बिहीबार, मार्च १२ मा, मलाई टोलीको काम घर सार्ने सम्भावनाको मूल्याङ्कन गर्न भनियो। शुक्रबार 12, त्यहाँ टाढाको काममा स्विच गर्न सिफारिस गरिएको थियो। मंगलबार, मार्च 13 को रात, हाम्रो लागि सबै तयार थियो: परिचारकहरू घरमा काम गरिरहेका थिए, उपकरणहरू सारियो, हराएको सफ्टवेयर लेखिएको थियो, प्रक्रियाहरू पुन: कन्फिगर गरिएको थियो। र अब म तपाईंलाई बताउनेछु कि हामीले यो कसरी गर्यौं। तर पहिले तपाईंले कर्तव्य शिफ्टले समाधान गर्ने कार्यहरूको बारेमा याद गर्न आवश्यक छ।

हामी को हौं

Yandex सयौं सेवाहरु संग एक ठूलो कम्पनी हो। खोज, आवाज सहायक र अन्य सबै उत्पादनहरूको स्थिरता विकासकर्ताहरूमा मात्र निर्भर छैन। डाटा सेन्टरमा विद्युत आपूर्ति अवरुद्ध हुन सक्छ। डामर प्रतिस्थापनको क्रममा कामदारले अप्टिकल केबललाई गल्तिले क्षति पुर्‍याउन सक्छ। वा त्यहाँ प्रयोगकर्ता गतिविधिमा वृद्धि हुन सक्छ, जसलाई क्षमताको तत्काल पुन: आवंटन आवश्यक पर्दछ। यसबाहेक, हामी सबै एक ठूलो, जटिल पूर्वाधारमा बस्छौं, र कुनै एक उत्पादनको रिलीजले संयोगवश अर्कोको पतन हुन सक्छ।

हाम्रो खुला ठाउँमा 26 प्यानलहरू डेढ हजार अलर्टहरू र हाम्रा सेवाहरूको सय भन्दा बढी चार्ट र प्यानलहरू छन्। वास्तवमा, यो एक विशाल निदान प्यानल हो। एक अनुभवी कर्तव्य प्रशासक, यसलाई हेरेर, चाँडै महत्त्वपूर्ण नोडहरूको स्थिति बुझ्दछ र प्राविधिक समस्याको अनुसन्धानको लागि दिशा सेट गर्न सक्छ। यसको मतलब यो होइन कि एक व्यक्तिले लगातार सबै उपकरणहरू हेर्नु पर्छ: स्वचालन आफैले कर्तव्य अधिकारीको विशेष इन्टरफेसमा सूचना पठाएर ध्यान आकर्षित गर्नेछ, तर भिजुअल प्यानल बिना, समस्याको समाधान ढिलाइ हुन सक्छ।

जब समस्याहरू देखा पर्दछ, परिचारकले पहिले उनीहरूको प्राथमिकता मूल्याङ्कन गर्दछ। यसले त्यसपछि समस्यालाई अलग गर्छ वा प्रयोगकर्ताहरूमा यसको प्रभावलाई कम गर्छ।

त्यहाँ समस्या अलग गर्न धेरै मानक तरिकाहरू छन्। ती मध्ये एक सेवाहरूको ह्रास हो, जब ड्यूटीमा प्रशासकले प्रयोगकर्ताहरूले कम्तिमा ध्यान दिएका केही कार्यहरू असक्षम पार्छन्। यसले तपाईंलाई अस्थायी रूपमा लोड कम गर्न र के भयो भनेर पत्ता लगाउन अनुमति दिन्छ। यदि डाटा सेन्टरमा समस्या छ भने, ड्यूटी अफिसरले अपरेशन टोलीलाई सम्पर्क गर्दछ, समस्या बुझ्दछ, यसको समाधानको समय नियन्त्रण गर्दछ र आवश्यक भएमा, सम्बन्धित टोलीहरू जडान गर्दछ।

जब कर्तव्यमा प्रशासकले रिलीजको कारण उत्पन्न भएको समस्यालाई अलग गर्न सक्दैन, उसले सेवा टोलीलाई रिपोर्ट गर्दछ - र विकासकर्ताहरूले नयाँ कोडमा त्रुटिहरू खोज्छन्। यदि तिनीहरूले यो पत्ता लगाउन असफल भए, तब प्रशासकले सेवाहरूको उपलब्धताको लागि अन्य उत्पादनहरू वा इन्जिनियरहरूबाट विकासकर्ताहरूलाई आकर्षित गर्दछ।

हामीसँग सबै कुरा कसरी व्यवस्थित गरिएको छ भन्ने बारे म लामो समयको लागि कुरा गर्न सक्छु, तर मलाई लाग्छ कि मैले पहिले नै सार बताइसकेको छु। ड्यूटी शिफ्टले सबै सेवाहरूको कामलाई समन्वय गर्दछ र विश्वव्यापी समस्याहरूलाई नियन्त्रण गर्दछ। ड्युटीमा रहेका प्रशासकका लागि आफ्नो आँखाको अगाडि डायग्नोस्टिक प्यानल हुनु महत्त्वपूर्ण छ। त्यसकारण जब तपाइँ टाढाको काममा स्विच गर्नुहुन्छ, तपाइँ सबैलाई ल्यापटप लिन र दिन सक्नुहुन्न। स्क्रिनमा ग्राफ र अलर्टहरू फिट हुने छैनन्। के गर्ने?

आइडिया

कार्यालयमा, सबै दश प्रशासकहरूले एउटै ड्यासबोर्डमा सिफ्टमा काम गर्छन्, जसमा २६ मोनिटरहरू, दुईवटा कम्प्युटरहरू, चारवटा NVIDIA Quadro NVS 26 भिडियो कार्डहरू, दुईवटा र्याक-माउन्ट गरिएको निर्बाध विद्युत आपूर्तिहरू र धेरै स्वतन्त्र नेटवर्क पहुँचहरू समावेश छन्। हामीले यो सुनिश्चित गर्न आवश्यक छ कि सबैलाई घरबाट काम गर्ने अवसर छ। यो एक अपार्टमेन्टमा यस्तो पर्खाल भेला गर्न सम्भव छैन (मेरी श्रीमती यसको बारेमा विशेष गरी खुसी हुनेछन्), त्यसैले हामीले पोर्टेबल संस्करण सिर्जना गर्ने निर्णय गर्यौं जुन घरमा ल्याउन र भेला गर्न सकिन्छ।

हामीले कन्फिगरेसनको साथ प्रयोग गर्न थाल्यौं। हामीले कम डिस्प्लेहरूमा सबै यन्त्रहरू फिट गर्न आवश्यक छ, त्यसैले मनिटरको लागि मुख्य आवश्यकता उच्च पिक्सेल घनत्व थियो। हाम्रो वातावरणमा उपलब्ध 4K मोनिटरहरू मध्ये, हामीले परीक्षणको लागि Lenovo P27u-10 रोज्यौं।

ल्यापटपबाट, हामीले १६ इन्चको म्याकबुक प्रो लियौं। योसँग एकदम शक्तिशाली ग्राफिक्स उपप्रणाली छ, जुन धेरै 16K डिस्प्ले र चार विश्वव्यापी टाइप-सी कनेक्टरहरूमा छविहरू प्रस्तुत गर्न आवश्यक छ। तपाइँ सोध्न सक्नुहुन्छ: किन डेस्कटप छैन? गोदामबाट ठ्याक्कै उस्तै ल्यापटप प्रतिस्थापन गर्नु एक समान प्रणाली एकाइ भेला र कन्फिगर गर्नु भन्दा धेरै सजिलो र छिटो छ। र हो, यो कम तौल छ।

अब यो बुझ्न आवश्यक थियो कि कति मोनिटरहरू हामी वास्तवमा ल्यापटपमा जडान गर्न सक्छौं। र यहाँ समस्या कनेक्टरहरूको संख्या होइन, हामीले प्रणालीलाई विधानसभाको रूपमा परीक्षण गरेर मात्र पत्ता लगाउन सक्छौं।

परीक्षण गर्दै

हामीले आरामसँग सबै चार्ट र अलर्टहरू चार मोनिटरहरूमा राख्यौं र तिनीहरूलाई ल्यापटपमा पनि जडान गर्यौं, तर हामी समस्यामा पर्यौं। जडान गरिएका मोनिटरहरूमा 4×4K पिक्सेल रेन्डर गर्दा भिडियो कार्ड यति धेरै लोड भयो कि चार्ज गर्दा पनि ल्यापटप डिस्चार्ज भयो। सौभाग्यवश, Lenovo ThinkPad Thunderbolt 3 Dock Gen 2 डकिङ स्टेशनको सहयोगमा समस्या समाधान भयो। हामीले मनिटर, पावर, र तपाईंको मनपर्ने माउस र किबोर्डलाई डकिङ स्टेशनमा जडान गर्न सफल भयौं।

तर अर्को समस्या तुरुन्तै देखा पर्‍यो: GPU यति धेरै पफ भयो कि ल्यापटप ओभरहेट भयो, जसको मतलब ब्याट्री पनि ओभरहेट भयो, जसको परिणाम सुरक्षा मोडमा गयो र चार्ज लिन रोकियो। सामान्यतया, यो एक धेरै उपयोगी मोड हो जसले खतरनाक परिस्थितिहरू विरुद्ध सुरक्षा गर्दछ। केही अवस्थामा, समस्या उच्च-टेक उपकरणको मद्दतले हल गरिएको थियो - ल्यापटप मुनि राखिएको एक बलपोइन्ट कलम वेंटिलेशन सुधार गर्न। तर यसले सबैलाई मद्दत गरेन, त्यसैले हामीले मानक फ्यानको गति पनि बढाएका छौं।

त्यहाँ अर्को अप्रिय विशेषता थियो। सबै चार्ट र अलर्टहरू कडा रूपमा परिभाषित ठाउँमा राखिएको हुनुपर्छ। कल्पना गर्नुहोस् कि तपाईं विमानलाई अवतरण गर्न पाइलट गर्दै हुनुहुन्छ - र त्यसपछि गति सूचकहरू, अल्टिमिटरहरू, भेरियोमिटरहरू, कृत्रिम क्षितिजहरू, कम्पासहरू र स्थिति सूचकहरूले आकार परिवर्तन गर्न थाल्छन् र विभिन्न ठाउँहरूमा उफ्रिन थाल्छन्। त्यसैले हामीले एउटा अनुप्रयोग बनाउने निर्णय गर्‍यौं जसले यसलाई मद्दत गर्नेछ। एक साँझ, हामीले यसलाई Electron.js मा लेख्यौं, रेडिमेड लिएर एपीआई सञ्झ्यालहरू सिर्जना गर्न र व्यवस्थापन गर्न। हामीले कन्फिगरेसन ह्यान्डलर र तिनीहरूको आवधिक अद्यावधिक, साथै सीमित संख्याको मोनिटरहरूको लागि समर्थन थप्यौं। केही समय पछि, तिनीहरूले विभिन्न सेटअपहरूको लागि समर्थन थपे।

विधानसभा र वितरण

सोमबारसम्म, हेल्पडेस्कका विजार्डहरूले हाम्रा लागि ४० वटा मोनिटर, दश ल्यापटप र त्यति नै संख्यामा डकिङ स्टेशनहरू प्राप्त गरिसकेका छन्। मलाई थाहा छैन तिनीहरूले यो कसरी गरे, तर धेरै धेरै धन्यवाद।

यो सबै ड्यूटीमा प्रशासकहरूको अपार्टमेन्टमा पुर्‍याउन बाँकी थियो। र यी मस्कोका विभिन्न भागहरूमा दस ठेगानाहरू छन्: दक्षिण, पूर्व, केन्द्र, र बालशिखा, जुन अफिसबाट 45 किलोमिटर टाढा छ (तर, सेरपुखोभबाट एक इन्टर्न पनि पछि थपिएको थियो)। यो कुनै न कुनै रूपमा यो सबै मानिसहरू बीच वितरण, रसद निर्माण गर्न आवश्यक थियो।

मैले हाम्रो नक्सामा सबै ठेगानाहरू प्रविष्ट गरें, त्यहाँ अझै पनि विभिन्न बिन्दुहरू बीचको मार्ग अप्टिमाइज गर्ने अवसर छ (मैले कुरियरहरूको लागि उपकरणको नि: शुल्क बीटा संस्करण प्रयोग गरें)। हामीले हाम्रो टोलीलाई दुई व्यक्तिको चार स्वतन्त्र टोलीमा विभाजन गर्यौं, प्रत्येकले आफ्नै मार्ग प्राप्त गर्‍यो। मेरो कार सबैभन्दा फराकिलो भयो, त्यसैले मैले एकैचोटि चार कर्मचारीहरूका लागि उपकरण लिएँ।

सम्पूर्ण डेलिभरीमा रेकर्ड तीन घण्टा लाग्यो। सोमबार राति १० बजे अफिसबाट निस्कियौं । बिहान एक बजे म घरमै थिएँ । त्यही रात हामी नयाँ उपकरण लिएर ड्युटीमा गयौं।

के अन्तमा

एउटा ठूलो डायग्नोस्टिक कन्सोलको सट्टा, हामीले प्रत्येक कर्तव्य अधिकारीको अपार्टमेन्टमा दसवटा अपेक्षाकृत पोर्टेबल सङ्कलन गर्यौं। निस्सन्देह, त्यहाँ अझै केही चीजहरू इस्त्री गर्न बाँकी थियो। उदाहरणका लागि, हामीसँग सूचनाहरूको लागि कर्तव्य अधिकारीको एउटा "फलाम" फोन थियो। नयाँ सर्तहरूमा, यसले काम गरेन, त्यसैले हामी ड्यूटीमा भएकाहरूका लागि "भर्चुअल फोनहरू" लिएर आएका छौं (वास्तवमा, मेसेन्जरमा च्यानलहरू)। त्यहाँ अन्य परिवर्तनहरू पनि थिए। तर मुख्य कुरा यो हो कि रेकर्ड समयमा हामीले मानिसहरूलाई मात्र होइन, तिनीहरूको संक्रमणको जोखिम कम गर्दै, तर हाम्रा सबै कामहरू प्रक्रिया र उत्पादन स्थिरतालाई हानि नगरी घरबाटै हस्तान्तरण गर्न व्यवस्थित गर्यौं। हामीले यो एक महिनादेखि गर्दै आएका छौं।

तल तपाईंले हाम्रा परिचारकहरूको वास्तविक जागिरका फोटोहरू फेला पार्नुहुनेछ।

स्रोत: www.habr.com