PagerDuty, वा किन अपरेशन विभाग रातमा सुत्न सक्दैन

प्रणाली जति जटिल हुन्छ, त्यति नै सबै प्रकारका अलर्टहरूको साथ बढ्दै जान्छ। र त्यहाँ यी समान अलर्टहरूमा प्रतिक्रिया गर्न आवश्यक छ, तिनीहरूलाई एकत्रित र तिनीहरूलाई कल्पना गर्नुहोस्। मलाई लाग्छ कि यो एक अवस्था हो जुन धेरैलाई घबराहटको बिन्दुमा परिचित छ।

छलफल गरिने समाधान सबैभन्दा अप्रत्याशित छैन, तर खोजले यस विषयमा पूर्ण लेख फिर्ता गर्दैन।

तसर्थ, मैले FunCorp को अनुभव साझा गर्ने निर्णय गरें र कर्तव्य प्रक्रिया कसरी संरचित छ, कसले कल गर्छ, किन र कसरी तपाईंले यो सबै हेर्न सक्नुहुन्छ भन्ने बारे कुरा गर्ने निर्णय गरें।

PagerDuty के हो?

त्यसोभए, यी सबै समस्याहरू समाधान गर्न, हामीले एक सुविधाजनक उपकरण खोज्न थाल्यौं। केहि खोजी पछि, हामीले PagerDuty रोज्यौं। PD हामीलाई एकीकरण र सेटिङहरूको ठूलो संख्याको साथ एकदम पूर्ण र संक्षिप्त समाधान जस्तो देखिन्थ्यो। उनी कस्ती छिन्?

छोटकरीमा भन्नुपर्दा, PagerDuty एउटा घटना प्रशोधन गर्ने प्लेटफर्म हो जसले विभिन्न एकीकरणहरू मार्फत आगमन घटनाहरू प्रशोधन गर्न सक्छ, ड्यूटी अर्डरहरू सेट अप गर्न सक्छ र त्यसपछि घटनाको स्तर (उच्च स्तरमा - कल, कम स्तरमा -) को आधारमा ड्युटीमा इन्जिनियरलाई सचेत गराउन सक्छ। एप्लिकेसन / एसएमएसबाट एक धक्का)।

ड्युटी अफिसर को हो?

PD सेटअप सुरु गर्ने यो सम्भवतः पहिलो स्थान हो।

FunCorp मा, अन्य कम्पनीहरु जस्तै, कर्तव्य अधिकारी को एक मानद स्थान छ। यो दिनमा एक पटक इन्जिनियरबाट इन्जिनियरमा प्रसारित हुन्छ। PagerDuty बाट चेतावनीको प्रतिक्रियाको तथाकथित पहिलो र दोस्रो लाइन छ। मानौं एक उच्च प्राथमिकता चेतावनी आइपुग्छ, र यदि पहिलो लाइनबाट कर्तव्य अधिकारीलाई कल गरेको 10 मिनेट पछि त्यहाँ कुनै प्रतिक्रिया छैन (अर्थात, यो स्वीकार वा समाधान स्थितिमा हस्तान्तरण गरिएको छैन), कल दोस्रोमा जान्छ। कर्तव्य इन्जिनियर। यो एस्केलेसन नीतिहरू मार्फत PagerDuty मा कन्फिगर गरिएको छ।

यदि दोस्रो कर्तव्य अधिकारीले जवाफ दिएन भने, अधिसूचना फिर्ता आउँछ मुख्य कर्तव्य अधिकारीलाई।

तसर्थ, कुनै पनि आगमन उच्च प्राथमिकता अलर्ट प्रक्रिया नगरी रहन सक्दैन। 

अब घटना कहाँबाट आउन सक्छ हेरौं।

हामी कुन एकीकरण प्रयोग गर्छौं?

PD ले विभिन्न सेवाहरूबाट धेरै फरक घटनाहरू प्राप्त गर्दछ। हामीसँग हाल त्यस्ता 25 वटा सेवाहरू छन्, र तिनीहरूलाई प्रशोधन गर्न हामी केही तयार-निर्मित एकीकरणहरू प्रयोग गर्छौं।

• Prometheus

मुख्य मेट्रिक्स संग्रह प्रणाली प्रोमेथियस हो। Habré मा यसको बारेमा पहिले नै धेरै लेखिएको छ, म केवल भन्न चाहन्छु कि हामीसँग ती मध्ये धेरै फरक वातावरणका लागि छन्: एउटाले भर्चुअल मेसिन र डकरहरूबाट मेट्रिक्स सङ्कलन गर्दछ, अर्को अमेजन सेवाहरूबाट, तेस्रो हार्डवेयर मेसिनहरूबाट। Telegraf मुख्यतया मेट्रिक्स निर्यातक रूपमा प्रयोग गरिन्छ।

• इमेल

यहाँ पनि, मलाई लाग्छ, शीर्षकबाट सबै कुरा स्पष्ट छ। यो एकीकरण क्रोन द्वारा निष्पादित केही स्क्रिप्टहरूबाट सूचनाहरू पठाउन प्रयोग गरिन्छ। PD ले तपाईंलाई एउटा निश्चित ठेगाना दिन्छ जसमा तपाईंले पत्र पठाउनुहुन्छ। यस्तो एकीकरणको साथ सेवा सिर्जना गर्दा, तपाइँ प्राथमिकताहरू सेट गर्न सक्नुहुन्छ, कुन क्रममा आगमन घटनाहरू प्रशोधन गरिनेछ, कसरी सचेतता सिर्जना गर्ने (प्रत्येक आगमन पत्रको लागि, आगमन पत्र + एक निश्चित नियम, आदि)।

• सुस्त

मेरो विचारमा, एक धेरै रोचक एकीकरण। कहिलेकाहीँ केहि हुन्छ तर घटनाले कभर गर्दैन। त्यसकारण, हामीले घटना सिर्जना गर्न स्ल्याकबाट एकीकरण थप्यौं। त्यो हो, तपाइँ कर्पोरेट स्ल्याकमा लेख्न सक्नुहुन्छ /callofduty सबै ढिलो छ र चाँडै टुट्नेछ र पीडीले यसलाई प्रशोधन गर्नेछ र घटनालाई ड्युटी इन्जिनियरलाई पठाउनेछ।

हामी गर्छौ:

हामी देख्छौं:

• एपीआई

HTTP एकीकरण। वास्तवमा, यहाँ केहि विशेष रोचक छैन, केवल JSON ढाँचामा शरीरको साथ POST अनुरोध। उदाहरण को लागी, केहि रोचक: हामी यसलाई प्रयोग गरेर बाह्य निगरानी को लागी प्रयोग गर्दछौं https://www.statuscake.com/। यो सेवाले संसारका विभिन्न भागहरूबाट हाम्रा साइटहरूको पहुँच जाँच गर्दछ। यस्तो अवस्थामा जब हामीले अस्वीकार्य प्रतिक्रिया कोड (उदाहरणका लागि, 502) प्राप्त गर्छौं, एउटा घटना सिर्जना हुन्छ र त्यसपछि सबैले माथि वर्णन गरिएको चेनलाई पछ्याउँछ। StatusCake सँग आन्तरिक URL हरू, SSL प्रमाणपत्र वा डोमेन म्याद समाप्ति निगरानी गर्ने क्षमता छ।

• LibreNMS

यो अर्को अनुगमन प्रणाली हो, तपाईं तिनीहरूको वेबसाइटमा यसको बारेमा थप पढ्न सक्नुहुन्छ https://www.librenms.org/। यसको मद्दतले, हामी नेटवर्क इन्टरफेसहरू र सर्भरहरूबाट iDRAC निगरानी गर्छौं।

त्यहाँ Datadog, CloudWatch जस्ता एकीकरणहरू पनि थिए। तपाईं तिनीहरूलाई के भयो भन्ने बारे थप हेर्न सक्नुहुन्छ ठीक छ.

दृश्य

मुख्य घटना रिपोर्टिङ प्रणाली सुस्त छ। PD मा आउने सबै घटनाहरू विशेष च्याटमा लेखिन्छन्, र यदि तिनीहरूको स्थिति परिवर्तन भयो भने, यो च्याटमा पनि प्रदर्शित हुन्छ।

जब छतबाट झुण्डिएका मोनिटरहरूको स्क्रिनमा उपयोगी डेटा प्रदर्शन गर्ने अवसर आयो, हामीले अचानक महसुस गर्यौं कि हामीसँग (डेभोप्स विभागमा) तिनीहरूमा प्रदर्शन गर्न केही छैन। त्यहाँ एक अद्भुत Grafana छ, तर यसले सबै कुरा कभर गर्दैन, र कर्मचारीहरूले अलर्टहरूमा प्रतिक्रिया गर्छन्, चार्टहरू होइन।

PD को लागि संक्षिप्त र जानकारीमूलक "बोर्ड" को लागि GitHub मा गहिरो तर असफल खोजी पछि, हामीले हाम्रो आफ्नै लेख्ने निर्णय गर्यौं - हामीलाई चाहिने कुरामा मात्र। यद्यपि सुरुमा त्यहाँ PD इन्टरफेस आफै प्रदर्शन गर्ने विचार थियो, यो अझ असुविधाजनक देखिन्थ्यो।

यसलाई लेख्नको लागि, तपाईले केवल पढ्ने अधिकार भएको PD बाट कुञ्जी प्राप्त गर्न आवश्यक छ।
र यो हामीले पायौं:

स्क्रिनले हालको खुला घटनाहरू, चयन गरिएको तालिकाबाट ड्युटीमा रहेको वर्तमान इन्जिनियरको नाम र उच्च प्राथमिकता घटना बिनाको समय (उच्च प्राथमिकता घटना भएको प्यानल रातोमा हाइलाइट गरिनेछ) देखाउँछ।

यस कार्यान्वयनको स्रोतहरू यहाँ हेर्नुहोस्.

नतिजाको रूपमा, हामीले हाम्रा सबै घटनाहरू हेर्नको लागि सुविधाजनक ड्यासबोर्ड प्राप्त गर्यौं। यदि तपाईं मध्ये कसैलाई हाम्रो अनुभव उपयोगी लाग्यो भने म खुसी हुनेछु।

स्रोत: www.habr.com