हैबर पोस्टमॉर्टम रिपोर्ट: यह एक अखबार पर गिरी

2019 की गर्मियों के पहले महीने का अंत और दूसरे महीने की शुरुआत कठिन रही और वैश्विक आईटी सेवाओं में कई बड़ी गिरावट देखी गई। उल्लेखनीय लोगों में: क्लाउडफ्लेयर बुनियादी ढांचे में दो गंभीर घटनाएं (पहला - संयुक्त राज्य अमेरिका के कुछ आईएसपी की ओर से बीजीपी के प्रति टेढ़े हाथ और लापरवाहीपूर्ण रवैया; दूसरा - स्वयं सीएफ की कुटिल तैनाती के साथ, जिसने सीएफ का उपयोग करने वाले सभी लोगों को प्रभावित किया) , और ये कई उल्लेखनीय सेवाएं हैं) और फेसबुक सीडीएन बुनियादी ढांचे का अस्थिर संचालन (इंस्टाग्राम और व्हाट्सएप सहित सभी एफबी उत्पादों को प्रभावित किया)। हमें भी वितरण में फंसना पड़ा, हालाँकि वैश्विक पृष्ठभूमि के मुकाबले हमारा आउटेज बहुत कम ध्यान देने योग्य था। किसी ने पहले ही काले हेलीकॉप्टरों और "संप्रभु" साजिशों को घसीटना शुरू कर दिया है, इसलिए हम अपनी घटना का सार्वजनिक पोस्टमार्टम जारी कर रहे हैं।

03.07.2019, 16: 05
आंतरिक नेटवर्क कनेक्टिविटी में खराबी के समान, संसाधनों के साथ समस्याएं दर्ज की जाने लगीं। सब कुछ पूरी तरह से जांचने के बाद, उन्होंने डेटालाइन की ओर बाहरी चैनल के प्रदर्शन में गलती करना शुरू कर दिया, क्योंकि यह स्पष्ट हो गया कि समस्या आंतरिक नेटवर्क की इंटरनेट (NAT) तक पहुंच के साथ थी, बीजीपी सत्र को डेटालाइन की ओर रखने की हद तक।

03.07.2019, 16: 35
यह स्पष्ट हो गया कि नेटवर्क एड्रेस ट्रांसलेशन और साइट के स्थानीय नेटवर्क से इंटरनेट (NAT) तक पहुंच प्रदान करने वाले उपकरण विफल हो गए थे। उपकरण को रिबूट करने के प्रयासों से कुछ भी नहीं हुआ, कनेक्टिविटी को व्यवस्थित करने के लिए वैकल्पिक विकल्पों की खोज तकनीकी सहायता से प्रतिक्रिया प्राप्त करने से पहले शुरू हुई, क्योंकि अनुभव से, यह संभवतः मदद नहीं करेगा।

समस्या इस तथ्य से कुछ हद तक बढ़ गई थी कि इस उपकरण ने क्लाइंट वीपीएन कर्मचारियों के आने वाले कनेक्शन को भी समाप्त कर दिया था, और दूरस्थ पुनर्प्राप्ति कार्य करना अधिक कठिन हो गया था।

03.07.2019, 16: 40
हमने पहले से मौजूद बैकअप NAT योजना को पुनर्जीवित करने का प्रयास किया जो पहले भी अच्छी तरह से काम कर चुकी थी। लेकिन यह स्पष्ट हो गया कि कई नेटवर्क नवीनीकरणों ने इस योजना को लगभग पूरी तरह से निष्क्रिय कर दिया है, क्योंकि इसकी बहाली, सबसे अच्छा, काम नहीं कर सकती है, या, सबसे बुरी स्थिति में, जो पहले से ही काम कर रही थी उसे तोड़ सकती है।

हमने बैकबोन की सेवा देने वाले नए राउटर्स के सेट पर ट्रैफ़िक स्थानांतरित करने के लिए कुछ विचारों पर काम करना शुरू किया, लेकिन कोर नेटवर्क में मार्गों के वितरण की ख़ासियत के कारण वे अव्यवहारिक लग रहे थे।

03.07.2019, 17: 05
उसी समय, नाम सर्वर पर नाम समाधान तंत्र में एक समस्या की पहचान की गई, जिसके कारण अनुप्रयोगों में समापन बिंदुओं को हल करने में त्रुटियां हुईं, और उन्होंने महत्वपूर्ण सेवाओं के रिकॉर्ड के साथ होस्ट फ़ाइलों को जल्दी से भरना शुरू कर दिया।

03.07.2019, 17: 27
हैबर की सीमित कार्यक्षमता बहाल कर दी गई है।

03.07.2019, 17: 43
लेकिन अंत में, सीमा राउटरों में से एक के माध्यम से यातायात को व्यवस्थित करने के लिए एक अपेक्षाकृत सुरक्षित समाधान पाया गया, जिसे तुरंत स्थापित किया गया था। इंटरनेट कनेक्टिविटी बहाल कर दी गई है.

अगले कुछ मिनटों में, मॉनिटरिंग एजेंटों की कार्यक्षमता की बहाली के बारे में मॉनिटरिंग सिस्टम से बहुत सारी सूचनाएं आईं, लेकिन कुछ सेवाएं निष्क्रिय हो गईं क्योंकि नाम सर्वर (डीएनएस) पर नाम रिज़ॉल्यूशन तंत्र टूट गया था।

03.07.2019, 17: 52
एनएस को पुनः आरंभ किया गया और कैश साफ़ कर दिया गया। समाधान बहाल कर दिया गया है.

03.07.2019, 17: 55
एमके, फ्रीलान्सिम और टोस्टर को छोड़कर सभी सेवाओं ने काम करना शुरू कर दिया।

03.07.2019, 18: 02
एमके और फ्रीलांसिम ने काम करना शुरू कर दिया।

03.07.2019, 18: 07
डेटालाइन के साथ एक निर्दोष बीजीपी सत्र वापस लाएं।

03.07.2019, 18: 25
उन्होंने संसाधनों के साथ समस्याओं को रिकॉर्ड करना शुरू कर दिया, जो NAT पूल के बाहरी पते में बदलाव और कई सेवाओं के एसीएल में इसकी अनुपस्थिति के कारण था, जिसे तुरंत ठीक कर दिया गया था। टोस्टर ने तुरंत काम करना शुरू कर दिया।

03.07.2019, 20: 30
हमने टेलीग्राम बॉट्स से संबंधित त्रुटियां देखीं। यह पता चला कि वे कुछ एसीएल (प्रॉक्सी सर्वर) में बाहरी पता पंजीकृत करना भूल गए थे, जिसे तुरंत ठीक कर दिया गया था।

निष्कर्ष

• उपकरण, जिसकी उपयुक्तता के बारे में पहले संदेह पैदा हुआ था, विफल हो गया। इसे काम से हटाने की योजना थी, क्योंकि इसने नेटवर्क के विकास में बाधा डाली और अनुकूलता संबंधी समस्याएं थीं, लेकिन साथ ही इसने एक महत्वपूर्ण कार्य किया, यही कारण है कि सेवाओं को बाधित किए बिना कोई भी प्रतिस्थापन तकनीकी रूप से कठिन था। अब आप आगे बढ़ सकते हैं.
• उन्हें NAT नेटवर्क के बाहर नए बैकबोन नेटवर्क के करीब ले जाकर DNS समस्या से बचा जा सकता है और फिर भी अनुवाद के बिना ग्रे नेटवर्क से पूर्ण कनेक्टिविटी हो सकती है (जो कि घटना से पहले की योजना थी)।
• आरडीबीएमएस क्लस्टर को असेंबल करते समय आपको डोमेन नाम का उपयोग नहीं करना चाहिए, क्योंकि आईपी पते को पारदर्शी रूप से बदलने की सुविधा विशेष रूप से आवश्यक नहीं है, क्योंकि इस तरह के हेरफेर के लिए अभी भी क्लस्टर के पुनर्निर्माण की आवश्यकता होती है। यह निर्णय ऐतिहासिक कारणों से और सबसे पहले, आरडीबीएमएस कॉन्फ़िगरेशन में नाम के अनुसार समापन बिंदुओं की स्पष्टता से तय हुआ था। सामान्य तौर पर, एक क्लासिक जाल।
• सिद्धांत रूप में, "रूनेट के संप्रभुकरण" के बराबर अभ्यास आयोजित किए गए हैं; स्वायत्त अस्तित्व की क्षमताओं को मजबूत करने के संदर्भ में सोचने के लिए कुछ है।

स्रोत: www.habr.com