निगरानी + लोड परीक्षण = भविष्यवाणी और कोई विफलता नहीं

वीटीबी आईटी विभाग को कई बार सिस्टम के संचालन में आपातकालीन स्थितियों से निपटना पड़ा, जब उन पर भार कई गुना बढ़ गया। इसलिए, एक ऐसे मॉडल को विकसित करने और परीक्षण करने की आवश्यकता थी जो महत्वपूर्ण प्रणालियों पर चरम भार की भविष्यवाणी करेगा। ऐसा करने के लिए, बैंक के आईटी विशेषज्ञों ने निगरानी स्थापित की, डेटा का विश्लेषण किया और पूर्वानुमानों को स्वचालित करना सीखा। हम आपको एक संक्षिप्त लेख में बताएंगे कि किन उपकरणों ने लोड का अनुमान लगाने में मदद की और क्या उन्होंने काम को अनुकूलित करने में मदद की।

उच्च-लोड सेवाओं की समस्याएँ लगभग सभी उद्योगों में उत्पन्न होती हैं, लेकिन वित्तीय क्षेत्र के लिए वे महत्वपूर्ण हैं। घंटे X पर, सभी लड़ाकू इकाइयाँ तैयार होनी चाहिए, और इसलिए पहले से जानना आवश्यक था कि क्या हो सकता है और यहाँ तक कि उस दिन का निर्धारण भी करना चाहिए जब भार कूदेगा और कौन सी प्रणालियाँ इसका सामना करेंगी। विफलताओं से निपटने और उन्हें रोकने की आवश्यकता है, इसलिए पूर्वानुमानित विश्लेषण प्रणाली को लागू करने की आवश्यकता पर भी चर्चा नहीं की गई। निगरानी डेटा के आधार पर प्रणालियों को आधुनिक बनाना आवश्यक था।

एनालिटिक्स आपके घुटनों पर है

विफलता की स्थिति में पेरोल परियोजना सबसे संवेदनशील परियोजनाओं में से एक है। यह पूर्वानुमान के लिए सबसे अधिक समझने योग्य है, इसलिए हमने इसके साथ शुरुआत करने का निर्णय लिया। उच्च कनेक्टिविटी के कारण, दूरस्थ बैंकिंग सेवाओं (आरबीएस) सहित अन्य उपप्रणालियों को पीक लोड के समय समस्याओं का अनुभव हो सकता है। उदाहरण के लिए, जो ग्राहक पैसे की प्राप्ति के बारे में एसएमएस से खुश थे, उन्होंने सक्रिय रूप से इसका उपयोग करना शुरू कर दिया। भार परिमाण के क्रम से अधिक बढ़ सकता है। 

पहला पूर्वानुमान मॉडल मैन्युअल रूप से बनाया गया था। हमने पिछले वर्ष के अपलोड लिए और गणना की कि किन दिनों में अधिकतम शिखर अपेक्षित हैं: उदाहरण के लिए, 1, 15वें और 25वें, साथ ही महीने के आखिरी दिन। इस मॉडल के लिए महत्वपूर्ण श्रम लागत की आवश्यकता थी और यह सटीक पूर्वानुमान प्रदान नहीं करता था। फिर भी, इसने उन बाधाओं की पहचान की जहां हार्डवेयर जोड़ना आवश्यक था, और एंकर ग्राहकों के साथ सहमत होकर धन हस्तांतरण की प्रक्रिया को अनुकूलित करना संभव बना दिया: एक बार में वेतन न देने के लिए, विभिन्न क्षेत्रों से लेनदेन को समय के साथ अलग कर दिया गया। अब हम उन्हें उन हिस्सों में संसाधित करते हैं जिन्हें बैंक का आईटी बुनियादी ढांचा बिना किसी असफलता के "चबा" सकता है।

पहला सकारात्मक परिणाम प्राप्त करने के बाद, हम पूर्वानुमान को स्वचालित करने के लिए आगे बढ़े। एक दर्जन से अधिक महत्वपूर्ण क्षेत्र अपनी बारी की प्रतीक्षा कर रहे थे।

व्यापक दृष्टिकोण

वीटीबी ने माइक्रोफोकस से एक निगरानी प्रणाली लागू की है। वहां से हमने पूर्वानुमान के लिए डेटा संग्रह, एक भंडारण प्रणाली और एक रिपोर्टिंग प्रणाली ली। वास्तव में, निगरानी पहले से ही मौजूद थी, जो कुछ बचा था वह मेट्रिक्स, एक भविष्यवाणी मॉड्यूल जोड़ना और नई रिपोर्ट बनाना था। यह निर्णय बाहरी ठेकेदार टेक्नोसर्व द्वारा समर्थित है, इसलिए परियोजना को लागू करने का मुख्य काम इसके विशेषज्ञों पर पड़ा, लेकिन हमने मॉडल स्वयं बनाया। पूर्वानुमान प्रणाली फेसबुक द्वारा विकसित एक ओपन सोर्स उत्पाद पैगंबर के आधार पर बनाई गई थी। इसका उपयोग करना आसान है और यह हमारे स्थापित एकीकृत निगरानी उपकरण और वर्टिका के साथ आसानी से एकीकृत हो जाता है। मोटे तौर पर कहें तो, सिस्टम लोड ग्राफ़ का विश्लेषण करता है और फूरियर श्रृंखला के आधार पर इसका एक्सट्रपलेशन करता है। हमारे मॉडल से लिए गए कुछ गुणांकों को दिन के हिसाब से जोड़ना भी संभव है। मेट्रिक्स मानवीय हस्तक्षेप के बिना लिए जाते हैं, पूर्वानुमान स्वचालित रूप से सप्ताह में एक बार पुनर्गणना किया जाता है, और प्राप्तकर्ताओं को नई रिपोर्ट भेजी जाती है। 

यह दृष्टिकोण मुख्य चक्रीयताओं की पहचान करता है, उदाहरण के लिए, वार्षिक, मासिक, त्रैमासिक और साप्ताहिक। वेतन और अग्रिम भुगतान, अवकाश अवधि, छुट्टियाँ और बिक्री - यह सब सिस्टम पर कॉल की संख्या को प्रभावित करता है। उदाहरण के लिए, यह पता चला कि कुछ चक्र एक-दूसरे को ओवरलैप करते हैं, और सिस्टम पर मुख्य भार (75%) केंद्रीय संघीय जिले से आता है। कानूनी संस्थाएँ और व्यक्ति अलग-अलग व्यवहार करते हैं। यदि "भौतिकविदों" का भार सप्ताह के दिनों में अपेक्षाकृत समान रूप से वितरित किया जाता है (यह बहुत सारे छोटे लेनदेन हैं), तो कंपनियों के लिए 99,9% काम के घंटों पर खर्च किया जाता है, और लेनदेन कम हो सकते हैं, या कई के भीतर संसाधित किए जा सकते हैं मिनट या घंटे भी.

प्राप्त आंकड़ों के आधार पर दीर्घकालिक रुझान निर्धारित किए जाते हैं। नई प्रणाली से पता चला है कि लोग सामूहिक रूप से दूरस्थ बैंकिंग सेवाओं की ओर जा रहे हैं। यह हर कोई जानता है, लेकिन हमने इस तरह के पैमाने की उम्मीद नहीं की थी और पहले तो इस पर विश्वास नहीं किया था: बैंक कार्यालयों में कॉल की संख्या बहुत तेजी से घट रही है, और दूरस्थ लेनदेन की संख्या बिल्कुल उसी मात्रा से बढ़ रही है। तदनुसार, सिस्टम पर भार भी बढ़ रहा है और बढ़ता रहेगा। अब हम फरवरी 2020 तक लोड का अनुमान लगा रहे हैं। सामान्य दिनों की भविष्यवाणी 3% की त्रुटि के साथ की जा सकती है, और चरम दिनों की भविष्यवाणी 10% की त्रुटि के साथ की जा सकती है। यह एक अच्छा परिणाम है.

नुकसान

हमेशा की तरह, यह कठिनाइयों से रहित नहीं था। फूरियर श्रृंखला का उपयोग करने वाला एक्सट्रपलेशन तंत्र शून्य को अच्छी तरह से पार नहीं करता है - हम जानते हैं कि कानूनी संस्थाएं सप्ताहांत पर कुछ लेनदेन उत्पन्न करती हैं, लेकिन भविष्यवाणी मॉड्यूल ऐसे मान उत्पन्न करता है जो शून्य से बहुत दूर हैं। उन्हें जबरदस्ती ठीक करना संभव था, लेकिन बैसाखी हमारा तरीका नहीं है। इसके अलावा, हमें स्रोत सिस्टम से दर्द रहित तरीके से डेटा पुनर्प्राप्त करने की समस्या को हल करना था। जानकारी के नियमित संग्रह के लिए गंभीर कंप्यूटिंग संसाधनों की आवश्यकता होती है, इसलिए हमने प्रतिकृति का उपयोग करके तेज़ कैश बनाया और प्रतिकृतियों से व्यावसायिक डेटा प्राप्त किया। ऐसे मामलों में मास्टर सिस्टम पर अतिरिक्त भार का अभाव एक अवरोधक आवश्यकता है।

नई चुनौतियां

शिखर की भविष्यवाणी करने का सीधा कार्य हल हो गया: इस वर्ष मई के बाद से बैंक में कोई अधिभार-संबंधी विफलता नहीं हुई है, और नई पूर्वानुमान प्रणाली ने इसमें महत्वपूर्ण भूमिका निभाई है। हां, यह पर्याप्त नहीं निकला और अब बैंक यह समझना चाहता है कि शिखर उसके लिए कितने खतरनाक हैं। हमें लोड परीक्षण से मैट्रिक्स का उपयोग करके भविष्यवाणियों की आवश्यकता है, और लगभग 30% महत्वपूर्ण प्रणालियों के लिए यह पहले से ही काम कर रहा है, बाकी भविष्यवाणियां प्राप्त करने की प्रक्रिया में हैं। अगले चरण में, हम व्यावसायिक लेनदेन में नहीं, बल्कि आईटी बुनियादी ढांचे के संदर्भ में सिस्टम पर लोड की भविष्यवाणी करने जा रहे हैं, यानी हम एक परत नीचे जाएंगे। इसके अलावा, हमें मेट्रिक्स के संग्रह और उनके आधार पर पूर्वानुमानों के निर्माण को पूरी तरह से स्वचालित करने की आवश्यकता है, ताकि डाउनलोड से निपटना न पड़े। इसमें कुछ भी काल्पनिक नहीं है - हम केवल वैश्विक सर्वोत्तम प्रथाओं के अनुरूप निगरानी और लोड परीक्षण को पार कर रहे हैं।

स्रोत: www.habr.com