निगरानी + लोड परीक्षण = भविष्यवाणी र कुनै विफलता

VTB आईटी विभागले धेरै पटक प्रणालीहरूको सञ्चालनमा आपतकालीन परिस्थितिहरूको सामना गर्नुपर्‍यो, जब तिनीहरूमा लोड धेरै पटक बढ्यो। तसर्थ, क्रिटिकल प्रणालीहरूमा पीक लोडको भविष्यवाणी गर्ने मोडेलको विकास र परीक्षण गर्न आवश्यक थियो। यसका लागि, बैंकका आईटी विशेषज्ञहरूले अनुगमन, डेटा विश्लेषण र पूर्वानुमानहरू स्वचालित गर्न सिकेका छन्। हामी तपाईंलाई एउटा छोटो लेखमा बताउनेछौं कि कुन उपकरणहरूले लोडको भविष्यवाणी गर्न मद्दत गर्‍यो र तिनीहरूले कामलाई अनुकूलन गर्न मद्दत गर्‍यो।

उच्च लोड सेवाहरूको समस्या लगभग सबै उद्योगहरूमा उत्पन्न हुन्छ, तर वित्तीय क्षेत्रका लागि तिनीहरू महत्वपूर्ण छन्। घन्टा X मा, सबै लडाई एकाइहरू तयार हुनुपर्छ, र त्यसैले के हुन सक्छ भनेर पहिले नै जान्न आवश्यक थियो र लोड उफ्रिने दिन र कुन प्रणालीहरूले यसको सामना गर्नेछ भनेर पनि निर्धारण गर्न आवश्यक थियो। असफलताहरूलाई सम्बोधन गर्न र रोक्न आवश्यक छ, त्यसैले भविष्यवाणी गर्ने विश्लेषणात्मक प्रणाली लागू गर्ने आवश्यकता पनि छलफल गरिएको थिएन। अनुगमन तथ्याङ्कमा आधारित प्रणालीलाई आधुनिकीकरण गर्न आवश्यक थियो।

तपाईको घुँडामा एनालिटिक्स

असफलताको अवस्थामा पेरोल परियोजना सबैभन्दा संवेदनशील मध्ये एक हो। यो भविष्यवाणी को लागी सबै भन्दा बुझ्न योग्य छ, त्यसैले हामीले यसको साथ सुरु गर्ने निर्णय गर्यौं। उच्च जडानको कारण, रिमोट बैंकिङ सेवाहरू (RBS) लगायत अन्य सबसिस्टमहरूले पीक लोडको समयमा समस्याहरू अनुभव गर्न सक्छन्। उदाहरण को लागी, ग्राहकहरु जो पैसा को रसिद को बारे मा एसएमएस संग खुशी थिए सक्रिय रूपमा यसलाई प्रयोग गर्न थाले। लोड म्याग्निच्युडको अर्डर भन्दा बढि उफ्रन सक्छ। 

पहिलो पूर्वानुमान मोडेल म्यानुअल रूपमा सिर्जना गरिएको थियो। हामीले गत वर्षका लागि अपलोडहरू लियौं र कुन दिनहरूमा अधिकतम शिखरहरू अपेक्षित छन् भनेर गणना गर्यौं: उदाहरणका लागि, 1st, 15th र 25th, साथै महिनाको अन्तिम दिनहरूमा। यो मोडेलले महत्त्वपूर्ण श्रम लागत आवश्यक थियो र सही पूर्वानुमान प्रदान गरेन। जे होस्, यसले हार्डवेयर थप्न आवश्यक भएको ठाउँमा अवरोधहरू पहिचान गर्‍यो, र एंकर ग्राहकहरूसँग सहमति गरेर पैसा हस्तान्तरण गर्ने प्रक्रियालाई अप्टिमाइज गर्न सम्भव बनायो: एकै गलपमा तलब नदिने क्रममा, विभिन्न क्षेत्रहरूबाट लेनदेनहरू समयसँगै छुट्याइयो। अब हामी तिनीहरूलाई भागहरूमा प्रशोधन गर्छौं जुन बैंकको IT पूर्वाधार असफलता बिना "च्यु" गर्न सक्छ।

पहिलो सकारात्मक नतिजा प्राप्त गरेपछि, हामी स्वचालित पूर्वानुमानमा लाग्यौं। एक दर्जन बढी महत्वपूर्ण क्षेत्रहरू आफ्नो पालोको लागि पर्खिरहेका थिए।

व्यापक दृष्टिकोण

VTB ले माइक्रोफोकसबाट अनुगमन प्रणाली लागू गरेको छ। त्यहाँबाट हामीले पूर्वानुमानका लागि डाटा सङ्कलन, भण्डारण प्रणाली र रिपोर्टिङ प्रणाली लिएका थियौँ। वास्तवमा, अनुगमन पहिले नै ठाउँमा थियो, केवल मेट्रिक्स, भविष्यवाणी मोड्युल थप्न र नयाँ रिपोर्टहरू सिर्जना गर्न बाँकी थियो। यो निर्णय बाह्य ठेकेदार Technoserv द्वारा समर्थित छ, त्यसैले परियोजना कार्यान्वयन मा मुख्य काम यसको विशेषज्ञहरु मा पर्यो, तर हामी आफैले मोडेल निर्माण। भविष्यवाणी प्रणाली फेसबुक द्वारा विकसित खुला स्रोत उत्पादन, प्रोफेट मा आधारित बनाइएको थियो। यो प्रयोग गर्न सजिलो छ र हाम्रो स्थापित एकीकृत निगरानी उपकरण र Vertica संग सजिलै संग एकीकृत। लगभग बोल्दै, प्रणालीले लोड ग्राफको विश्लेषण गर्दछ र फोरियर श्रृंखलाको आधारमा यसलाई एक्स्ट्रापोलेट गर्दछ। हाम्रो मोडेलबाट लिइएको दिनमा निश्चित गुणांकहरू थप्न पनि सम्भव छ। मेट्रिक्स मानव हस्तक्षेप बिना लिइन्छ, पूर्वानुमान स्वचालित रूपमा हप्तामा एक पटक पुन: गणना गरिन्छ, र प्राप्तकर्ताहरूलाई नयाँ रिपोर्टहरू पठाइन्छ। 

यस दृष्टिकोणले मुख्य चक्रीयताहरू पहिचान गर्दछ, उदाहरणका लागि, वार्षिक, मासिक, त्रैमासिक र साप्ताहिक। तलब र अग्रिम भुक्तानी, छुट्टी अवधि, बिदा र बिक्री - यो सबै प्रणाली को कल को संख्या मा असर गर्छ। यो बाहिरियो, उदाहरणका लागि, केही चक्रहरू एकअर्कालाई ओभरल्याप गर्छन्, र प्रणालीहरूमा मुख्य भार (75%) केन्द्रीय संघीय जिल्लाबाट आउँछ। कानुनी संस्था र व्यक्तिहरूले फरक व्यवहार गर्छन्। यदि "भौतिकविद्हरू" बाट लोड हप्ताको दिनहरूमा तुलनात्मक रूपमा समान रूपमा वितरित गरिन्छ (यो धेरै सानो लेनदेन हो), तब कम्पनीहरूको लागि 99,9% कामको घण्टामा खर्च हुन्छ, र लेनदेनहरू छोटो हुन सक्छ, वा धेरै भित्र प्रशोधन गर्न सकिन्छ। मिनेट वा घण्टा पनि।

प्राप्त डाटाको आधारमा, दीर्घकालीन प्रवृत्तिहरू निर्धारण गरिन्छ। नयाँ प्रणालीले मानिसहरु ठूलो संख्यामा रिमोट बैंकिङ सेवातर्फ सर्दै आएको खुलासा गरेको छ । सबैलाई यो थाहा छ, तर हामीले यस्तो स्केलको अपेक्षा गरेनौं र सुरुमा यसलाई विश्वास गरेनौं: बैंक अफिसहरूमा कलहरूको संख्या एकदमै चाँडो घट्दै छ, र टाढाको लेनदेनको संख्या ठ्याक्कै उही रकमले बढ्दैछ। तदनुसार, प्रणालीहरूमा लोड पनि बढ्दै छ र बढ्दै जानेछ। हामी अब फेब्रुअरी २०२० सम्म लोडको पूर्वानुमान गर्दैछौं। सामान्य दिनहरू 2020% को त्रुटि संग भविष्यवाणी गर्न सकिन्छ, र 3% को त्रुटि संग शिखर दिन। यो राम्रो नतिजा हो।

पासो

सामान्य रूपमा, यो कठिनाइ बिना थिएन। फूरियर शृङ्खला प्रयोग गर्ने एक्स्ट्रापोलेसन मेकानिज्मले शून्यलाई राम्रोसँग पार गर्दैन - हामीलाई थाहा छ कि कानूनी संस्थाहरूले सप्ताहन्तमा थोरै लेनदेनहरू उत्पन्न गर्छन्, तर भविष्यवाणी मोड्युलले शून्यबाट टाढा मानहरू उत्पादन गर्दछ। तिनीहरूलाई जबरजस्ती सच्याउन सम्भव थियो, तर बैसाखी हाम्रो विधि होइन। थप रूपमा, हामीले स्रोत प्रणालीहरूबाट पीडारहित रूपमा डाटा पुन: प्राप्त गर्ने समस्या समाधान गर्नुपर्‍यो। जानकारीको नियमित सङ्कलनलाई गम्भीर कम्प्युटिङ स्रोतहरू आवश्यक पर्दछ, त्यसैले हामीले प्रतिकृति प्रयोग गरेर द्रुत क्यासहरू निर्माण गर्यौं र प्रतिकृतिहरूबाट व्यापार डेटा प्राप्त गर्यौं। त्यस्ता अवस्थाहरूमा मास्टर प्रणालीहरूमा अतिरिक्त लोडको अनुपस्थिति अवरुद्ध आवश्यकता हो।

नयाँ चुनौतीहरू

शिखरहरू भविष्यवाणी गर्ने सीधा कार्य हल भयो: यस वर्षको मेदेखि बैंकमा कुनै ओभरलोड-सम्बन्धित विफलताहरू छैनन्, र नयाँ पूर्वानुमान प्रणालीले यसमा महत्त्वपूर्ण भूमिका खेलेको छ। हो, यो पर्याप्त छैन, र अब बैंक बुझ्न चाहन्छ कि चुचुराहरू यसको लागि कति खतरनाक छन्। हामीलाई लोड परीक्षणबाट मेट्रिक्स प्रयोग गरेर भविष्यवाणीहरू चाहिन्छ, र लगभग 30% महत्वपूर्ण प्रणालीहरूको लागि यो पहिले नै काम गरिरहेको छ, बाँकी भविष्यवाणीहरू प्राप्त गर्ने प्रक्रियामा छन्। अर्को चरणमा, हामी प्रणालीहरूमा लोड व्यापार लेनदेनमा होइन, तर IT पूर्वाधारको सन्दर्भमा भविष्यवाणी गर्न जाँदैछौं, अर्थात् हामी एक तह तल जान्छौं। थप रूपमा, हामीले मेट्रिक्सको सङ्कलन र तिनीहरूमा आधारित पूर्वानुमानहरूको निर्माणलाई पूर्ण रूपमा स्वचालित गर्न आवश्यक छ, ताकि डाउनलोडहरूसँग व्यवहार नगर्नुहोस्। यसको बारेमा कुनै कल्पना छैन - हामी केवल विश्वव्यापी उत्कृष्ट अभ्यासहरू अनुरूप निगरानी र लोड परीक्षण पार गर्दैछौं।

स्रोत: www.habr.com