LMS साठी ओपन सोर्स सॉफ्टवेअर: VTB वरील क्रिटिकल बिझनेस सिस्टम्सचे व्यवस्थापन करण्यासाठी फ्री सॉफ्ट कसे मदत करते

आमच्या बँकेतील दस्तऐवजीकरण समर्थन प्रणाली सतत विकसित आणि स्केलिंग करत आहे, आणि गती आणि दोष सहिष्णुतेची आवश्यकता फक्त वाढत आहे. काही क्षणी, प्रभावी केंद्रीकृत निरीक्षणाशिवाय LMS राखणे खूप धोकादायक बनले. VTB वर व्यावसायिक प्रक्रिया सुरक्षित करण्यासाठी आणि प्रशासकांचे कार्य सुलभ करण्यासाठी, आम्ही खुल्या तंत्रज्ञानाच्या स्टॅकवर आधारित एक उपाय लागू केला. त्याच्या मदतीने, आम्ही संभाव्य समस्या टाळून, घटनांना सक्रियपणे प्रतिसाद देऊ शकतो. मोठ्या प्रमाणावरील व्यवसाय प्रणालींचे परीक्षण करण्यासाठी विनामूल्य सॉफ्टवेअर वापरण्याच्या आमच्या अनुभवाबद्दल कट खाली आहे.

तुमच्या दस्तऐवज व्यवस्थापन प्रणालीचे निरीक्षण का करावे?

2005 पासून, VTB बँकेतील दस्तऐवजीकरण समर्थन कंपनीमीडिया प्रणालीद्वारे "व्यवस्थापित" केले गेले आहे. LMS 60 हजारांहून अधिक वापरकर्ते काम करतात जे दरमहा दहा लाखांहून अधिक नवीन दस्तऐवज तयार करतात. आमच्या सर्व्हरने दिवसाचे 24 तास कार्य करणे आवश्यक आहे: जवळजवळ कोणत्याही क्षणी सिस्टममध्ये 2500-3000 लोक असतात, जे पेट्रोपाव्लोव्स्क-कामचत्स्की ते कॅलिनिनग्राडपर्यंत संपूर्ण देशभर जोडलेले असतात. LMS ऑपरेशनचा प्रत्येक सेकंद म्हणजे 10-15 बदल.

सिस्टम नेमून दिलेली कामे अचूकपणे पूर्ण करत आहे याची खात्री करण्यासाठी, आम्ही प्रॉक्सी सर्व्हर, विनंती संतुलन, माहिती संरक्षण, पूर्ण-मजकूर शोध, एकत्रीकरण मार्ग आणि बॅकअप वापरून दोष-सहिष्णु पायाभूत सुविधा तैनात केल्या आहेत. या स्केलच्या प्रकल्पाचे समर्थन आणि व्यवस्थापन करण्यासाठी प्रचंड संसाधने आवश्यक आहेत. प्रशासक सर्व्हर ऑपरेशन, RAM लोड, CPU वेळ, I/O उपप्रणाली आणि अशाच गोष्टींबद्दल चोवीस तास मूलभूत माहितीचे निरीक्षण करतात. परंतु याशिवाय, अधिक सूक्ष्म विश्लेषणे आवश्यक आहेत:

• व्यवसाय परिस्थिती अंमलात आणण्यासाठी घालवलेल्या वेळेची गणना करणे;
• सिस्टम कार्यप्रदर्शन आणि त्यावरील लोडच्या गतिशीलतेचे निरीक्षण करणे;
• मंजूर नॉन-फंक्शनल आवश्यकतांमधून सिस्टम घटकांमधील विचलन शोधत आहे.

एलएमएसच्या परिचयानंतर 11 वर्षांनी, विविध प्रकारच्या त्रुटींना सक्रिय प्रतिसाद देण्याची समस्या विशेषतः तीव्र झाली आहे. बँकेच्या व्यवस्थापनाच्या लक्षात आले की मॉनिटर आणि सिस्टम लाइफ कन्सोलशिवाय काम करणे आगीशी खेळत आहे: या स्तराच्या व्यवसाय प्रणालीमध्ये अगदी कमी अपयशामुळे लाखोंचे नुकसान होऊ शकते.

2016 मध्ये, आम्ही LMS च्या कार्यप्रणालीतील समस्या त्वरीत ओळखण्यासाठी साधने सादर करण्यास सुरुवात केली, ज्यामध्ये रीअल टाईममध्ये आम्हाला स्वारस्य असलेल्या पॅरामीटर्सचे निरीक्षण करणे समाविष्ट आहे. पूर्वी, इंटरट्रस्ट कंपनीच्या पायाभूत सुविधांच्या चौकटीत लागू केलेली देखरेख प्रणाली तैनात आणि चाचणी केली गेली होती.

जिथे हे सर्व सुरू झाले

आज, ओपन सोर्स सॉफ्टवेअर उत्पादनांवर आधारित VTB LMS ची केंद्रीकृत ऍप्लिकेशन मॉनिटरिंग सिस्टीम, दस्तऐवज प्रवाहाशी संबंधित बहुतेक त्रुटी टाळण्यास, समस्यांचे जलद आणि अचूक वर्गीकरण करण्यात आणि कोणत्याही घटनांना त्वरित प्रतिसाद देण्यास मदत करते. यात दोन उपप्रणाली समाविष्ट आहेत:

• सिस्टम सेवांच्या आयटी पायाभूत सुविधांचे निरीक्षण करण्यासाठी;
• LMS च्या ऑपरेशनमध्ये त्रुटींच्या घटनेचे निरीक्षण करण्यासाठी.

हे सर्व एकाच विनामूल्य मॉनिटरिंग अॅपसह सुरू झाले. अनेक पर्यायांमधून पुढे गेल्यावर, आम्ही Zabbix वर सेटल झालो - मोफत सॉफ्टवेअर जे मूळत: बँकिंग सेवा आणि उपकरणांसाठी लिहिलेले होते. ही PHP वेब-आधारित प्रणाली, जी MySQL, PostgreSQL, SQLite किंवा Oracle डेटाबेसमध्ये डेटा संचयित करू शकते, आमच्या गरजांसाठी योग्य होती.

Zabbix प्रत्येक सर्व्हरवर त्याचे एजंट चालवते आणि रिअल टाइममध्ये स्वारस्य असलेल्या मेट्रिक्सची माहिती एकाच डेटाबेसमध्ये संकलित करते. ऍप्लिकेशनचा वापर करून, प्रोसेसर आणि रॅमवरील लोडवर, नेटवर्क आणि इतर घटकांच्या वापरावरील डेटा संकलित करणे, मानक सेवांची उपलब्धता आणि प्रतिसाद तपासणे (SMTP किंवा HTTP), बाह्य प्रोग्राम चालवणे आणि द्वारे मॉनिटरिंगचे समर्थन करणे सोयीचे आहे. SNMP.

Zabbix तैनात केल्यावर, आम्ही मानक हार्डवेअर मेट्रिक्स कॉन्फिगर केले आणि सुरुवातीला हे पुरेसे होते. परंतु व्हीटीबी एसडीओ सतत विकसित आणि वाढत आहे: 2016 मध्ये, सर्व्हरची संख्या लक्षणीय वाढली, स्थलांतर प्रक्रिया दिसू लागल्या, बँक ऑफ मॉस्को, व्हीटीबी कॅपिटल आणि व्हीटीबी 24 सिस्टममध्ये सामील झाले. यापुढे पुरेशी मानक मेट्रिक्स नाहीत आणि आम्ही Zabbix ला सर्व्हरशी कनेक्ट केलेल्या प्रत्येक व्हॉल्यूमवरील रांगांच्या उपस्थितीबद्दल माहिती ट्रॅक करण्यास शिकवले (बॉक्सच्या बाहेर Zabbix फक्त सामान्य डिस्क रांग प्रतिबिंबित करते), तसेच त्यासाठी लागणारा वेळ. विशिष्ट प्रक्रिया पूर्ण करण्यासाठी.

याव्यतिरिक्त, आम्ही सिस्टमला एकाधिक ट्रिगरसह सुसज्ज केले - अटी ज्या अंतर्गत प्रशासकाला सूचना पाठविली जाते (टेलीग्राममधील संदेश, फोन नंबरवर एसएमएस किंवा ईमेल). ट्रिगर कोणत्याही पॅरामीटर्ससाठी कॉन्फिगर केले जाऊ शकतात. उदाहरणार्थ, तुम्ही मोकळ्या डिस्क स्पेसची ठराविक टक्केवारी निर्दिष्ट करू शकता आणि निर्दिष्ट थ्रेशोल्ड गाठल्यावर सिस्टम प्रशासकाला अलर्ट करेल किंवा पार्श्वभूमी प्रक्रिया नेहमीपेक्षा जास्त काळ चालत असल्यास तुम्हाला सूचित करेल.

जावा कनेक्टिव्हिटी आणि डेटा व्हिज्युअलायझेशन

आम्‍ही विश्‍लेषित डेटाच्‍या श्रेणीमध्‍ये लक्षणीयरीत्या विस्‍तारित केले, परंतु परिणामकारक देखरेखीसाठी लवकरच हे पुरेसे नव्हते. CompanyMedia चे LMS हे Java ऍप्लिकेशन आहे याचा फायदा घेऊन आम्ही JMX इंटरफेसद्वारे Java व्हर्च्युअल मशीनशी कनेक्ट झालो आणि थेट Java मेट्रिक्स घेऊ शकलो. आणि GC कामाची तीव्रता किंवा ढीग उपभोग यांसारख्या Java महत्वाच्या क्रियाकलापांचे केवळ मानक मापदंडच नाही तर थेट एक्जीक्यूटेबल ऍप्लिकेशन कोडशी संबंधित विशिष्ट चाचण्या देखील.

2017 मध्ये, मॉनिटरिंग सिस्टमच्या अंमलबजावणीनंतर सुमारे एक वर्षानंतर, हे स्पष्ट झाले की Zabbix मध्ये गोळा केलेल्या डेटाच्या प्रचंड प्रमाणात सामान्यपणे कार्य करण्यासाठी, पुरेसे व्हिज्युअलायझेशन - जटिल स्क्रीन नाहीत. या समस्येचे सर्वोत्कृष्ट समाधान पुन्हा विनामूल्य सॉफ्टवेअर होते - ग्राफाना, मेट्रिक्ससाठी एक सोयीस्कर डॅशबोर्ड जो तुम्हाला एका स्क्रीनवर सर्व डेटा एकत्रित करण्याची परवानगी देतो.

Grafana इंटरफेस संवादात्मक आहे, OLAP प्रणालीची आठवण करून देतो. उपप्रणाली Zabbix द्वारे प्राप्त केलेला डेटा एका स्क्रीनवर प्रदर्शित करते, आलेख आणि आकृत्यांच्या स्वरूपात माहिती सादर करते ज्याचे विश्लेषण करणे सोपे आहे. प्रशासक त्याला आवश्यक असलेले स्लाइस सहजपणे सानुकूलित करू शकतो.

LMS प्रणालीमधील त्रुटींचे निरीक्षण आणि प्रतिबंधात्मक निर्मूलन

ELK ओपन सोर्स सॉफ्टवेअर प्लॅटफॉर्म तुम्हाला मॉनिटरिंग दरम्यान मिळालेल्या माहितीचे फिल्टर आणि विश्लेषण करण्यात मदत करते. या ओपनसोर्स उत्पादनामध्ये डेटा गोळा करणे, संग्रहित करणे आणि विश्लेषण करणे यासाठी तीन शक्तिशाली साधने आहेत: इलास्टिकसर्च, लॉगस्टॅश आणि किबाना. या उपप्रणालीच्या अंमलबजावणीमुळे, विशेषतः, सिस्टममध्ये किती त्रुटी आल्या, कोणत्या सर्व्हरवर आणि या त्रुटींची पुनरावृत्ती होते की नाही हे रिअल टाइममध्ये पाहण्याची परवानगी देते.

आता प्रशासकास सुरुवातीच्या टप्प्यावर समस्या ओळखता येते, अगदी वापरकर्त्याला ती येण्यापूर्वीच. अशी सक्रिय देखरेख आपल्याला वेळेवर त्रुटी दूर करून सिस्टममधील खराबी टाळण्यास अनुमती देते. याव्यतिरिक्त, आम्ही अद्यतनानंतर सिस्टमचे वर्तन कसे बदलले आहे हे समजू शकतो, तसेच नवीन समस्या दिसल्यास ते शोधू शकतो.

व्यवसाय ऑपरेशन्स मॉनिटरिंग

संसाधनाच्या वापराचे निरीक्षण करण्याच्या मूलभूत कार्यांव्यतिरिक्त, सिस्टममध्ये व्यवसाय ऑपरेशन्सचे विश्लेषण आणि नियंत्रण करण्याची क्षमता आहे.

व्यवसाय ऑपरेशन्सच्या एकूण अंमलबजावणीच्या वेळेचे निरीक्षण केल्याने तुम्हाला नवीन घटक ओळखता येतात आणि सिस्टमच्या ऑपरेशनवर त्यांचा काय परिणाम होतो हे समजून घेता येते.

प्रत्येक व्यवसाय सेवेसाठी विनंत्यांच्या अंमलबजावणीच्या वेळेचे परीक्षण केल्याने सर्वसामान्य प्रमाणापासून विचलित होणारे ऑपरेशन शोधणे शक्य होते.

वरील स्क्रीनशॉट हे पार्श्वभूमी कार्याचे नियमापासून विचलनाच्या दृष्टीने निरीक्षण करण्याचे उदाहरण आहे.

एका विशिष्ट सर्व्हरवरील त्यांच्या क्रियाकलापांच्या दृष्टीने नियंत्रित कार्यांची सूची तुम्हाला सर्व सर्व्हरवर त्रुटी ओळखण्याची परवानगी देते - कार्य अंमलबजावणीच्या डुप्लिकेशनसह -.

पार्श्वभूमी प्रक्रियेच्या अंमलबजावणीच्या वेळेतील ट्रेंडचे देखील परीक्षण केले जाते.

प्रणाली वाढते, विकसित होते आणि समस्यांना तोंड देण्यास मदत करते

वर्णन केलेल्या प्रणालीच्या अंमलबजावणीसह, LMS सर्व्हरच्या ऑपरेशनचे निरीक्षण करणे लक्षणीयरीत्या सरलीकृत झाले आहे. तरीसुद्धा, वेळोवेळी विविध प्रकारचे संघर्ष उद्भवतात, ज्यामुळे दस्तऐवज प्रवाहाच्या गतीवर परिणाम होतो आणि वापरकर्त्याच्या तक्रारी होतात. त्यामुळे आमच्या लक्षात आले की केवळ सर्व्हरच नव्हे तर अॅप्लिकेशनच्या वर्तनावर नियंत्रण ठेवणे आवश्यक आहे.

या समस्येचे निराकरण करण्यासाठी, एपीआय द्वारे मॉनिटरिंग सिस्टमशी बॅलन्सर कनेक्ट केले गेले होते, जे ऍप्लिकेशन सर्व्हरच्या क्लस्टरसह कार्य करते. याबद्दल धन्यवाद, प्रत्येक वापरकर्त्याच्या विनंतीला प्रतिसाद देण्यासाठी सर्व्हरला किती वेळ लागतो हे प्रशासक पाहू शकतो.

सर्व्हरच्या प्रतिसादाच्या वेळांवरील डेटा विश्लेषणासाठी उपलब्ध झाला, ज्यामुळे LMS च्या मंदीचा सर्व्हरवर होत असलेल्या प्रक्रियांशी संबंध जोडणे शक्य झाले. विशेषतः, एक मनोरंजक परिस्थिती उद्भवली: सर्व्हर हळू चालत आहे, जरी या क्षणी ते लोड केलेले नाही. विसंगतीचे विश्लेषण करून, आम्हाला कचरा कलेक्टर जावाच्या ऑपरेशनमध्ये विचलन आढळले. शेवटी, असे दिसून आले की या सेवेच्या चुकीच्या ऑपरेशनमुळे ही परिस्थिती उद्भवली. गार्बेज कलेक्टर जावा यांचा ताबा घेऊन आम्ही समस्या पूर्णपणे दूर केली.

बँकिंग उद्योगातील दस्तऐवज व्यवस्थापन प्रणाली विकसित आणि वाढण्यास विनामूल्य सॉफ्टवेअर अशा प्रकारे मदत करते. आम्ही फक्त VTB SDO मॉनिटरिंग सिस्टमशी संबंधित मुख्य समस्यांना स्पर्श केला आहे. तुम्हाला तपशीलांमध्ये स्वारस्य असल्यास, टिप्पण्यांमध्ये विचारा, आम्हाला आमचा अनुभव तुमच्यासोबत शेअर करण्यात आनंद होईल.

स्त्रोत: www.habr.com