எங்கள் வங்கியில் ஆவணப்படுத்தல் ஆதரவு அமைப்பு தொடர்ந்து உருவாகி வருகிறது, அதே நேரத்தில் வேகம் மற்றும் தவறு சகிப்புத்தன்மைக்கான தேவைகள் அதிகரிக்கின்றன. ஒரு கட்டத்தில், பயனுள்ள மையப்படுத்தப்பட்ட கண்காணிப்பு இல்லாமல் LMS சேவை செய்வது மிகவும் ஆபத்தானது. VTB இல் வணிக செயல்முறைகளைப் பாதுகாக்கவும், நிர்வாகிகளின் பணியை எளிதாக்கவும், திறந்த தொழில்நுட்ப அடுக்கின் அடிப்படையில் ஒரு தீர்வைச் செயல்படுத்தியுள்ளோம். இதன் மூலம், சம்பவங்களுக்கு முன்கூட்டியே பதிலளிக்க முடியும், சாத்தியமான சிக்கல்களைத் தடுக்கலாம். பெரிய அளவிலான வணிக அமைப்புகளைக் கண்காணிக்க இலவச மென்பொருளைப் பயன்படுத்துவதில் எங்கள் அனுபவத்தைப் பற்றிய ஒரு கதை வெட்டுக்குக் கீழே உள்ளது.
ஆவண மேலாண்மை அமைப்பை ஏன் கண்காணிக்க வேண்டும்
2005 முதல், கம்பெனிமீடியா அமைப்பு VTB வங்கியில் ஆவணப்படுத்தல் ஆதரவை "நிர்வகிக்கிறது". 60 க்கும் மேற்பட்ட பயனர்கள் LMS இல் பணிபுரிகின்றனர், ஒவ்வொரு மாதமும் ஒரு மில்லியனுக்கும் அதிகமான புதிய ஆவணங்களை உருவாக்குகின்றனர். எங்கள் சேவையகங்கள் ஒரு நாளைக்கு 24 மணிநேரமும் செயல்பட வேண்டும்: எந்த நேரத்திலும் 2500-3000 பேர் பெட்ரோபாவ்லோவ்ஸ்க்-கம்சாட்ஸ்கி முதல் கலினின்கிராட் வரை நாடு முழுவதும் இணைக்கப்படுகிறார்கள். LMS செயல்பாட்டின் ஒவ்வொரு நொடியும் 10-15 மாற்றங்கள் ஆகும்.
கணினி தனக்கு ஒதுக்கப்பட்ட பணிகளைத் துல்லியமாகச் செய்வதற்கு, ப்ராக்ஸி சர்வர்கள், கோரிக்கை சமநிலை, தகவல் பாதுகாப்பு, முழு உரை தேடல், ஒருங்கிணைப்பு வழிகள் மற்றும் காப்புப்பிரதி ஆகியவற்றைப் பயன்படுத்தி பிழையைத் தாங்கும் உள்கட்டமைப்பை நாங்கள் பயன்படுத்தினோம். இந்த அளவிலான திட்டத்தை ஆதரிக்கவும் நிர்வகிக்கவும் மகத்தான ஆதாரங்கள் தேவை. சேவையகங்களின் செயல்பாடு, ரேம் சுமை, CPU நேரம், I / O துணை அமைப்பு மற்றும் பலவற்றைப் பற்றிய அடிப்படை தகவல்களை கடிகாரத்தைச் சுற்றியுள்ள நிர்வாகிகள் கண்காணிக்கின்றனர். ஆனால், இது தவிர, எங்களுக்கு இன்னும் நுட்பமான பகுப்பாய்வு தேவை:
- வணிக காட்சிகளை நிறைவேற்ற செலவழித்த நேரத்தை கணக்கிடுதல்;
- கணினி செயல்திறனின் இயக்கவியலைக் கண்காணித்தல் மற்றும் அதன் மீது ஏற்றுதல்;
- அங்கீகரிக்கப்பட்ட செயல்படாத தேவைகளிலிருந்து கணினி கூறுகளில் விலகல்களைத் தேடுங்கள்.
எல்எம்எஸ் அறிமுகப்படுத்தப்பட்டு 11 ஆண்டுகளுக்குப் பிறகு, பல்வேறு வகையான பிழைகளுக்கு முன்முயற்சியுடன் பதிலளிக்கும் பிரச்சினை குறிப்பாக கடுமையானதாகிவிட்டது. மானிட்டர்கள் மற்றும் சிஸ்டம் லைஃப் கன்சோல் இல்லாமல் வேலை செய்வது நெருப்புடன் விளையாடுகிறது என்பதை வங்கி நிர்வாகம் உணர்ந்தது: இந்த அளவிலான வணிக அமைப்பில் சிறிய தோல்வி மில்லியன் கணக்கான இழப்புகளால் நிறைந்துள்ளது.
2016 ஆம் ஆண்டில், எல்எம்எஸ் செயல்பாட்டில் உள்ள சிக்கல்களை விரைவாகக் கண்டறியும் கருவிகளைச் செயல்படுத்தத் தொடங்கினோம், இதில் எங்களுக்கு ஆர்வமுள்ள அளவுருக்களை உண்மையான நேரத்தில் கண்காணிப்பது உட்பட. முன்னதாக, இன்டர் டிரஸ்ட் நிறுவனத்தின் உள்கட்டமைப்பிற்குள் பயன்படுத்தப்பட்ட கண்காணிப்பு அமைப்பு பயன்படுத்தப்பட்டு சோதனை செய்யப்பட்டது.
இது எப்படி தொடங்கியது
இன்று, திறந்த மூல மென்பொருள் தயாரிப்புகளை அடிப்படையாகக் கொண்ட VTB LMS இன் பயன்பாட்டு கண்காணிப்புக்கான மையப்படுத்தப்பட்ட அமைப்பு, ஆவண நிர்வாகத்துடன் தொடர்புடைய பெரும்பாலான பிழைகளைத் தடுக்க உதவுகிறது, விரைவாகவும் துல்லியமாகவும் சிக்கல்களை வகைப்படுத்துகிறது மற்றும் ஏதேனும் சம்பவங்களுக்கு உடனடியாக பதிலளிக்கிறது. இது இரண்டு துணை அமைப்புகளை உள்ளடக்கியது:
- கணினி சேவைகளின் IT உள்கட்டமைப்பைக் கண்காணிக்க;
- LMS இன் வேலையில் பிழைகள் ஏற்படுவதை கண்காணிக்க.
இது அனைத்தும் ஒரே இலவச கண்காணிப்பு பயன்பாட்டில் தொடங்கியது. பல விருப்பங்களுக்குப் பிறகு, நாங்கள் வங்கிச் சேவைகள் மற்றும் உபகரணங்களுக்காக எழுதப்பட்ட இலவச மென்பொருளான Zabbix இல் குடியேறினோம். MySQL, PostgreSQL, SQLite அல்லது Oracle தரவுத்தளத்தில் தரவைச் சேமிக்கக்கூடிய இந்த இணைய அடிப்படையிலான PHP அமைப்பு நமது தேவைகளுக்கு மிகவும் பொருத்தமானது.
Zabbix ஒவ்வொரு சேவையகத்திலும் அதன் முகவர்களை இயக்குகிறது மற்றும் உண்மையான நேரத்தில் ஆர்வத்தின் அளவீடுகள் பற்றிய தகவல்களை ஒரு தரவுத்தளத்தில் சேகரிக்கிறது. பயன்பாட்டைப் பயன்படுத்தி, செயலிகள் மற்றும் ரேம் மீதான சுமை, நெட்வொர்க் மற்றும் பிற கூறுகளின் பயன்பாடு, நிலையான சேவைகளின் (SMTP அல்லது HTTP) கிடைக்கும் மற்றும் பதிலைச் சரிபார்க்கவும், வெளிப்புற நிரல்களை இயக்கவும், SNMP வழியாக கண்காணிப்பை ஆதரிக்கவும் வசதியாக உள்ளது.
நாங்கள் Zabbix ஐப் பயன்படுத்தியதும், இயல்புநிலை வன்பொருள் அளவீடுகளை உள்ளமைத்தோம், முதலில் அது போதுமானதாக இருந்தது. ஆனால் VTB LMS தொடர்ந்து வளர்ந்து வளர்ந்து வருகிறது: 2016 ஆம் ஆண்டில், சேவையகங்களின் எண்ணிக்கை குறிப்பிடத்தக்க அளவில் அதிகரித்தது, இடம்பெயர்வு செயல்முறைகள் தோன்றின, மாஸ்கோ வங்கி, VTB மூலதனம், VTB24 அமைப்பில் இணைந்தது. போதுமான நிலையான அளவீடுகள் இல்லை, மேலும் சேவையகத்துடன் இணைக்கப்பட்ட ஒவ்வொரு தொகுதிகளிலும் வரிசைகள் இருப்பதைப் பற்றிய தகவலைக் கண்காணிக்க Zabbix க்கு கற்றுக் கொடுத்தோம் (பெட்டிக்கு வெளியே, Zabbix மொத்த வட்டு வரிசையை மட்டுமே பிரதிபலிக்கிறது), அத்துடன் ஒரு குறிப்பிட்ட செயல்முறையைச் செயலாக்க எடுக்கும் நேரத்தையும்.
கூடுதலாக, பல தூண்டுதல்களுடன் கணினியை நாங்கள் பொருத்தியுள்ளோம் - நிர்வாகிக்கு அறிவிப்பு அனுப்பப்படும் நிபந்தனைகள் (டெலிகிராமில் செய்தி, தொலைபேசி எண் அல்லது மின்னஞ்சலுக்கு எஸ்எம்எஸ்). எந்த அளவுருக்களுக்கும் தூண்டுதல்கள் கட்டமைக்கப்படுகின்றன. எடுத்துக்காட்டாக, ஒரு குறிப்பிட்ட சதவீத இலவச வட்டு இடத்தை நீங்கள் குறிப்பிடலாம், மேலும் குறிப்பிட்ட வரம்பை அடைந்ததும் கணினி நிர்வாகிக்கு தெரிவிக்கும் அல்லது ஏதேனும் பின்னணி செயல்முறை வழக்கத்தை விட அதிக நேரம் எடுத்தால் தெரிவிக்கும்.
ஜாவா இணைப்பு மற்றும் தரவு காட்சிப்படுத்தல்
பகுப்பாய்வு செய்யப்பட்ட தரவின் வரம்பை நாங்கள் கணிசமாக விரிவுபடுத்தினோம், ஆனால் விரைவில் இது பயனுள்ள கண்காணிப்புக்கு போதுமானதாக இல்லை. CompanyMedia இலிருந்து LMS ஒரு ஜாவா பயன்பாடாகும் என்ற உண்மையைப் பயன்படுத்தி, JMX இடைமுகம் வழியாக Java Virtual Machine உடன் இணைக்கப்பட்டு, Java அளவீடுகளை நேரடியாக எடுக்க முடிந்தது. ஜிசி வேலையின் தீவிரம் அல்லது ஹீப் நுகர்வு போன்ற நிலையான ஜாவா வாழ்க்கை அளவுருக்கள் மட்டுமல்ல, பயன்பாட்டின் இயங்கக்கூடிய குறியீட்டுடன் நேரடியாக தொடர்புடைய குறிப்பிட்ட மாதிரிகளும்.
2017 ஆம் ஆண்டில், கண்காணிப்பு அமைப்பு செயல்படுத்தப்பட்டு சுமார் ஒரு வருடம் கழித்து, Zabbix இல் சேகரிக்கப்பட்ட தரவுகளின் மகத்தான வரிசையுடன் சாதாரண வேலைக்கு, போதுமான காட்சிப்படுத்தல் இல்லை - சிக்கலான திரைகள். இந்த சிக்கலை மீண்டும் தீர்க்க சிறந்த வழி இலவச மென்பொருள் - கிராஃபானா, அளவீடுகளுக்கான வசதியான டாஷ்போர்டு, இது ஒரு திரையில் எல்லா தரவையும் ஒருங்கிணைக்க உங்களை அனுமதிக்கிறது.
கிராஃபானா இடைமுகம் ஊடாடும், OLAP அமைப்பை நினைவூட்டுகிறது. துணை அமைப்பு Zabbix பெறும் தரவை ஒரு திரையில் காண்பிக்கும், பகுப்பாய்வுக்கு வசதியான வரைபடங்கள் மற்றும் வரைபடங்களின் வடிவத்தில் தகவல்களை வழங்குகிறது. நிர்வாகி தனக்குத் தேவையான துண்டுகளை எளிதாகத் தனிப்பயனாக்கலாம்.
LMS அமைப்பில் உள்ள பிழைகளை கண்காணித்தல் மற்றும் தடுப்பு நீக்குதல்
ELK இலவச மென்பொருள் தளமானது கண்காணிப்பின் போது பெறப்பட்ட தகவல்களை வடிகட்டவும் பகுப்பாய்வு செய்யவும் உதவுகிறது. இந்த ஓப்பன் சோர்ஸ் தயாரிப்பு தரவுகளை சேகரித்தல், சேமித்தல் மற்றும் பகுப்பாய்வு செய்வதற்கான மூன்று சக்திவாய்ந்த கருவிகளைக் கொண்டுள்ளது: எலாஸ்டிக் தேடல், லாக்ஸ்டாஷ் மற்றும் கிபானா. இந்த துணை அமைப்பின் அறிமுகம், குறிப்பாக, கணினியில் எத்தனை பிழைகள் ஏற்பட்டுள்ளன, எந்த சேவையகங்களில் மற்றும் இந்த பிழைகள் மீண்டும் மீண்டும் நிகழ்கின்றனவா என்பதை உண்மையான நேரத்தில் பார்க்க அனுமதிக்கிறது.
இப்போது நிர்வாகி சிக்கலை பயனர் சந்திப்பதற்கு முன்பே, ஆரம்ப நிலையிலேயே கண்டறிய முடியும். இத்தகைய செயலூக்கமான கண்காணிப்பு, சரியான நேரத்தில் பிழைகளை நீக்குவதன் மூலம் கணினி செயலிழப்புகளைத் தடுக்க உதவுகிறது. கூடுதலாக, புதுப்பித்தலுக்குப் பிறகு கணினியின் நடத்தை எவ்வாறு மாறிவிட்டது என்பதை நாம் புரிந்து கொள்ளலாம், மேலும் அவை ஏற்பட்டால் புதிய சிக்கல்களைக் கண்டறியலாம்.
வணிக செயல்பாடுகளை கண்காணித்தல்
ஆதார நுகர்வு கண்காணிப்பின் அடிப்படை செயல்பாடுகளுக்கு கூடுதலாக, கணினி வணிக நடவடிக்கைகளை பகுப்பாய்வு மற்றும் கட்டுப்படுத்தும் திறனைக் கொண்டுள்ளது.
வணிகச் செயல்பாடுகளை முடிப்பதற்கான ஒட்டுமொத்த நேரத்தைக் கண்காணிப்பது, புதிய காரணிகளைக் கண்டறியவும், அவை அமைப்பின் செயல்பாட்டை எவ்வாறு பாதிக்கின்றன என்பதைப் புரிந்துகொள்ளவும் உங்களை அனுமதிக்கிறது.
ஒவ்வொரு வணிகச் சேவையின் சூழலிலும் கோரிக்கைகளை நிறைவேற்றும் நேரத்தைக் கண்காணிப்பது, விதிமுறையிலிருந்து விலகும் செயல்பாடுகளைக் கண்டறிவதை சாத்தியமாக்குகிறது.
மேலே உள்ள ஸ்கிரீன்ஷாட் ஒரு பின்னணி பணியை அதன் விதிமுறையிலிருந்து விலகுவதன் அடிப்படையில் கண்காணிப்பதற்கான ஒரு எடுத்துக்காட்டு.
ஒரு குறிப்பிட்ட சேவையகத்தில் அவற்றின் செயல்பாட்டின் அடிப்படையில் கண்காணிக்கப்படும் பணிகளின் பட்டியல், அனைத்து சேவையகங்களிலும் உள்ள பணியை நகலெடுப்பது உட்பட - பிழைகளை அடையாளம் காண உங்களை அனுமதிக்கிறது.
இது பின்னணி நடைமுறைகளை செயல்படுத்தும் நேரத்தின் போக்குகளையும் கண்காணிக்கிறது.
அமைப்பு வளரும், வளரும் மற்றும் சிக்கல்களைச் சமாளிக்க உதவுகிறது
விவரிக்கப்பட்ட அமைப்பின் அறிமுகத்துடன், LMS சேவையகங்களின் செயல்பாட்டைக் கண்காணிப்பது மிகவும் எளிமையானதாகிவிட்டது. ஆயினும்கூட, பல்வேறு வகையான மோதல்கள் அவ்வப்போது எழுகின்றன, அவை பணிப்பாய்வு வேகத்தை பாதிக்கின்றன மற்றும் பயனர்களிடமிருந்து புகார்களை ஏற்படுத்துகின்றன. எனவே, சேவையகங்கள் மட்டுமல்ல, பயன்பாட்டின் நடத்தையையும் கட்டுப்படுத்துவது அவசியம் என்பதை நாங்கள் உணர்ந்தோம்.
இந்தச் சிக்கலைத் தீர்க்க, ஏபிஐ வழியாக கண்காணிப்பு அமைப்புடன் ஒரு பேலன்சர் இணைக்கப்பட்டது, இது பயன்பாட்டு சேவையகங்களின் தொகுப்புடன் செயல்படுகிறது. இதற்கு நன்றி, ஒவ்வொரு பயனர் கோரிக்கைக்கும் சேவையகம் எவ்வளவு காலம் பொறுப்பாகும் என்பதை நிர்வாகி பார்க்க முடியும்.
சர்வர் மறுமொழி நேரத் தரவு பகுப்பாய்விற்கு கிடைத்தது, இது சேவையகத்தில் நிகழும் செயல்முறைகளுடன் LMS மந்தநிலையை இணைப்பதை சாத்தியமாக்கியது. குறிப்பாக, ஒரு சுவாரஸ்யமான சூழ்நிலை வெளிச்சத்திற்கு வந்தது: இந்த நேரத்தில் அது ஏற்றப்படவில்லை என்றாலும், சேவையகம் மெதுவாக இயங்குகிறது. ஒழுங்கீனத்தை பகுப்பாய்வு செய்ததில், குப்பை சேகரிப்பாளர் ஜாவாவின் பணியில் முரண்பாடுகளைக் கண்டோம். இறுதியில், இந்த சேவையின் தவறான செயல்பாடுதான் இந்த நிலைமைக்கு வழிவகுத்தது என்று மாறியது. குப்பை சேகரிப்பு ஜாவாவை கட்டுப்பாட்டில் கொண்டு வந்ததன் மூலம், பிரச்னையை முற்றிலுமாக அகற்றி விட்டோம்.
வங்கித் துறையில் பணிப்பாய்வு அமைப்பை உருவாக்கவும் வளரவும் இலவச மென்பொருள் உதவுகிறது. VTB LMS இன் கண்காணிப்பு அமைப்பு தொடர்பான முக்கிய சிக்கல்களை மட்டுமே நாங்கள் தொட்டுள்ளோம். நீங்கள் விவரங்களில் ஆர்வமாக இருந்தால் - கருத்துகளில் கேளுங்கள், எங்கள் அனுபவத்தை உங்களுடன் பகிர்ந்து கொள்வதில் நாங்கள் மகிழ்ச்சியடைவோம்.
ஆதாரம்: www.habr.com