ღია კოდის პროგრამული უზრუნველყოფა LMS-ისთვის: როგორ ეხმარება უფასო soft-ს ვითიბი კრიტიკული ბიზნეს სისტემების ადმინისტრირებაში

ჩვენს ბანკში დოკუმენტაციის მხარდაჭერის სისტემა მუდმივად ვითარდება და მასშტაბირდება, ხოლო მოთხოვნები სიჩქარისა და ხარვეზების ტოლერანტობის მიმართ მხოლოდ იზრდება. რაღაც მომენტში, ეფექტური ცენტრალიზებული მონიტორინგის გარეშე LMS-ის შენარჩუნება ძალიან სარისკო გახდა. ვითიბიში ბიზნეს პროცესების უზრუნველსაყოფად და ადმინისტრატორების მუშაობის გასამარტივებლად, ჩვენ განვახორციელეთ გადაწყვეტა ღია ტექნოლოგიების დასტაზე დაფუძნებული. მისი დახმარებით ჩვენ შეგვიძლია პროაქტიულად ვუპასუხოთ ინციდენტებს, თავიდან ავიცილოთ პოტენციური პრობლემები. ფრაგმენტის ქვემოთ არის ისტორია ფართომასშტაბიანი ბიზნეს სისტემების მონიტორინგისთვის უფასო პროგრამული უზრუნველყოფის გამოყენების ჩვენი გამოცდილების შესახებ.

რატომ აკონტროლეთ თქვენი დოკუმენტების მართვის სისტემა?

2005 წლიდან ვითიბი ბანკში დოკუმენტაციის მხარდაჭერას კომპანია „მედია“ სისტემა „მართავს“. LMS-ში დასაქმებულია 60 ათასზე მეტი მომხმარებელი, რომლებიც ყოველთვიურად ქმნიან მილიონზე მეტ ახალ დოკუმენტს. ჩვენი სერვერები უნდა მუშაობდნენ 24 საათის განმავლობაში: თითქმის ნებისმიერ მომენტში არის 2500-3000 ადამიანი სისტემაში, რომლებიც დაკავშირებულია მთელი ქვეყნის მასშტაბით, პეტროპავლოვსკ-კამჩატსკიდან კალინინგრადამდე. LMS ოპერაციის ყოველი წამი ნიშნავს 10-15 ცვლილებას.

იმის უზრუნველსაყოფად, რომ სისტემა ზუსტად შეასრულებს დაკისრებულ ამოცანებს, ჩვენ განვათავსეთ შეცდომის ტოლერანტული ინფრასტრუქტურა პროქსი სერვერების გამოყენებით, მოთხოვნის დაბალანსება, ინფორმაციის დაცვა, სრული ტექსტის ძებნა, ინტეგრაციის მარშრუტები და სარეზერვო ასლები. ამ მასშტაბის პროექტის მხარდაჭერა და ადმინისტრირება მოითხოვს უზარმაზარ რესურსებს. ადმინისტრატორები აკონტროლებენ ძირითად ინფორმაციას სერვერის მუშაობის, ოპერატიული მეხსიერების დატვირთვის, CPU დროის, I/O ქვესისტემის და ა.შ. მაგრამ ამის გარდა, საჭიროა უფრო დახვეწილი ანალიტიკა:

• ბიზნეს სცენარების შესრულებაზე დახარჯული დროის გამოთვლა;
• სისტემის მუშაობის დინამიკის და მასზე დატვირთვის მონიტორინგი;
• სისტემის კომპონენტებში გადახრების ძიება დამტკიცებული არაფუნქციური მოთხოვნებიდან.

LMS-ის შემოღებიდან 11 წლის შემდეგ განსაკუთრებით მწვავე გახდა სხვადასხვა ტიპის შეცდომებზე პროაქტიული რეაგირების საკითხი. ბანკის ხელმძღვანელობამ გააცნობიერა, რომ მონიტორებისა და სისტემის სიცოცხლის კონსოლის გარეშე მუშაობა ცეცხლს ეთამაშებოდა: ამ დონის ბიზნეს სისტემაში მცირედი მარცხი შეიძლება მილიონობით ზარალს მოჰყვეს.

2016 წელს დავიწყეთ ინსტრუმენტების დანერგვა LMS–ის ფუნქციონირებაში არსებული პრობლემების სწრაფად იდენტიფიცირებისთვის, მათ შორის რეალურ დროში ჩვენთვის საინტერესო პარამეტრების მონიტორინგისთვის. მანამდე გამოყენებული მონიტორინგის სისტემა ამოქმედდა და ტესტირება მოხდა კომპანიის InterTrust-ის ინფრასტრუქტურის ფარგლებში.

როგორ დაიწყო ეს ყველაფერი

დღეს, VTB LMS აპლიკაციების მონიტორინგის ცენტრალიზებული სისტემა, რომელიც დაფუძნებულია ღია კოდის პროგრამულ პროდუქტებზე, ეხმარება თავიდან აიცილოს დოკუმენტების ნაკადთან დაკავშირებული შეცდომების უმეტესობა, პრობლემების სწრაფად და ზუსტად კლასიფიკაცია და ნებისმიერ ინციდენტზე ოპერატიულად რეაგირება. იგი მოიცავს ორ ქვესისტემას:

• სისტემური სერვისების IT ინფრასტრუქტურის მონიტორინგისთვის;
• LMS-ის მუშაობაში შეცდომების წარმოქმნის მონიტორინგი.

ყველაფერი დაიწყო ერთი უფასო მონიტორინგის აპლიკაციით. რამდენიმე ვარიანტის გავლის შემდეგ, ჩვენ გადავწყვიტეთ Zabbix - უფასო პროგრამა, რომელიც თავდაპირველად დაიწერა საბანკო მომსახურებისა და აღჭურვილობისთვის. ეს PHP ვებ სისტემა, რომელსაც შეუძლია შეინახოს მონაცემები MySQL, PostgreSQL, SQLite ან Oracle მონაცემთა ბაზაში, იდეალურად შეეფერებოდა ჩვენს საჭიროებებს.

Zabbix აწარმოებს თავის აგენტებს თითოეულ სერვერზე და აგროვებს ინფორმაციას რეალურ დროში ინტერესთა მეტრიკის შესახებ ერთ მონაცემთა ბაზაში. აპლიკაციის გამოყენებით, მოსახერხებელია მონაცემთა შეგროვება პროცესორებზე და RAM-ზე დატვირთვაზე, ქსელისა და სხვა კომპონენტების გამოყენების შესახებ, შეამოწმეთ სტანდარტული სერვისების (SMTP ან HTTP) ხელმისაწვდომობა და რეაგირება, გარე პროგრამების გაშვება და მონიტორინგის მხარდაჭერა. SNMP.

Zabbix-ის განლაგების შემდეგ, ჩვენ დავაყენეთ სტანდარტული ტექნიკის მეტრიკა და თავიდან ეს საკმარისი იყო. მაგრამ VTB SDO მუდმივად ვითარდება და იზრდება: 2016 წელს შესამჩნევად გაიზარდა სერვერების რაოდენობა, გამოჩნდა მიგრაციის პროცესები, სისტემას შეუერთდნენ მოსკოვის ბანკი, VTB Capital და VTB24. აღარ არის საკმარისი სტანდარტული მეტრიკა და ჩვენ ვასწავლეთ Zabbix-ს, თვალყური ადევნოთ ინფორმაციას რიგების არსებობის შესახებ სერვერთან დაკავშირებულ თითოეულ ტომზე (მოლის გარეთ Zabbix ასახავს მხოლოდ დისკის ზოგად რიგს), ასევე დრო სჭირდება. კონკრეტული პროცედურის დასასრულებლად.

გარდა ამისა, ჩვენ აღვჭურვეთ სისტემა მრავალი ტრიგერით - პირობები, რომლითაც შეტყობინება ეგზავნება ადმინისტრატორს (მესიჯი Telegram-ში, SMS ტელეფონის ნომერზე ან ელფოსტაზე). ტრიგერების კონფიგურაცია შესაძლებელია პარამეტრების ნებისმიერი ნაკრებისთვის. მაგალითად, შეგიძლიათ მიუთითოთ დისკზე თავისუფალი სივრცის გარკვეული პროცენტი და სისტემა გააფრთხილებს ადმინისტრატორს მითითებულ ზღურბლზე მიღწევისას, ან გაცნობებთ, თუ ფონური პროცედურა ჩვეულებრივზე მეტხანს მიმდინარეობს.

ჯავის კავშირი და მონაცემთა ვიზუალიზაცია

ჩვენ მნიშვნელოვნად გავაფართოვეთ გაანალიზებული მონაცემების სპექტრი, მაგრამ მალე ეს საკმარისი არ აღმოჩნდა ეფექტური მონიტორინგისთვის. ვიყენებდით იმ ფაქტს, რომ CompanyMedia-ს LMS არის Java აპლიკაცია, ჩვენ დავუკავშირდით Java ვირტუალურ მანქანას JMX ინტერფეისის საშუალებით და შევძელით უშუალოდ Java მეტრიკის აღება. და არა მხოლოდ Java-ს სასიცოცხლო აქტივობის სტანდარტული პარამეტრები, როგორიცაა GC მუშაობის ინტენსივობა ან Heap-ის მოხმარება, არამედ სპეციფიკური ტესტები, რომლებიც დაკავშირებულია უშუალოდ შესრულებადი აპლიკაციის კოდთან.

2017 წელს, მონიტორინგის სისტემის დანერგვიდან დაახლოებით ერთი წლის შემდეგ, გაირკვა, რომ Zabbix-ში შეგროვებული მონაცემების კოლოსალურ რაოდენობასთან ნორმალური მუშაობისთვის, არ იყო საკმარისი ვიზუალიზაცია - რთული ეკრანები. ამ პრობლემის საუკეთესო გამოსავალი ისევ უფასო პროგრამული უზრუნველყოფა იყო - Grafana, მოსახერხებელი დაფა მეტრიკებისთვის, რომელიც საშუალებას გაძლევთ დააგროვოთ ყველა მონაცემი ერთ ეკრანზე.

Grafana ინტერფეისი არის ინტერაქტიული, რომელიც მოგვაგონებს OLAP სისტემას. ქვესისტემა აჩვენებს Zabbix-ის მიერ მიღებულ მონაცემებს ერთ ეკრანზე, ასახავს ინფორმაციას გრაფიკების და დიაგრამების სახით, რომლებიც ადვილად გასაანალიზებელია. ადმინისტრატორს შეუძლია ადვილად მოარგოს მისთვის საჭირო ნაჭრები.

LMS სისტემაში შეცდომების მონიტორინგი და პრევენციული აღმოფხვრა

ELK ღია კოდის პროგრამული პლატფორმა გეხმარებათ მონიტორინგის დროს მიღებული ინფორმაციის გაფილტვრასა და გაანალიზებაში. ღია კოდის ეს პროდუქტი შედგება სამი ძლიერი ინსტრუმენტისგან მონაცემთა შეგროვების, შენახვისა და ანალიზისთვის: Elasticsearch, Logstash და Kibana. ამ ქვესისტემის დანერგვა საშუალებას იძლევა, კერძოდ, რეალურ დროში ნახოთ, რამდენი შეცდომა მოხდა სისტემაში, რომელ სერვერებზე და მეორდება თუ არა ეს შეცდომები.

ახლა ადმინისტრატორს შეუძლია აღმოაჩინოს პრობლემა ადრეულ ეტაპზე, მანამდეც კი, სანამ მომხმარებელი მას შეხვდება. ასეთი პროაქტიული მონიტორინგი საშუალებას გაძლევთ თავიდან აიცილოთ სისტემის გაუმართაობა შეცდომების დროული აღმოფხვრის გზით. გარდა ამისა, ჩვენ შეგვიძლია გავიგოთ, თუ როგორ შეიცვალა სისტემის ქცევა განახლების შემდეგ, ასევე აღმოვაჩინოთ ახალი პრობლემები, თუ ისინი გამოჩნდება.

ბიზნეს ოპერაციების მონიტორინგი

რესურსების მოხმარების მონიტორინგის ძირითადი ფუნქციების გარდა, სისტემას აქვს ბიზნეს ოპერაციების ანალიზისა და კონტროლის შესაძლებლობა.

ბიზნეს ოპერაციების შესრულების დროის მთლიანი მონიტორინგი საშუალებას გაძლევთ იდენტიფიციროთ ახალი ფაქტორები და გაიგოთ მათი გავლენა სისტემის მუშაობაზე.

თითოეული ბიზნეს სერვისისთვის მოთხოვნების შესრულების დროის მონიტორინგი შესაძლებელს ხდის ნორმიდან გადახრილი ოპერაციების გამოვლენას.

ზემოთ მოცემული სკრინშოტი არის ფონური დავალების მონიტორინგის მაგალითი ნორმიდან მისი გადახრის თვალსაზრისით.

კონტროლირებადი ამოცანების სია კონკრეტულ სერვერზე მათი აქტივობის თვალსაზრისით საშუალებას გაძლევთ ამოიცნოთ შეცდომები - მათ შორის დავალების შესრულების დუბლირება - ყველა სერვერზე.

ასევე მონიტორინგი ხდება ფონური პროცედურების შესრულების დროს.

სისტემა იზრდება, ვითარდება და ეხმარება პრობლემების მოგვარებაში

აღწერილი სისტემის დანერგვით, LMS სერვერების მუშაობის მონიტორინგი მნიშვნელოვნად გამარტივდა. მიუხედავად ამისა, დროდადრო წარმოიქმნება სხვადასხვა სახის კონფლიქტები, რაც გავლენას ახდენს დოკუმენტის ნაკადის სიჩქარეზე და იწვევს მომხმარებლის პრეტენზიებს. ასე რომ, ჩვენ მივხვდით, რომ საჭირო იყო თავად აპლიკაციის ქცევის კონტროლი და არა მხოლოდ სერვერების.

ამ პრობლემის გადასაჭრელად, ბალანსერი დაუკავშირდა მონიტორინგის სისტემას API-ის საშუალებით, რომელიც მუშაობს აპლიკაციის სერვერების კლასტერთან. ამის წყალობით, ადმინისტრატორს შეუძლია დაინახოს რამდენი დრო სჭირდება სერვერს მომხმარებლის თითოეულ მოთხოვნაზე პასუხის გასაცემად.

ანალიზისთვის ხელმისაწვდომი გახდა სერვერის პასუხის დროის მონაცემები, რამაც შესაძლებელი გახადა LMS-ის შენელების დაკავშირება სერვერზე მიმდინარე პროცესებთან. კერძოდ, გაჩნდა საინტერესო სიტუაცია: სერვერი ნელა მუშაობს, თუმცა ამ მომენტში ის არ არის დატვირთული. ანომალიის გაანალიზებით, ჩვენ აღმოვაჩინეთ გადახრები Garbage Collector Java-ის მუშაობაში. საბოლოოდ აღმოჩნდა, რომ სწორედ ამ სამსახურის არასწორმა მუშაობამ გამოიწვია ეს მდგომარეობა. Garbage Collector Java-ის კონტროლით, ჩვენ მთლიანად აღმოვფხვრათ პრობლემა.

ასე ეხმარება უფასო პროგრამული უზრუნველყოფა საბანკო ინდუსტრიაში დოკუმენტების მართვის სისტემას განვითარებასა და ზრდაში. ჩვენ შევეხეთ მხოლოდ VTB SDO-ს მონიტორინგის სისტემასთან დაკავშირებულ ძირითად საკითხებს. თუ გაინტერესებთ დეტალები, ჰკითხეთ კომენტარებში, მოხარული ვიქნებით გაგიზიაროთ ჩვენი გამოცდილება.

წყარო: www.habr.com