მონიტორინგი + დატვირთვის ტესტირება = პროგნოზირებადობა და წარუმატებლობის გარეშე

VTB-ის IT დეპარტამენტს რამდენჯერმე მოუწია სისტემების ექსპლუატაციის დროს საგანგებო სიტუაციებთან გამკლავება, როდესაც მათზე დატვირთვა მრავალჯერ გაიზარდა. აქედან გამომდინარე, საჭირო გახდა მოდელის შემუშავება და ტესტირება, რომელიც იწინასწარმეტყველებდა პიკურ დატვირთვას კრიტიკულ სისტემებზე. ამისათვის ბანკის IT სპეციალისტებმა დააწესეს მონიტორინგი, გააანალიზეს მონაცემები და ისწავლეს პროგნოზების ავტომატიზაცია. რა ინსტრუმენტებმა დაეხმარა დატვირთვის პროგნოზირებას და შესაძლებელი იყო თუ არა მათი დახმარებით სამუშაოს ოპტიმიზაცია, მოკლე სტატიაში გეტყვით.

მაღალი დატვირთვის სერვისებთან დაკავშირებული პრობლემები წარმოიქმნება თითქმის ყველა ინდუსტრიაში, მაგრამ ისინი გადამწყვეტია ფინანსური სექტორისთვის. X საათზე ყველა საბრძოლო ნაწილი მზად უნდა ყოფილიყო, ამიტომ წინასწარ უნდა გვეცოდინებოდა რა შეიძლება მომხდარიყო და კიდევ განესაზღვრა დღე, როდის გაიზრდებოდა დატვირთვა და რომელი სისტემების წინაშე აღმოჩნდებოდა. წარუმატებლობას უნდა მოგვარდეს და თავიდან აიცილოს, ამიტომ პროგნოზირებადი ანალიტიკური სისტემის დანერგვის აუცილებლობა არც კი განიხილებოდა. სისტემები უნდა განახლებულიყო მონიტორინგის მონაცემების საფუძველზე.

ანალიტიკა მუხლზე

სახელფასო პროექტი ერთ-ერთი ყველაზე მგრძნობიარეა წარუმატებლობის შემთხვევაში. ეს ყველაზე გასაგებია პროგნოზირებისთვის, ამიტომ გადავწყვიტეთ დავიწყოთ ამით. მაღალი დაკავშირების გამო პიკური დატვირთვის დროს, სხვა ქვესისტემებსაც შეიძლება შეექმნათ პრობლემები, მათ შორის დისტანციური ბანკინგი (RB). მაგალითად, მომხმარებლებმა, რომლებიც აღფრთოვანებულები იყვნენ SMS-ით ფულის მიღების შესახებ, აქტიურად დაიწყეს მათი გამოყენება. ამ შემთხვევაში, დატვირთვა შეიძლება გადახტეს სიდიდის ბრძანებაზე მეტით. 

პირველი პროგნოზირებადი მოდელი შეიქმნა ხელით. ჩვენ ავიღეთ ატვირთვა გასული წლისთვის და გამოვთვალეთ რომელ დღეებშია მოსალოდნელი მაქსიმალური პიკები: მაგალითად, 1, 15 და 25, ასევე თვის ბოლო დღეებში. ეს მოდელი მოითხოვდა სერიოზულ შრომის ხარჯებს და არ აძლევდა ზუსტ პროგნოზს. მიუხედავად ამისა, მან გამოავლინა შეფერხებები, სადაც საჭირო იყო "რკინის" დამატება და საშუალება მისცა ოპტიმიზაცია გაეწია ფულის გადარიცხვის პროცესის წამყვან კლიენტებთან შეთანხმებით: იმისათვის, რომ ხელფასები "ერთი ყლუპით" არ მიეცეს, დროთა განმავლობაში გავრცელდა ტრანზაქციები სხვადასხვა რეგიონიდან. . ახლა ჩვენ ვამუშავებთ მათ ნაწილებად, რომლებსაც ბანკის IT ინფრასტრუქტურა უშეცდომოდ „ღეჭავს“.

პირველი დადებითი შედეგის მიღების შემდეგ გადავედით პროგნოზირების ავტომატიზირებაზე, თავის რიგს კიდევ ათეული კრიტიკული სფერო ელოდა.

ყოვლისმომცველი მიდგომა

ვითიბიმ დანერგა MicroFocus-ის მონიტორინგის სისტემა. იქიდან ჩვენ ავიღეთ მონაცემთა შეგროვება პროგნოზირებისთვის, შენახვის სისტემა და ანგარიშგების სისტემა. ფაქტობრივად, უკვე იყო მონიტორინგი, დარჩა მხოლოდ მეტრიკის, პროგნოზირების მოდულის დამატება და ახალი ანგარიშების შექმნა. ამ გადაწყვეტას მხარს უჭერს გარე კონტრაქტორი Technoserv-ი, ამიტომ პროექტის განხორციელებაზე მთავარი სამუშაო მის სპეციალისტებზე დაეცა, მაგრამ მოდელი ჩვენ თვითონ ავაშენეთ. პროგნოზირების სისტემა წინასწარმეტყველის საფუძველზე შეიქმნა - ეს ღია პროდუქტი Facebook-მა შექმნა. მისი გამოყენება მარტივია და ადვილად ინტეგრირდება ჩვენს ინტეგრირებულ მონიტორინგის ინსტრუმენტებთან და ვერტიკასთან. უხეშად რომ ვთქვათ, სისტემა აანალიზებს დატვირთვის განრიგს და ექსტრაპოლაციას ახდენს ფურიეს სერიებზე დაყრდნობით. ასევე შესაძლებელია რამდენიმე კოეფიციენტის დამატება ჩვენი მოდელიდან აღებული დღეებისთვის. მეტრიკა მიიღება ადამიანის ჩარევის გარეშე, კვირაში ერთხელ პროგნოზი ავტომატურად გადაითვლება, ახალი ანგარიშები ეგზავნება მიმღებებს. 

ეს მიდგომა ავლენს ძირითად ციკლებს, მაგალითად, წლიური, ყოველთვიური, კვარტალური და ყოველკვირეული. ხელფასები და ავანსები, შვებულების პერიოდები, არდადეგები და გაყიდვები - ეს ყველაფერი გავლენას ახდენს სისტემებზე ზარების რაოდენობაზე. აღმოჩნდა, რომ, მაგალითად, ზოგიერთი ციკლი ერთმანეთს ემთხვევა და ძირითადი დატვირთვა (75%) სისტემებზე მოდის ცენტრალური ფედერალური ოლქიდან. იურიდიული და ფიზიკური პირები განსხვავებულად იქცევიან. თუ "ფიზიკოსების" დატვირთვა შედარებით თანაბრად ნაწილდება კვირის დღეებში (ბევრია მცირე ტრანზაქცია), მაშინ კომპანიებს აქვთ 99,9% სამუშაო საათებში, უფრო მეტიც, ტრანზაქციები შეიძლება იყოს მოკლე, ან მათი დამუშავება შესაძლებელია ფარგლებში. რამდენიმე წუთი ან თუნდაც საათი.

მიღებული მონაცემების საფუძველზე დგინდება გრძელვადიანი ტენდენციები. ახალმა სისტემამ გამოავლინა, რომ ხალხი მასობრივად ტოვებს დისტანციურ საბანკო მომსახურებას. ეს ყველამ იცის, მაგრამ ჩვენ არ ველოდით ასეთ მასშტაბებს და თავიდან არ გვჯეროდა მათი: ბანკის ოფისებში ზარების რაოდენობა უკიდურესად სწრაფად იკლებს, დისტანციური ტრანზაქციების რაოდენობა კი ზუსტად ამდენით იზრდება. შესაბამისად, სისტემებზე დატვირთვაც იზრდება და გაიზრდება. ჩვენ ახლა ვპროგნოზირებთ დატვირთვას 2020 წლის თებერვლამდე. ნორმალური დღეების პროგნოზირება შესაძლებელია 3%-ის შეცდომით, ხოლო პიკის დღეები - 10%-ის შეცდომით. ეს კარგი შედეგია.

უარყოფითი მხარეები

როგორც ყოველთვის, ეს არ იყო სირთულეების გარეშე. ფურიეს სერიის გამოყენებით ექსტრაპოლაციის მექანიზმი კარგად არ კვეთს ნულს - ჩვენ ვიცით, რომ იურიდიული პირები ქმნიან რამდენიმე ტრანზაქციას შაბათ-კვირას, მაგრამ პროგნოზი აწარმოებს მნიშვნელობებს, რომლებიც შორს არის ნულიდან. მათი იძულებით გამოსწორება შეიძლებოდა, მაგრამ ყავარჯნები ჩვენი მეთოდი არ არის. გარდა ამისა, ჩვენ მოგვიწია წყაროს სისტემებიდან მონაცემთა უმტკივნეულო ამოღების პრობლემის გადაჭრა. ინფორმაციის რეგულარული შეგროვება მოითხოვს სერიოზულ გამოთვლით რესურსებს, ამიტომ ჩვენ ავაშენეთ სწრაფი ქეშები რეპლიკაციის გამოყენებით, ბიზნეს მონაცემებს უკვე ვიღებთ რეპლიკებიდან. ასეთ შემთხვევებში მთავარ სისტემებზე დამატებითი დატვირთვის არარსებობა ბლოკირების მოთხოვნაა.

Ახალი გამოწვევები

მოგვარდა პიკების პროგნოზირების მთავარი ამოცანა: მიმდინარე წლის მაისიდან ბანკში გადატვირთვასთან დაკავშირებული წარუმატებლობები არ ყოფილა და ამაში მნიშვნელოვანი როლი ითამაშა პროგნოზირების ახალმა სისტემამ. დიახ, ეს არ იყო საკმარისი და ახლა ბანკს სურს გაიგოს, რამდენად საშიშია მისთვის ყვავი. ჩვენ გვჭირდება პროგნოზები დატვირთვის ტესტირების მეტრიკის გამოყენებით და კრიტიკული სისტემების დაახლოებით 30%-ისთვის ეს უკვე მუშაობს, დანარჩენი პროგნოზების მიღების პროცესშია. შემდეგ ეტაპზე ჩვენ ვაპირებთ სისტემებზე დატვირთვის პროგნოზირებას არა ბიზნეს ტრანზაქციებში, არამედ IT ინფრასტრუქტურის კუთხით, ანუ ქვემოთ ფენაში ჩავალთ. გარდა ამისა, ჩვენ უნდა მოვახდინოთ მეტრიკის შეგროვების სრული ავტომატიზაცია და მათზე დაფუძნებული პროგნოზების აგება, რათა არ შევეხოთ განტვირთვას. ამაში გამორჩეული არაფერია - ჩვენ უბრალოდ ჯვარედინი მონიტორინგს და ვტვირთავთ ტესტირებას საუკეთესო მსოფლიო პრაქტიკის შესაბამისად.

წყარო: www.habr.com