VTB-nin İT departamenti sistemlərin işində bir neçə dəfə fövqəladə hallarla qarşılaşmalı oldu, onlara yük dəfələrlə artdı. Buna görə də, kritik sistemlərdə pik yükü proqnozlaşdıran bir model hazırlamaq və sınaqdan keçirmək zərurəti yarandı. Bunun üçün bankın İT mütəxəssisləri monitorinq qurub, məlumatları təhlil edib, proqnozların avtomatlaşdırılmasını öyrəniblər. Hansı vasitələr yükü proqnozlaşdırmağa kömək etdi və onların köməyi ilə işi optimallaşdırmaq mümkün olub-olmadığını qısa bir məqalədə izah edəcəyik.
Yüksək yüklənmiş xidmətlərlə bağlı problemlər demək olar ki, bütün sənaye sahələrində yaranır, lakin onlar maliyyə sektoru üçün çox vacibdir. X saatda bütün döyüş hissələri hazır olmalı idi, ona görə də nə baş verə biləcəyini əvvəlcədən bilmək və hətta yükün nə vaxt artacağı və hansı sistemlərin onunla qarşılaşacağı günü müəyyən etmək lazım idi. Uğursuzluqları aradan qaldırmaq və qarşısını almaq lazımdır, buna görə də proqnozlaşdırıcı analitik sistemin tətbiqi zərurəti müzakirə olunmayıb. Sistemlər monitorinq məlumatları əsasında təkmilləşdirilməli idi.
Diz üstə analitika
Əmək haqqı layihəsi uğursuzluq halında ən həssas layihələrdən biridir. Proqnozlaşdırma üçün ən başa düşüləndir, ona görə də onunla başlamağa qərar verdik. Pik vaxtlarda yüksək qoşulma səbəbindən digər alt sistemlər də uzaqdan bankçılıq (RB) daxil olmaqla problemlərlə üzləşə bilər. Məsələn, pulun alınması ilə bağlı SMS-lərə sevinən müştərilər onlardan aktiv şəkildə istifadə etməyə başladılar. Bu vəziyyətdə, yük bir miqyasdan daha çox atlaya bilər.
İlk proqnozlaşdırıcı model əl ilə yaradılmışdır. Biz son bir il üçün yükləməni götürdük və maksimum piklərin hansı günlərdə gözlənildiyini hesabladıq: məsələn, ayın 1-i, 15-i və 25-i, eləcə də ayın son günləri. Bu model ciddi əmək xərcləri tələb edirdi və dəqiq proqnoz vermirdi. Buna baxmayaraq, o, "dəmir" əlavə etmək lazım olan çətinlikləri müəyyənləşdirdi və lövbər müştəriləri ilə razılaşaraq pul köçürmə prosesini optimallaşdırmağa imkan verdi: maaşları "bir qurtumda" verməmək üçün müxtəlif bölgələrdən əməliyyatlar zamanla yayıldı. . İndi biz onları bankın İT infrastrukturunun uğursuzluqlar olmadan “çeynəyə” bildiyi hissələrdə emal edirik.
İlk müsbət nəticəni aldıqdan sonra biz proqnozlaşdırmanın avtomatlaşdırılmasına keçdik.Daha onlarla kritik sahə öz növbəsini gözləyirdi.
Kompleks yanaşma
VTB MicroFocus-dan monitorinq sistemini tətbiq etmişdir. Oradan proqnozlaşdırma, saxlama sistemi və hesabat sistemi üçün məlumat topladıq. Əslində, artıq monitorinq var idi, yalnız ölçüləri, proqnozlaşdırma modulunu əlavə etmək və yeni hesabatlar yaratmaq qaldı. Bu həll xarici podratçı Technoserv tərəfindən dəstəklənir, ona görə də layihənin həyata keçirilməsində əsas iş onun mütəxəssislərinin üzərinə düşürdü, lakin modeli özümüz qurmuşuq. Proqnozlaşdırma sistemi Peyğəmbər əsasında hazırlanmışdır - bu açıq məhsul Facebook tərəfindən hazırlanmışdır. İstifadəsi asandır və inteqrasiya olunmuş monitorinq alətlərimiz və Vertica ilə asanlıqla inteqrasiya olunur. Təxminən desək, sistem yükləmə cədvəlini təhlil edir və onu Furye seriyası əsasında ekstrapolyasiya edir. Modelimizdən götürülmüş günlər üçün bəzi əmsallar əlavə etmək də mümkündür. Metriklər insan müdaxiləsi olmadan götürülür, həftədə bir dəfə proqnoz avtomatik olaraq yenidən hesablanır, alıcılara yeni hesabatlar göndərilir.
Bu yanaşma əsas dövrləri, məsələn, illik, aylıq, rüblük və həftəlik dövrləri ortaya qoyur. Maaşlar və avans ödənişləri, məzuniyyət dövrləri, tətillər və satışlar - bütün bunlar sistemlərə edilən zənglərin sayına təsir göstərir. Məsələn, məlum oldu ki, bəzi dövrlər bir-birini üst-üstə düşür və sistemlərə əsas yük (75%) Mərkəzi Federal Dairədən gəlir. Hüquqi və fiziki şəxslər fərqli davranırlar. Əgər "fiziklərdən" gələn yük həftənin günləri üzrə nisbətən bərabər paylanırsa (kiçik əməliyyatlar çoxdur), o zaman şirkətlər iş saatları ərzində 99,9% -ə malikdir, üstəlik, əməliyyatlar qısa ola bilər və ya onlar ərzində emal edilə bilər. bir neçə dəqiqə və ya hətta saat.
Əldə edilən məlumatlar əsasında uzunmüddətli tendensiyalar müəyyən edilir. Yeni sistem insanların kütləvi şəkildə uzaqdan bankçılıq üçün getdiyini ortaya qoydu. Bunu hamı bilir, amma biz belə bir miqyas gözləmirdik və əvvəlcə onlara inanmadıq: bankın ofislərinə edilən zənglərin sayı son dərəcə sürətlə azalır, uzaqdan aparılan əməliyyatların sayı isə tam eyni məbləğdə artır. Müvafiq olaraq, sistemlərin yükü də artır və artmağa davam edəcək. İndi yükü 2020-ci ilin fevralına qədər proqnozlaşdırırıq. Normal günləri 3% səhvlə, pik günləri isə 10% səhvlə proqnozlaşdırmaq olar. Bu yaxşı nəticədir.
Pitfalls
Həmişəki kimi bu da çətinliksiz ötüşməyib. Furye seriyasından istifadə edən ekstrapolyasiya mexanizmi sıfırı yaxşı keçmir - biz bilirik ki, hüquqi şəxslər həftə sonu bir neçə əməliyyat yaradır, lakin proqnozlaşdırma modulu sıfırdan çox uzaq dəyərlər yaradır. Onları zorla düzəltmək mümkün idi, amma qoltuq dəyənəyi bizim üsulumuz deyil. Bundan əlavə, mənbə sistemlərindən məlumatların ağrısız çıxarılması problemini həll etməli olduq. Daimi məlumatların toplanması ciddi hesablama resursları tələb edir, ona görə də biz replikasiyadan istifadə edərək sürətli keşlər qurduq, biz artıq replikalardan biznes məlumatlarını alırıq. Belə hallarda master sistemlərində əlavə yükün olmaması bloklama tələbidir.
Yeni çağırışlar
Piklərin proqnozlaşdırılması vəzifəsi həll edildi: bu ilin may ayından bankda həddindən artıq yüklənmə ilə bağlı uğursuzluqlar baş vermədi və yeni proqnozlaşdırma sistemi bunda mühüm rol oynadı. Bəli, bu kifayət deyildi və indi bank bunun üçün kürəklərin nə qədər təhlükəli olduğunu başa düşmək istəyir. Bizə yük testindən metriklərdən istifadə edən proqnozlar lazımdır və kritik sistemlərin təxminən 30%-i üçün bu artıq işləyir, qalanları isə proqnozların əldə edilməsi prosesindədir. Növbəti mərhələdə biz sistemlərə yükü biznes əməliyyatlarında deyil, İT infrastrukturu baxımından proqnozlaşdıracağıq, yəni aşağıdakı təbəqəyə enəcəyik. Bundan əlavə, boşalma ilə məşğul olmamaq üçün metriklərin toplanması və onların əsasında proqnozların qurulmasını tam avtomatlaşdırmalıyıq. Bunda əlamətdar heç nə yoxdur - biz sadəcə olaraq ən yaxşı dünya təcrübəsinə uyğun olaraq monitorinq və yük sınaqlarını keçirik.
Mənbə: www.habr.com