ВТБ АТ бөлімі бірнеше рет жүйелердің жұмысындағы төтенше жағдайлармен күресуге тура келді, олардағы жүктеме бірнеше есе артқан. Сондықтан сыни жүйелердегі ең жоғары жүктемені болжайтын модельді әзірлеу және сынау қажеттілігі туындады. Ол үшін банктің IT мамандары мониторингті орнатып, деректерді талдап, болжамдарды автоматтандыруды үйренді. Қандай құралдар жүктемені болжауға көмектесті және олар жұмысты оңтайландыруға көмектесті ме, жоқ па, біз сізге қысқа мақалада айтамыз.
Жоғары жүктемелі қызметтерге қатысты мәселелер барлық дерлік салаларда туындайды, бірақ қаржы секторы үшін олар өте маңызды. Х сағатта барлық жауынгерлік бөлімшелер дайын болуы керек, сондықтан не болуы мүмкін екенін алдын ала біліп, тіпті жүктің секіретін күнін және қандай жүйелер оған тап болатынын анықтау керек болды. Сәтсіздіктерді жою және алдын алу қажет, сондықтан болжамды талдау жүйесін енгізу қажеттілігі тіпті талқыланбады. Мониторинг деректеріне негізделген жүйелерді жаңғырту қажет болды.
Аналитика тізеңізде
Жалақы жобасы сәтсіздікке ұшыраған жағдайда ең сезімтал жобалардың бірі болып табылады. Бұл болжау үшін ең түсінікті, сондықтан біз одан бастауды жөн көрдік. Байланыстың жоғары болуына байланысты басқа ішкі жүйелерде, соның ішінде қашықтағы банктік қызметтерде (RBS) жүктеме ең жоғары болған кезде проблемалар туындауы мүмкін. Мысалы, ақша түскені туралы SMS-хабарламаға қуанған клиенттер оны белсенді пайдалана бастады. Жүктеме бір реттік шамаға секіруі мүмкін.
Бірінші болжам үлгісі қолмен жасалды. Біз соңғы жылдағы жүктеп салуларды алдық және ең жоғары шыңдардың қай күндері күтілетінін есептедік: мысалы, 1-ші, 15-ші және 25-ші күндері, сондай-ақ айдың соңғы күндері. Бұл модель айтарлықтай еңбек шығындарын талап етті және дәл болжамды қамтамасыз етпеді. Соған қарамастан, ол аппараттық құралдарды қосу қажет болатын кедергілерді анықтады және зәкірлік клиенттермен келісе отырып, ақша аудару процесін оңтайландыруға мүмкіндік берді: жалақыны бір жұтып алмау үшін әртүрлі аймақтардан транзакциялар уақыт өте келе аралықта болды. Енді біз оларды банктің IT-инфрақұрылымы сәтсіз «шайнайтын» бөліктерде өңдейміз.
Алғашқы оң нәтижеге қол жеткізіп, біз болжауды автоматтандыруға көштік.
Кешенді тәсіл
ВТБ MicroFocus компаниясының мониторинг жүйесін енгізді. Ол жерден біз болжау, сақтау жүйесі және есеп беру жүйесі үшін деректер жинауды алдық. Шындығында, мониторинг қазірдің өзінде болды, тек метрика, болжау модулін қосу және жаңа есептерді жасау ғана қалды. Бұл шешімді сыртқы мердігер Техносерв қолдап отыр, сондықтан жобаны жүзеге асырудағы негізгі жұмыс оның мамандарына түсті, бірақ біз үлгіні өзіміз құрастырдық. Болжау жүйесі Facebook әзірлеген ашық бастапқы коды – Пайғамбар негізінде жасалған. Оны пайдалану оңай және біздің орнатылған біріктірілген бақылау құралдарымен және Vertica көмегімен оңай біріктіріледі. Шамамен айтқанда, жүйе жүктеме графигін талдайды және оны Фурье сериясы негізінде экстраполяциялайды. Сондай-ақ, біздің модельден алынған белгілі бір коэффициенттерді тәулік бойынша қосуға болады. Көрсеткіштер адамның қатысуынсыз қабылданады, болжам аптасына бір рет автоматты түрде қайта есептеледі және алушыларға жаңа есептер жіберіледі.
Бұл тәсіл негізгі циклдіктерді анықтайды, мысалы, жылдық, айлық, тоқсандық және апталық. Жалақы мен аванстық төлемдер, демалыс кезеңдері, мереке күндері және сатылымдар - мұның бәрі жүйелерге қоңыраулар санына әсер етеді. Мысалы, кейбір циклдар бір-бірімен қабаттасатыны белгілі болды, ал жүйелерге негізгі жүктеме (75%) Орталық федералды округтен келеді. Заңды және жеке тұлғалардың әрекеті әртүрлі. Егер «физиктердің» жүктемесі апта күндеріне салыстырмалы түрде біркелкі бөлінсе (бұл өте көп ұсақ транзакциялар), онда компаниялар үшін 99,9% жұмыс уақытына жұмсалады, ал транзакциялар қысқа болуы мүмкін немесе бірнеше уақытта өңделуі мүмкін. минуттар немесе тіпті сағаттар.
Алынған мәліметтер негізінде ұзақ мерзімді тенденциялар анықталады. Жаңа жүйе тұрғындардың қашықтан банктік қызмет көрсетуге жаппай көшетінін анықтады. Мұны бәрі біледі, бірақ біз мұндай ауқымды күткен жоқпыз және бастапқыда сенбедік: банк бөлімшелеріне қоңыраулар саны өте тез азайып келеді, ал қашықтан жасалған транзакциялар саны дәл сол сомаға өсуде. Тиісінше, жүйелерге түсетін жүктеме де артып келеді және өсе береді. Біз қазір 2020 жылдың ақпан айына дейін жүктемені болжап отырмыз. Қалыпты күндерді 3% қателікпен, ал ең жоғары күндерді 10% қателікпен болжауға болады. Бұл жақсы нәтиже.
Төзімділік
Әдеттегідей қиындықсыз болған жоқ. Фурье қатарын қолданатын экстраполяция механизмі нөлден жақсы өтпейді - біз заңды тұлғалар демалыс күндері транзакцияларды аз жасайтынын білеміз, бірақ болжау модулі нөлден алыс мәндерді шығарады. Оларды күштеп түзетуге болатын, бірақ балдақ біздің әдіс емес. Бұған қоса, бастапқы жүйелерден деректерді ауыртпалықсыз алу мәселесін шешуге тура келді. Ақпаратты жүйелі түрде жинау маңызды есептеу ресурстарын қажет етеді, сондықтан біз репликацияны пайдаланып жылдам кэштерді құрдық және репликалардан бизнес деректерін аламыз. Мұндай жағдайларда негізгі жүйелерге қосымша жүктеменің болмауы блоктаушы талап болып табылады.
Жаңа сынақтар
Шыңдарды болжаудың қарапайым міндеті шешілді: ағымдағы жылдың мамыр айынан бастап банкте шамадан тыс жүктемеге байланысты ақаулар болған жоқ, бұл жаңа болжау жүйесі маңызды рөл атқарды. Иә, бұл жеткіліксіз болып шықты, енді банк шыңдардың ол үшін қаншалықты қауіпті екенін түсінгісі келеді. Бізге жүктеме сынағы метрикасын қолданатын болжамдар қажет, ал сыни жүйелердің шамамен 30% бұл қазірдің өзінде жұмыс істеп тұр, қалғандары болжамдарды алу процесінде. Келесі кезеңде біз жүйеге түсетін жүктемені іскерлік транзакцияларда емес, IT-инфрақұрылым тұрғысынан болжаймыз, яғни бір деңгейге түсеміз. Сонымен қатар, жүктеулермен айналыспау үшін метрикаларды жинауды және олардың негізінде болжамдарды құруды толығымен автоматтандыру керек. Бұл туралы қызықты ештеңе жоқ - біз жаһандық озық тәжірибеге сәйкес мониторинг пен жүктеме тестілеуден өтіп жатырмыз.
Ақпарат көзі: www.habr.com