Ang departamento ng VTB IT nang maraming beses ay kailangang harapin ang mga emerhensiyang sitwasyon sa pagpapatakbo ng mga system, kapag ang pagkarga sa mga ito ay tumaas nang maraming beses. Samakatuwid, nagkaroon ng pangangailangan na bumuo at subukan ang isang modelo na maghuhula ng peak load sa mga kritikal na sistema. Para magawa ito, nag-set up ang mga IT specialist ng bangko sa pagsubaybay, pagsusuri ng data at natutunang i-automate ang mga hula. Sasabihin namin sa iyo sa isang maikling artikulo kung aling mga tool ang nakatulong na mahulaan ang pagkarga at kung nakatulong ba ang mga ito sa pag-optimize ng trabaho.
Ang mga problema sa mga serbisyong may mataas na kargamento ay lumitaw sa halos lahat ng mga industriya, ngunit para sa sektor ng pananalapi ang mga ito ay kritikal. Sa oras X, ang lahat ng mga yunit ng labanan ay dapat na handa, at samakatuwid ito ay kinakailangan upang malaman nang maaga kung ano ang maaaring mangyari at kahit na matukoy ang araw kung kailan ang pagkarga ay tumalon at kung aling mga sistema ang makakatagpo nito. Kailangang harapin at pigilan ang mga pagkabigo, kaya hindi man lang napag-usapan ang pangangailangang magpatupad ng predictive analytics system. Kinailangan na gawing makabago ang mga sistema batay sa data ng pagsubaybay.
Analytics sa iyong mga tuhod
Ang payroll project ay isa sa pinakasensitibo kung sakaling mabigo. Ito ang pinakanaiintindihan para sa pagtataya, kaya nagpasya kaming magsimula dito. Dahil sa mataas na koneksyon, ang ibang mga subsystem, kabilang ang mga remote banking services (RBS), ay maaaring makaranas ng mga problema sa mga oras ng peak load. Halimbawa, ang mga kliyente na nalulugod sa SMS tungkol sa pagtanggap ng pera ay nagsimulang aktibong gamitin ito. Ang load ay maaaring tumalon ng higit sa isang order ng magnitude.
Ang unang modelo ng pagtataya ay ginawa nang manu-mano. Kinuha namin ang mga pag-upload para sa nakaraang taon at kinakalkula kung aling mga araw ang inaasahang maximum na mga peak: halimbawa, ang ika-1, ika-15 at ika-25, gayundin sa mga huling araw ng buwan. Ang modelong ito ay nangangailangan ng malaking gastos sa paggawa at hindi nagbigay ng tumpak na hula. Gayunpaman, natukoy nito ang mga bottleneck kung saan kinakailangang magdagdag ng hardware, at ginawang posible na ma-optimize ang proseso ng paglilipat ng pera sa pamamagitan ng pagsang-ayon sa mga anchor client: upang hindi makapagbigay ng mga suweldo sa isang lagok, ang mga transaksyon mula sa iba't ibang rehiyon ay pinaghiwalay sa paglipas ng panahon. Ngayon ay pinoproseso namin ang mga ito sa mga bahagi na maaaring "nguyain" ng imprastraktura ng IT ng bangko nang walang kabiguan.
Nang matanggap ang unang positibong resulta, lumipat kami sa pag-automate ng pagtataya. Isang dosenang higit pang kritikal na lugar ang naghihintay sa kanilang pagkakataon.
Integrated diskarte
Ang VTB ay nagpatupad ng isang monitoring system mula sa MicroFocus. Mula doon kinuha namin ang pangongolekta ng data para sa pagtataya, isang storage system at isang sistema ng pag-uulat. Sa katunayan, ang pagsubaybay ay nasa lugar na, ang natitira na lang ay magdagdag ng mga sukatan, isang module ng hula at lumikha ng mga bagong ulat. Ang desisyong ito ay sinusuportahan ng panlabas na kontratista na Technoserv, kaya ang pangunahing gawain sa pagpapatupad ng proyekto ay nahulog sa mga espesyalista nito, ngunit kami mismo ang nagtayo ng modelo. Ang sistema ng pagtataya ay ginawa batay sa Propeta, isang open source na produkto na binuo ng Facebook. Ito ay madaling gamitin at madaling isinasama sa aming naka-install na integrated monitoring tool at Vertica. Sa halos pagsasalita, sinusuri ng system ang load graph at ini-extrapolate ito batay sa serye ng Fourier. Posible ring magdagdag ng ilang mga coefficient sa araw, na kinuha mula sa aming modelo. Kinukuha ang mga sukatan nang walang interbensyon ng tao, awtomatikong muling kinakalkula ang hula isang beses sa isang linggo, at ipinapadala ang mga bagong ulat sa mga tatanggap.
Tinutukoy ng diskarteng ito ang mga pangunahing cyclicalities, halimbawa, taunang, buwanan, quarterly at lingguhan. Mga pagbabayad ng mga suweldo at advance, mga panahon ng bakasyon, pista opisyal at mga benta - lahat ng ito ay nakakaapekto sa bilang ng mga tawag sa mga system. Ito ay lumabas, halimbawa, na ang ilang mga pag-ikot ay magkakapatong sa isa't isa, at ang pangunahing pagkarga (75%) sa mga sistema ay nagmula sa Central Federal District. Iba ang pag-uugali ng mga legal na entity at indibidwal. Kung ang load mula sa "physicist" ay medyo pantay na ipinamamahagi sa mga araw ng linggo (ito ay maraming maliliit na transaksyon), kung gayon para sa mga kumpanya ay 99,9% ang ginugugol sa mga oras ng pagtatrabaho, at ang mga transaksyon ay maaaring maikli, o maaaring iproseso sa loob ng ilang minuto o kahit na oras.
Batay sa data na nakuha, ang mga pangmatagalang uso ay tinutukoy. Ang bagong sistema ay nagsiwalat na ang mga tao ay gumagalaw nang maramihan sa malalayong serbisyo sa pagbabangko. Alam ito ng lahat, ngunit hindi namin inaasahan ang gayong sukat at sa una ay hindi naniniwala dito: ang bilang ng mga tawag sa mga tanggapan ng bangko ay napakabilis na bumababa, at ang bilang ng mga malalayong transaksyon ay lumalaki nang eksakto sa parehong halaga. Alinsunod dito, ang pagkarga sa mga sistema ay lumalaki din at patuloy na lalago. Inaasahan namin ngayon ang pagkarga hanggang Pebrero 2020. Maaaring mahulaan ang mga normal na araw na may error na 3%, at ang mga peak na araw na may error na 10%. Ito ay isang magandang resulta.
Pitfalls
Gaya ng dati, hindi ito nahihirapan. Ang mekanismo ng extrapolation gamit ang Fourier series ay hindi tumatawid sa zero nang maayos - alam namin na ang mga legal na entity ay bumubuo ng ilang mga transaksyon sa katapusan ng linggo, ngunit ang module ng hula ay gumagawa ng mga halaga na malayo sa zero. Posibleng itama ang mga ito nang sapilitan, ngunit ang mga saklay ay hindi ang aming paraan. Bilang karagdagan, kinailangan naming lutasin ang problema ng walang sakit na pagkuha ng data mula sa mga source system. Ang regular na pagkolekta ng impormasyon ay nangangailangan ng seryosong mga mapagkukunan sa pag-compute, kaya gumawa kami ng mabilis na mga cache gamit ang replikasyon at tumanggap ng data ng negosyo mula sa mga replika. Ang kawalan ng karagdagang pagkarga sa mga master system sa ganitong mga kaso ay isang kinakailangan sa pagharang.
Mga bagong hamon
Ang tuwirang gawain ng paghula ng mga taluktok ay nalutas: walang mga pagkabigo na nauugnay sa labis na karga sa bangko mula noong Mayo ng taong ito, at ang bagong sistema ng pagtataya ay may mahalagang papel dito. Oo, ito ay naging hindi sapat, at ngayon ay nais ng bangko na maunawaan kung gaano mapanganib ang mga taluktok para dito. Kailangan namin ng mga hula gamit ang mga sukatan mula sa pagsubok ng pag-load, at para sa humigit-kumulang 30% ng mga kritikal na sistema ay gumagana na ito, ang iba ay nasa proseso ng pagkuha ng mga hula. Sa susunod na yugto, mahulaan natin ang pag-load sa mga system hindi sa mga transaksyon sa negosyo, ngunit sa mga tuntunin ng imprastraktura ng IT, ibig sabihin, bababa tayo ng isang layer. Bilang karagdagan, kailangan nating ganap na i-automate ang koleksyon ng mga sukatan at ang pagbuo ng mga pagtataya batay sa mga ito, upang hindi makitungo sa mga pag-download. Walang magarbong tungkol dito - tinatawid lang namin ang pagsubaybay at pag-load ng pagsubok alinsunod sa mga pandaigdigang pinakamahusay na kagawian.
Pinagmulan: www.habr.com