VTB IT-osakond on korduvalt pidanud silmitsi seisma erakorraliste olukordadega süsteemide töös, mil koormus neile on korduvalt suurenenud. Seetõttu ilmus vajadus välja töötada ja testida mudelit, mis ennustaks tipukoormust kriitilistele süsteemidele. Selleks seadistasid panga IT-spetsialistid jälgimise, analüüsisid andmeid ja õppisid ennustusi automatiseerima. Millised tööriistad aitasid koormust ennustada ja kas nende abil õnnestus töö optimeerida, selgitame lühikeses artiklis.
Probleemid kõrgkoormuse teenustega tekivad praktiliselt kõikides valdkondades, kuid finantssektoris on need kriitilise tähtsusega. X tunnil peavad kõik operatiivsed üksused olema valmis, seega oli oluline eelnevalt teada, mis võib juhtuda, ning isegi määrata päev, mil koormus tõuseb ja millised süsteemid sellega silmitsi seisavad. Rikkete vastu tuleb võidelda ja neid ennetada, seetõttu ei arutatud isegi ennustava analüüsi süsteemi rakendamise vajadust. Tuli moderniseerida süsteeme jälgimisandmete põhjal.
Analüüs improviseerituna
Palgaaprojekt on üks tundlikumaid süsteeme võimalike tõrgete korral. Samas on see ennustamiseks kõige arusaadavam, seetõttu otsustasime alustada just sellest. Suure seotuse tõttu kriitilistes koormushetkedes võisid probleemid ilmneda ka teistes all süsteemides, sealhulgas kaugpanganduses. Näiteks, kliendid, kes said SMS-e raha laekumise kohta, hakkasid neid aktiivselt kasutama. Koormus võis sel ajal tõusta üle kümne korra.
Esimese prognoosimudeli lõime käsitsi. Võtsime viimase aasta andmed ja arvutasime, millistel päevadel oodatakse maksimaalseid koormusi: näiteks 1., 15. ja 25. kuupäevadel ning kuu viimasel päeval. See mudel nõudis tõsiseid tööjõukulusid ja ei andnud täpset prognoosi. Sellegipoolest aitas see tuvastada kitsaskohti, kuhu oli vaja rohkem „rauda” lisada, ja võimaldas optimeerida rahaülekande protsessi, leppides kokku suuremate klientidega: et mitte maksta palka korraga, jagasime tehingud erinevatelt aladelt ajaliselt laiali. Nüüd töötleme neid osade kaupa, mille pangainfotehnoloogia suudab tõrgeteta „seedida“.
Saades esimese positiivse tulemuse, läksime prognoosimise automatiseerimise juurde. Ootas veel kümme kriitilist ala.
Kohandatud lähenemine
VTB-s on rakendatud MicroFocus'i jälgimissüsteem. Sealt saime andmete kogumise prognoosimiseks, salvestussüsteemi ja aruandluse süsteemi. Sisuliselt oli jälgimine juba olemas, tuli vaid lisada mõõdikud, ennustamismoodul ja koostada uued aruanded. Selle lahenduse toetab väline alltöövõtja "TehnoServ", seetõttu lasus projekti elluviimise peamine koormus tema spetsialistidel, kuid mudeli ehitasime ise. Prognoosisüsteem loodi Propheti põhjal — see avatud toode on välja töötatud Facebookis. See on lihtne kasutada ja integreerub kergesti erinevate meie kompleksse jälgimise vahendite ja Vertica süsteemidega. Üldiselt analüüsib süsteem koormusgraafikut ja teeb selle prognoosi Fourier'i ridades põhinedes. Samuti on võimalik lisada teatud koefitsiente päevade kaupa, mis on saadud meie mudelist. Mõõdikud võetakse automaatselt, ilma inimsuhete sekkumiseta, kord nädalas prognoos arvestatakse automaatselt ümber ja uued aruanded saadetakse adressaatidele.
Selle lähenemisviisi abil tuvastatakse peamised tsüklid, näiteks aastased, kuised, kvartaalset ja nädalased. Palgamaksmine ja ettemaksed, puhkuseperioodid, püha- ja allahindlused — kõik need mõjutavad süsteemide koormuse hulka. On selgunud, et mõned tsüklid kattuvad, samas kui peamine koormus (75%) süsteemidele tuleb Keskföderaalringkonnast. Juriidiliste ja füüsiliste isikute käitumine on erinev. Kui füüsiliste isikute koormus jaotub nädalapäevadele suhteliselt ühtlaselt (palju väikseid tehinguid), siis ettevõtete puhul langeb 99,9% koormusest tööajale, kusjuures tehingud võivad olla lühikesed või kestvad mitu minutit või isegi tunde.
Saadud andmete põhjal määratakse pikaajalised trendid. Uus süsteem on näidanud, et inimesed jätavad massiliselt DBO (digitaalse panganduse) kasutamise. See on kõigile teada, kuid sellist mastaapi me ei oodanud ning alguses ei uskunud me sellele: pankade kontorisse pöördumiste arv kahaneb äärmiselt kiiresti ning samas kasvab kaugtehingute arv sama palju. Vastavalt sellele suureneb ka süsteemide koormus ja jätkab suurenemist. Praegu prognoosime koormust veebruarini 2020. Normaalsete päevade puhul suudame prognoosida 3% täpsusega, tipphetkede puhul aga 10% täpsusega. See on hea tulemus.
Peidetud probleemid
Ilma raskusteta ei ole siiski mööda pääsenud. Fourier' ridades põhinev ekstrapoleerimise mehhanism ei ületa nulli - me teame, et nädalavahetustel genereerivad juriidilised isikud vähe tehinguid, kuid prognoosimoodul annab kaugel nullist väärtusi. Neid oleks saanud sundida parandama, kuid tugistruktuurid ei ole meie meetod. Lisaks tuli lahendada probleem andmete valutuks hankimiseks allika-süsteemidest. Regulaarne teabe kogumine nõuab tõsiseid arvutusressursse, seega oleme ehitanud kiireid vahemälu süsteeme replikatsiooni abil, saades äriandmeid juba replikatelt. Täiendavate koormuste puudumine põhisüsteemide puhul sellistel juhtudel on takistav nõue.
Uued väljakutsed
Esitatud ülesanne tipptaseme ennustamiseks on lahendatud: alates selle aasta maist ei ole pankades olnud seotud ülekoormuse tõrkeid, ning uus ennustamissüsteem on selle juures tähtsat rolli mänginud. Jah, seda osutus siiski väheks, ja nüüd soovib pank mõista, kui ohtlikud on need tipud. Vajame prognoose koormustestimise mõõdikutega, ja umbes 30% kriitilistest süsteemidest juba töötab, ülejäänud on prognooside saamise protsessis. Järgmises etapis kavatseme prognoosida süsteemide koormust mitte äritehingutes, vaid IT-infrastruktuuri mõistes, st läheme korraks madalamale tasemele. Lisaks peame täielikult automatiseerima mõõtmete kogumise ja nende põhjal prognooside koostamise, et mitte tegeleda andmete laadimisega. Siin pole midagi silmapaistvat — lihtsalt ristame jälgimise ja koormustestimise parimate maailmapraktikate kohaselt.
Allikas: habr.com
