VTB IT nodaļai vairÄkkÄrt nÄcies saskarties ar avÄrijas situÄcijÄm sistÄmu darbÄ«bÄ, kad slodze uz tÄm pieauga daudzkÄrt. TÄpÄc bija nepiecieÅ”ams izstrÄdÄt un pÄrbaudÄ«t modeli, kas prognozÄtu kritisko sistÄmu maksimÄlo slodzi. Lai to paveiktu, bankas IT speciÄlisti izveidoja monitoringu, analizÄja datus un mÄcÄ«jÄs automatizÄt prognozes. ÄŖsÄ rakstÄ pastÄstÄ«sim, kuri rÄ«ki palÄ«dzÄja prognozÄt slodzi un vai tie palÄ«dzÄja optimizÄt darbu.
ProblÄmas ar augstas slodzes pakalpojumiem rodas gandrÄ«z visÄs nozarÄs, taÄu finanÅ”u sektoram tÄs ir kritiskas. X stundÄ visÄm kaujas vienÄ«bÄm jÄbÅ«t gatavÄm, un tÄpÄc bija iepriekÅ” jÄzina, kas var notikt, un pat jÄnosaka diena, kad slodze lÄks un kuras sistÄmas ar to saskarsies. Neveiksmes ir jÄrisina un jÄnovÄrÅ”, tÄpÄc nepiecieÅ”amÄ«ba ieviest paredzamo analÄ«tikas sistÄmu pat netika apspriesta. Bija nepiecieÅ”ams modernizÄt sistÄmas, pamatojoties uz monitoringa datiem.
Analīze uz ceļiem
Algu projekts ir viens no jutÄ«gÄkajiem neveiksmes gadÄ«jumÄ. Tas ir visprotamÄkais prognozÄÅ”anai, tÄpÄc nolÄmÄm sÄkt ar to. Augstas savienojamÄ«bas dÄļ citÄm apakÅ”sistÄmÄm, tostarp attÄlinÄtajiem banku pakalpojumiem (RBS), var rasties problÄmas maksimÄlÄs slodzes laikÄ. PiemÄram, klienti, kuri bija sajÅ«smÄ par SMS par naudas saÅemÅ”anu, sÄka to aktÄ«vi izmantot. Slodze varÄtu uzlÄkt vairÄk nekÄ par vienu pakÄpi.
Pirmais prognožu modelis tika izveidots manuÄli. MÄs ÅÄmÄm augÅ”upielÄdes par pÄdÄjo gadu un aprÄÄ·inÄjÄm, kurÄs dienÄs ir gaidÄms maksimÄlais maksimums: piemÄram, 1., 15. un 25., kÄ arÄ« mÄneÅ”a pÄdÄjÄs dienÄs. Å is modelis prasÄ«ja ievÄrojamas darbaspÄka izmaksas un nesniedza precÄ«zu prognozi. TomÄr tas atklÄja vÄjÄs vietas, kur bija nepiecieÅ”ams pievienot aparatÅ«ru, un ļÄva optimizÄt naudas pÄrskaitÄ«Å”anas procesu, vienojoties ar enkura klientiem: lai algas neiedotu vienÄ rÄvienÄ, darÄ«jumi no dažÄdiem reÄ£ioniem tika sadalÄ«ti laika gaitÄ. Tagad mÄs tos apstrÄdÄjam pa daļÄm, kuras bankas IT infrastruktÅ«ra var ākoŔļÄtā bez kļūmÄm.
SaÅemot pirmo pozitÄ«vo rezultÄtu, pÄrgÄjÄm uz prognozÄÅ”anas automatizÄciju, savu kÄrtu gaidÄ«ja vÄl ducis kritisko jomu.
IntegrÄta pieeja
VTB ir ieviesusi MicroFocus uzraudzÄ«bas sistÄmu. No turienes mÄs izmantojÄm datu apkopoÅ”anu prognozÄÅ”anai, uzglabÄÅ”anas sistÄmu un ziÅoÅ”anas sistÄmu. Faktiski uzraudzÄ«ba jau bija, atlika tikai pievienot metriku, prognožu moduli un izveidot jaunas atskaites. Å o lÄmumu atbalsta ÄrÄjais darbuzÅÄmÄjs Technoserv, tÄpÄc galvenais darbs pie projekta realizÄcijas gulÄja uz tÄ speciÄlistiem, bet modeli uzbÅ«vÄjÄm paÅ”i. PrognozÄÅ”anas sistÄma tika izveidota, pamatojoties uz Prophet, atvÄrtÄ pirmkoda produktu, ko izstrÄdÄjis Facebook. Tas ir viegli lietojams un viegli integrÄjams ar mÅ«su instalÄtajiem integrÄtajiem uzraudzÄ«bas rÄ«kiem un Vertica. Aptuveni runÄjot, sistÄma analizÄ slodzes grafiku un ekstrapolÄ to, pamatojoties uz FurjÄ sÄrijÄm. Ir iespÄjams arÄ« pievienot noteiktus koeficientus pÄc dienas, kas Åemti no mÅ«su modeļa. RÄdÄ«tÄji tiek Åemti bez cilvÄka iejaukÅ”anÄs, prognoze tiek automÄtiski pÄrrÄÄ·inÄta reizi nedÄļÄ, un adresÄtiem tiek nosÅ«tÄ«tas jaunas atskaites.
Å Ä« pieeja identificÄ galvenos cikliskumus, piemÄram, gada, mÄneÅ”a, ceturkÅ”Åa un nedÄļas. Algu un avansu maksÄjumi, atvaļinÄjumu periodi, brÄ«vdienas un izpÄrdoÅ”anas - tas viss ietekmÄ zvanu skaitu uz sistÄmÄm. PiemÄram, izrÄdÄ«jÄs, ka daži cikli pÄrklÄjas viens ar otru, un galvenÄ slodze (75%) sistÄmÄm nÄk no CentrÄlÄ federÄlÄ apgabala. Juridiskas un fiziskas personas uzvedas atŔķirÄ«gi. Ja slodze no āfiziÄ·iemā ir samÄrÄ vienmÄrÄ«gi sadalÄ«ta pa nedÄļas dienÄm (tas ir daudz sÄ«ku darÄ«jumu), tad uzÅÄmumiem 99,9% tiek tÄrÄti darba laikam, un darÄ«jumi var bÅ«t Ä«si vai noformÄjami vairÄku minÅ«tes vai pat stundas.
Pamatojoties uz iegÅ«tajiem datiem, tiek noteiktas ilgtermiÅa tendences. JaunÄ sistÄma atklÄjusi, ka cilvÄki masveidÄ pÄriet uz attÄlinÄtiem banku pakalpojumiem. To zina visi, taÄu mÄs negaidÄ«jÄm tÄdus mÄrogus un sÄkumÄ tam neticÄjÄm: zvanu skaits uz banku birojiem sarÅ«k ÄrkÄrtÄ«gi strauji, un tieÅ”i tikpat daudz pieaug attÄlinÄto darÄ«jumu skaits. AttiecÄ«gi arÄ« slodze uz sistÄmÄm pieaug un turpinÄs pieaugt. Å obrÄ«d mÄs prognozÄjam slodzi lÄ«dz 2020. gada februÄrim. ParastÄs dienas var paredzÄt ar kļūdu 3%, bet maksimÄlÄs dienas ar kļūdu 10%. Tas ir labs rezultÄts.
Slazdiem
KÄ parasti, tas nebija bez grÅ«tÄ«bÄm. EkstrapolÄcijas mehÄnisms, izmantojot FurjÄ sÄriju, slikti ŔķÄrso nulli - mÄs zinÄm, ka juridiskÄs personas nedÄļas nogalÄs Ä£enerÄ maz darÄ«jumu, bet prognozÄÅ”anas modulis rada vÄrtÄ«bas, kas ir tÄlu no nulles. VarÄja tos labot piespiedu kÄrtÄ, bet kruÄ·i nav mÅ«su metode. TurklÄt mums bija jÄatrisina problÄma ar nesÄpÄ«gu datu izgÅ«Å”anu no avota sistÄmÄm. RegulÄrai informÄcijas apkopoÅ”anai ir nepiecieÅ”ami nopietni skaitļoÅ”anas resursi, tÄpÄc mÄs izveidojÄm Ätru keÅ”atmiÅu, izmantojot replikÄciju, un saÅemam biznesa datus no replikÄm. Papildu slodzes trÅ«kums galvenajÄm sistÄmÄm Å”Ädos gadÄ«jumos ir bloÄ·ÄÅ”anas prasÄ«ba.
Jauni izaicinÄjumi
VienkÄrÅ”ais pÄ«Ä·u prognozÄÅ”anas uzdevums tika atrisinÄts: kopÅ” Ŕī gada maija bankÄ nav bijuÅ”as nekÄdas ar pÄrslodzi saistÄ«tas kļūmes, un tajÄ liela nozÄ«me bija jaunajai prognozÄÅ”anas sistÄmai. JÄ, izrÄdÄ«jÄs par maz, un tagad banka vÄlas saprast, cik bÄ«stamas tai ir virsotnes. Mums ir vajadzÄ«gas prognozes, izmantojot slodzes testÄÅ”anas metrikas, un aptuveni 30% kritisko sistÄmu tas jau darbojas, pÄrÄjÄs tiek iegÅ«tas prognozes. NÄkamajÄ posmÄ mÄs prognozÄsim sistÄmu noslodzi nevis biznesa darÄ«jumos, bet gan IT infrastruktÅ«ras ziÅÄ, t.i., nokÄpsim vienu slÄni uz leju. TurklÄt mums ir pilnÄ«bÄ jÄautomatizÄ metrikas vÄkÅ”ana un prognožu veidoÅ”ana, pamatojoties uz tiem, lai netiktu galÄ ar lejupielÄdi. TajÄ nav nekÄ brÄ«niŔķīga ā mÄs tikai ŔķÄrsojam uzraudzÄ«bu un slodzes testÄÅ”anu saskaÅÄ ar pasaules labÄko praksi.
Avots: www.habr.com