IT-oddelek VTB se je moral večkrat soočiti z izrednimi razmerami pri delovanju sistemov, ko se je obremenitev na njih večkrat povečala. Zato se je pojavila potreba po razvoju in testiranju modela, ki bi predvideval konične obremenitve kritičnih sistemov. Da bi to naredili, so IT strokovnjaki banke vzpostavili spremljanje, analizirali podatke in se naučili avtomatizirati napovedi. Katera orodja so pomagala predvideti obremenitev in ali so pomagala optimizirati delo, vam bomo povedali v kratkem članku.
Težave z visoko obremenjenimi storitvami se pojavljajo v skoraj vseh panogah, za finančni sektor pa so kritične. Ob uri X morajo biti vse bojne enote pripravljene, zato je bilo treba vnaprej vedeti, kaj se lahko zgodi, in celo določiti dan, kdaj bo obremenitev poskočila in kateri sistemi bodo nanjo naleteli. Napake je treba obravnavati in jih preprečevati, zato o potrebi po uvedbi sistema prediktivne analitike sploh ni bilo govora. Treba je bilo posodobiti sisteme, ki temeljijo na podatkih monitoringa.
Analitika na kolenih
Projekt obračuna plač je eden najbolj občutljivih v primeru neuspeha. Je najbolj razumljiv za napovedovanje, zato smo se odločili, da začnemo z njim. Zaradi visoke povezljivosti bi lahko drugi podsistemi, vključno s storitvami oddaljenega bančništva (RBS), imeli težave ob največjih obremenitvah. Na primer, stranke, ki so bile navdušene nad SMS-om o prejemu denarja, so ga začele aktivno uporabljati. Obremenitev bi lahko skočila za več kot red velikosti.
Prvi napovedni model je bil izdelan ročno. Vzeli smo nalaganja za zadnje leto in izračunali, na katere dneve pričakujemo največje konice: na primer 1., 15. in 25., pa tudi zadnje dni v mesecu. Ta model je zahteval znatne stroške dela in ni zagotovil natančne napovedi. Kljub temu je identificiral ozka grla, kjer je bilo treba dodati strojno opremo, in omogočil optimizacijo procesa prenosa denarja z dogovorom s sidrnimi strankami: da ne bi dajali plač naenkrat, so bile transakcije iz različnih regij časovno razporejene. Zdaj jih obdelujemo v delih, ki jih IT-infrastruktura banke lahko brez napak »prežveči«.
Po prvem pozitivnem rezultatu smo prešli na avtomatizacijo napovedovanja, na vrsto je čakalo še ducat kritičnih področij.
Celovit pristop
VTB je implementiral nadzorni sistem podjetja MicroFocus. Od tam smo vzeli zbiranje podatkov za napovedovanje, sistem za shranjevanje in sistem za poročanje. Pravzaprav je bilo spremljanje že vzpostavljeno, ostalo je le še dodajanje metrik, modul za napovedovanje in ustvarjanje novih poročil. To odločitev podpira zunanji izvajalec Technoserv, zato je glavno delo pri izvedbi projekta padlo na njegove strokovnjake, vendar smo model zgradili sami. Sistem napovedovanja je narejen na osnovi Propheta, odprtokodnega produkta, ki ga je razvil Facebook. Je enostaven za uporabo in se enostavno integrira z našimi nameščenimi integriranimi orodji za spremljanje in Vertico. Grobo rečeno, sistem analizira graf obremenitve in ga ekstrapolira na podlagi Fourierjevih vrst. Možno je dodati tudi določene koeficiente po dnevih, vzete iz našega modela. Meritve se zbirajo brez človeškega posredovanja, napoved se samodejno preračuna enkrat tedensko, nova poročila pa se pošljejo prejemnikom.
Ta pristop identificira glavne cikličnosti, na primer letne, mesečne, četrtletne in tedenske. Izplačila plač in akontacije, dopusti, počitnice in razprodaje - vse to vpliva na število klicev v sisteme. Izkazalo se je na primer, da se nekateri cikli med seboj prekrivajo, glavna obremenitev (75 %) sistemov pa prihaja iz osrednjega zveznega okrožja. Pravne in fizične osebe se obnašajo različno. Če je obremenitev "fizikov" razmeroma enakomerno porazdeljena po dnevih v tednu (to je veliko majhnih transakcij), potem se za podjetja 99,9% porabi za delovni čas, transakcije pa so lahko kratke ali se lahko obdelajo v več minut ali celo ur.
Na podlagi pridobljenih podatkov se določijo dolgoročni trendi. Nov sistem je razkril, da ljudje množično prehajajo na bančne storitve na daljavo. To vemo vsi, vendar takšnega obsega nismo pričakovali in sprva nismo verjeli vanj: število klicev v bančne poslovalnice izjemno hitro upada, prav toliko pa raste število transakcij na daljavo. Temu primerno narašča in bo še naraščala tudi obremenitev sistemov. Zdaj napovedujemo obremenitev do februarja 2020. Običajne dneve je mogoče predvideti s 3-odstotno napako, konice pa z 10-odstotno napako. To je dober rezultat.
Pasti
Kot ponavadi tudi to ni šlo brez težav. Ekstrapolacijski mehanizem, ki uporablja Fourierjev niz, ne prečka ničle dobro - vemo, da pravne osebe ustvarijo malo transakcij ob vikendih, vendar modul za napovedovanje ustvari vrednosti, ki so daleč od nič. Možno jih je bilo popraviti na silo, vendar bergle niso naša metoda. Poleg tega smo morali rešiti problem nebolečega pridobivanja podatkov iz izvornih sistemov. Redno zbiranje informacij zahteva resne računalniške vire, zato smo zgradili hitre predpomnilnike z uporabo replikacije in sprejemamo poslovne podatke iz replik. Odsotnost dodatne obremenitve nadrejenih sistemov je v takih primerih zahteva za blokiranje.
Novi izzivi
Preprosta naloga napovedovanja konic je bila rešena: od maja letos v banki ni bilo preobremenitvenih okvar, pri čemer je pomembno vlogo odigral nov sistem napovedovanja. Da, izkazalo se je, da ni dovolj, in zdaj želi banka razumeti, kako nevarni so vrhovi zanjo. Potrebujemo napovedi z uporabo meritev iz testiranja obremenitve in za približno 30 % kritičnih sistemov to že deluje, ostali so v procesu pridobivanja napovedi. V naslednji fazi bomo napovedali obremenitev sistemov ne v poslovnih transakcijah, ampak v smislu IT infrastrukture, torej se bomo spustili eno plast nižje. Poleg tega moramo popolnoma avtomatizirati zbiranje metrik in izdelavo napovedi na njihovi podlagi, da se ne bi ukvarjali s prenosi. Nič posebnega v tem – le križamo spremljanje in testiranje obremenitve v skladu z najboljšimi svetovnimi praksami.
Vir: www.habr.com