Upplýsingatæknideild VTB þurfti nokkrum sinnum að takast á við neyðartilvik í rekstri kerfa, þegar álagið á þau jókst margfalt. Þess vegna var þörf á að þróa og prófa líkan sem myndi spá fyrir um hámarksálag á mikilvæg kerfi. Til þess settu upplýsingatæknisérfræðingar bankans upp vöktun, greindu gögn og lærðu að gera spár sjálfvirkar. Við munum segja þér í stuttri grein hvaða verkfæri hjálpuðu til við að spá fyrir um álagið og hvort þau hjálpuðu til við að hámarka vinnuna.
Vandamál með mikla þjónustu koma upp í nánast öllum atvinnugreinum, en fyrir fjármálageirann eru þau mikilvæg. Á klukkutíma X verða allar bardagaeiningar að vera tilbúnar og því var nauðsynlegt að vita fyrirfram hvað gæti gerst og jafnvel ákveða hvaða dag álagið myndi hoppa og hvaða kerfi lenda í því. Það þarf að bregðast við og koma í veg fyrir bilanir, þannig að þörfin á að innleiða forspárgreiningarkerfi var ekki einu sinni rædd. Nauðsynlegt var að nútímavæða kerfi byggð á vöktunargögnum.
Greining á hnjánum
Launaverkefnið er eitt það viðkvæmasta ef bilun verður. Það er skiljanlegast fyrir spá, svo við ákváðum að byrja á því. Vegna mikillar tengingar gætu önnur undirkerfi, þar á meðal fjarbankaþjónusta (RBS), lent í vandræðum á tímum hámarksálags. Til dæmis, viðskiptavinir sem voru ánægðir með SMS um móttöku peninga byrjuðu að nota það virkan. Álagið gæti hoppað um meira en stærðargráðu.
Fyrsta spálíkanið var búið til handvirkt. Við tókum upphleðslurnar fyrir síðasta ár og reiknuðum út hvaða daga er gert ráð fyrir hámarkstoppum: til dæmis 1., 15. og 25., sem og á síðustu dögum mánaðarins. Þetta líkan krafðist verulegs launakostnaðar og gaf ekki nákvæma spá. Engu að síður benti það á flöskuhálsa þar sem nauðsynlegt var að bæta við vélbúnaði og gerði það mögulegt að hámarka ferlið við að millifæra peninga með því að semja við akkerisviðskiptavini: Til að gefa ekki laun í einum teyg var færslum frá mismunandi svæðum dreift með tímanum. Nú vinnum við úr þeim í hlutum sem upplýsingatækniinnviðir bankans geta „tyggað“ án bilunar.
Eftir að hafa fengið fyrstu jákvæðu niðurstöðuna fórum við yfir í að gera spár sjálfvirkar. Tugir mikilvægra svæða til viðbótar biðu eftir að röðin kom að þeim.
Samþætt nálgun
VTB hefur innleitt eftirlitskerfi frá MicroFocus. Þaðan tókum við gagnasöfnun fyrir spá, geymslukerfi og skýrslukerfi. Reyndar var vöktun þegar til staðar, allt sem var eftir var að bæta við mælingum, spáeiningu og búa til nýjar skýrslur. Þessi ákvörðun er studd af utanaðkomandi verktakafyrirtækinu Technoserv, þannig að aðalvinnan við útfærslu verkefnisins féll á sérfræðingum þess, en við smíðuðum líkanið sjálfir. Spákerfið var byggt á Prophet, opnum hugbúnaði sem Facebook hefur þróað. Það er auðvelt í notkun og samþættist auðveldlega við uppsett samþætt eftirlitstæki okkar og Vertica. Í grófum dráttum greinir kerfið álagsgrafið og framreiknar það út frá Fourier röð. Það er líka hægt að bæta við ákveðnum stuðlum eftir degi, teknir úr líkaninu okkar. Mælingar eru teknar án mannlegrar íhlutunar, spáin er sjálfvirkt endurreiknuð einu sinni í viku og nýjar skýrslur sendar til viðtakenda.
Þessi nálgun skilgreinir helstu sveiflur, til dæmis árlega, mánaðarlega, ársfjórðungslega og vikulega. Greiðslur launa og fyrirframgreiðslna, orlofstímar, frídagar og útsölur - allt hefur þetta áhrif á fjölda símtala í kerfin. Það kom til dæmis í ljós að sumar lotur skarast hvor aðra og aðalálagið (75%) á kerfin kemur frá Central Federal District. Lögaðilar og einstaklingar haga sér öðruvísi. Ef álag frá „eðlisfræðingum“ er tiltölulega jafnt dreift yfir daga vikunnar (þetta er mikið af litlum færslum), þá fer 99,9% í vinnutíma hjá fyrirtækjum og færslur geta verið stuttar eða geta verið afgreiddar á nokkrum mínútur eða jafnvel klukkustundir.
Byggt á þeim gögnum sem aflað er er langtímaþróun ákvörðuð. Nýja kerfið hefur leitt í ljós að fólk er að flytja í stórum stíl yfir í fjarbankaþjónustu. Þetta vita allir, en við bjuggumst ekki við slíkum mælikvarða og trúðum því ekki í fyrstu: símtölum í bankaskrifstofur fækkar mjög hratt og fjarfærslum fjölgar um nákvæmlega sama magn. Samkvæmt því eykst álagið á kerfin einnig og mun halda áfram að vaxa. Við spáum nú álaginu fram í febrúar 2020. Hægt er að spá fyrir um venjulega daga með skekkju upp á 3% og álagsdaga með 10% skekkju. Þetta er góður árangur.
Gildra
Eins og venjulega var þetta ekki vandræðalaust. Framreikningskerfið sem notar Fourier röð fer ekki vel yfir núllið - við vitum að lögaðilar búa til fá viðskipti um helgar, en spáeiningin framleiðir gildi sem eru langt frá því að vera núll. Það var hægt að leiðrétta þær með valdi, en hækjur eru ekki okkar aðferð. Þar að auki þurftum við að leysa vandamálið við að sækja gögn úr upprunakerfum sársaukalaust. Regluleg söfnun upplýsinga krefst alvarlegra tölvuauðlinda, svo við smíðuðum hröð skyndiminni með afritun og tökum á móti viðskiptagögnum frá eftirlíkingum. Skortur á aukaálagi á aðalkerfin í slíkum tilvikum er blokkunarkrafa.
Nýjar áskoranir
Það einfalda verkefni að spá fyrir um toppa var leyst: Engar ofhleðslutengdar bilanir hafa verið í bankanum síðan í maí á þessu ári og þar gegndi nýja spákerfið mikilvægu hlutverki. Já, það reyndist ekki nóg og nú vill bankinn skilja hversu hættulegir tindarnir eru honum. Við þurfum spár með því að nota mælikvarða frá álagsprófun og fyrir um 30% mikilvægra kerfa er þetta nú þegar að virka, restin er í ferli við að fá spár. Á næsta stigi ætlum við að spá fyrir um álag á kerfi ekki í viðskiptaviðskiptum, heldur hvað varðar upplýsingatækniinnviði, þ.e. við munum fara niður um eitt lag. Þar að auki þurfum við að fullgera sjálfvirkan söfnun mæligilda og smíði spár út frá þeim, til að takast ekki á við niðurhal. Það er ekkert sérstakt við það - við erum bara að fara yfir vöktun og álagsprófanir í samræmi við alþjóðlegar bestu starfsvenjur.
Heimild: www.habr.com