La IT-fako de VTB plurfoje devis trakti krizajn situaciojn en funkciado de sistemoj, kiam la ŝarĝo sur ili multfoje pliiĝis. Tial, ekzistis bezono evoluigi kaj testi modelon kiu antaŭdirus pintŝarĝon sur kritikaj sistemoj. Por fari tion, la IT-specialistoj de la banko starigis monitoradon, analizis datumojn kaj lernis aŭtomatigi prognozojn. Ni diros al vi en mallonga artikolo, kiuj iloj helpis antaŭdiri la ŝarĝon kaj ĉu ili helpis optimumigi la laboron.
Problemoj kun altŝarĝaj servoj aperas en preskaŭ ĉiuj industrioj, sed por la financa sektoro ili estas kritikaj. Je la X-a horo, ĉiuj batalunuoj devas esti pretaj, kaj tial estis necese scii anticipe, kio povus okazi kaj eĉ determini la tagon, kiam la ŝarĝo saltos kaj kiuj sistemoj renkontos ĝin. Fiaskoj devas esti traktitaj kaj malhelpitaj, do la bezono efektivigi prognozan analizan sistemon eĉ ne estis diskutita. Necesis modernigi sistemojn bazitajn sur monitoraj datumoj.
Analytics sur viaj genuoj
La salajroprojekto estas unu el la plej sentemaj en kazo de fiasko. Ĝi estas la plej komprenebla por prognozo, do ni decidis komenci per ĝi. Pro alta konektebleco, aliaj subsistemoj, inkluzive de malproksimaj bankservoj (RBS), povus sperti problemojn en tempoj de pintŝarĝoj. Ekzemple, klientoj, kiuj ĝojis pri la SMS pri la ricevo de mono, komencis aktive uzi ĝin. La ŝarĝo povus salti je pli ol grandordo.
La unua prognoza modelo estis kreita permane. Ni prenis la alŝutojn por la lasta jaro kaj kalkulis en kiuj tagoj la maksimumaj pintoj estas atendataj: ekzemple, la 1-a, 15-a kaj 25-a, same kiel en la lastaj tagoj de la monato. Ĉi tiu modelo postulis signifajn laborkostojn kaj ne disponigis precizan prognozon. Tamen, ĝi identigis botelojn kie necesis aldoni aparataron, kaj ebligis optimumigi la procezon de transdono de mono interkonsentante kun ankraj klientoj: por ne doni salajrojn en unu gluto, transakcioj de malsamaj regionoj estis interspacigitaj laŭlonge de la tempo. Nun ni prilaboras ilin en partoj, kiujn la IT-infrastrukturo de la banko povas "maĉi" sen fiasko.
Ricevinte la unuan pozitivan rezulton, ni pasis al aŭtomatigo de prognozo.Deko da pliaj kritikaj areoj atendis sian vicon.
Prilaborado integrita
VTB efektivigis monitoradsistemon de MicroFocus. De tie ni prenis datumkolekton por prognozo, stoksistemon kaj raportsistemon. Fakte, monitorado jam estis en loko, restis nur aldoni metrikojn, antaŭdiran modulon kaj krei novajn raportojn. Ĉi tiu decido estas subtenata de la ekstera kontraktisto Technoserv, do la ĉefa laboro pri efektivigo de la projekto falis sur ĝiaj specialistoj, sed ni mem konstruis la modelon. La prognoza sistemo estis farita surbaze de Prophet, malfermfonteca produkto evoluigita fare de Facebook. Ĝi estas facile uzebla kaj facile integriĝas kun niaj instalitaj integraj monitoraj iloj kaj Vertica. Malglate parolante, la sistemo analizas la ŝarĝan grafeon kaj eksterpolas ĝin surbaze de Fourier-serioj. Eblas ankaŭ aldoni certajn koeficientojn tage, prenitajn de nia modelo. Metrikoj estas prenitaj sen homa interveno, la prognozo estas aŭtomate rekalkulita unufoje semajne, kaj novaj raportoj estas senditaj al ricevantoj.
Ĉi tiu aliro identigas la ĉefajn ciklecojn, ekzemple, ĉiujarajn, monatajn, trimonatajn kaj semajnajn. Pagoj de salajroj kaj antaŭpagoj, feriaj periodoj, ferioj kaj vendoj - ĉio ĉi influas la nombron da vokoj al la sistemoj. Rezultis, ekzemple, ke iuj cikloj interkovras unu la alian, kaj la ĉefa ŝarĝo (75%) sur la sistemoj venas de la Centra Federacia Distrikto. Laŭleĝaj entoj kaj individuoj kondutas malsame. Se la ŝarĝo de "fizikistoj" estas relative egale distribuita dum la semajnotagoj (tio estas multaj malgrandaj transakcioj), tiam por kompanioj 99,9% estas elspezitaj por laborhoroj, kaj transakcioj povas esti mallongaj, aŭ povas esti procesitaj ene de pluraj. minutoj aŭ eĉ horoj.
Surbaze de la datumoj akiritaj, longtempaj tendencoj estas determinitaj. La nova sistemo malkaŝis, ke homoj amase moviĝas al foraj bankaj servoj. Ĉiuj scias ĉi tion, sed ni ne atendis tian skalon kaj komence ne kredis je ĝi: la nombro da vokoj al bankaj oficejoj malkreskas ege rapide, kaj la nombro da foraj transakcioj kreskas ĝuste en la sama kvanto. Sekve, la ŝarĝo sur la sistemoj ankaŭ kreskas kaj daŭre kreskos. Ni nun antaŭvidas la ŝarĝon ĝis februaro 2020. Normalaj tagoj povas esti antaŭviditaj kun eraro de 3%, kaj pintaj tagoj kun eraro de 10%. Ĉi tio estas bona rezulto.
enfaliloj
Kiel kutime, ĉi tio ne estis sen malfacilaĵoj. La eksterpola mekanismo uzanta Fourier-seriojn ne bone transiras nulon - ni scias, ke juraj entoj generas malmultajn transakciojn semajnfine, sed la antaŭdira modulo produktas valorojn malproksime de nulo. Eblis korekti ilin perforte, sed lambastonoj ne estas nia metodo. Krome, ni devis solvi la problemon de sendolore retrovi datumojn de fontsistemoj. Regula kolekto de informoj postulas seriozajn komputilajn rimedojn, do ni konstruis rapidajn kaŝmemorojn uzante reproduktadon kaj ricevas komercajn datumojn de kopioj. La foresto de plia ŝarĝo sur la majstraj sistemoj en tiaj kazoj estas bloka postulo.
Novaj defioj
La simpla tasko antaŭdiri pintojn estis solvita: ne okazis troŝarĝaj fiaskoj en la banko ekde majo ĉi-jare, kaj la nova prognoza sistemo ludis gravan rolon en tio. Jes, ĝi montriĝis ne sufiĉa, kaj nun la banko volas kompreni kiom danĝeraj estas la pintoj por ĝi. Ni bezonas antaŭdirojn uzante metrikojn de ŝarĝotestado, kaj por ĉirkaŭ 30% de kritikaj sistemoj ĉi tio jam funkcias, la ceteraj estas en la procezo akiri antaŭdirojn. En la sekva etapo, ni antaŭdiros la ŝarĝon sur sistemoj ne en komercaj transakcioj, sed laŭ IT-infrastrukturo, t.e. ni malsupreniros unu tavolon. Krome, ni devas plene aŭtomatigi la kolekton de metrikoj kaj la konstruadon de prognozoj bazitaj sur ili, por ne trakti elŝutojn. Estas nenio fantazia pri tio - ni nur transiras monitoradon kaj ŝarĝtestadon konforme al tutmondaj plej bonaj praktikoj.
fonto: www.habr.com