Departamenti IT i VTB ka hasur disa herë situata emergjente në punën e sistemeve, kur ngarkesa mbi to është rritur shumëfish. Prandaj, u bë e nevojshme të zhvillohej dhe testoheshin një model që parashikon ngarkesën maksimale në sistemet kritike. Për këtë, specialistët IT të bankës konfiguruan monitorimin, analizuan të dhënat dhe mësuan të automatizojnë parashikimet. Cilat mjete ndihmuan në parashikimin e ngarkesës dhe a arritën ato të optimizojnë punën, do të tregojmë në një artikull të shkurtër.
Problemet me shërbime me ngarkesë të lartë ndodhin pothuajse në të gjitha sektorët, por për sektorin financiar ato janë kritike. Në orën X, të gjitha njësitë operative duhet të jenë në gatishmëri, dhe prandaj ishte e nevojshme të dihej paraprakisht se çfarë mund të ndodhte dhe madje të përcaktohej dita kur do të rritej ngarkesa, dhe cilat sisteme do të përballeshin me të. Duhet luftuar dhe parandaluar çdo shqetësim, prandaj nevoja për të implementuar një sistem të analitikës parashikuese nuk ishte asnjëherë në diskutim. Duhej të modernizoheshin sistemet mbi bazën e të dhënave të monitorimit.
Analitika në kolonë
Зарплатный проект — один из самых чувствительных в случае сбоя. Он же наиболее понятен для прогнозирования, поэтому начать решили с него. Из-за высокой связности в моменты пиковых нагрузок могли испытывать проблемы и другие подсистемы, включая дистанционное банковское обслуживание (ДБО). Например, клиенты, обрадованные SMS о поступлении денег, начинали активно ими пользоваться. Нагрузка при этом могла подскакивать более чем на порядок.
Первую модель для прогноза создавали вручную. Мы взяли выгрузку за последний год и посчитали, в какие дни ожидаются максимальные пики: например, 1-го, 15-го и 25-го числа, а также в последние дни месяца. Эта модель требовала серьезных трудозатрат и не давала точного прогноза. Тем не менее она выявила узкие места, куда нужно было добавить «железа», и позволила оптимизировать процесс перечисления денег, договорившись с якорными клиентами: чтобы не давать зарплату «залпом», транзакции из разных регионов разнесли по времени. Теперь мы обрабатываем их частями, которые IT-инфраструктура банка способна «прожевать» без сбоев.
Pasi morëm rezultatin e parë pozitiv, ne kaluam në automatizimin e parashikimeve. Një dhjetë kritikë të tjerë po prisnin radhen e tyre.
Qasja e integruar
Në VTB implementuan një sistem monitorimi nga kompania MicroFocus. Nga aty morëm mbledhjen e të dhënave për parashikimin, sistemin e ruajtjes dhe sistemin e gjenerimit të raporteve. Në thelb, monitorimi ekzistonte, vetëm se duhej të shtoheshin metrikat, moduli i parashikimit dhe të krijoheshin raporte të reja. Kjo zgjidhje mbështetet nga kontraktori i jashtëm "Tehnoserv", prandaj puna kryesore për realizimin e projektit ra mbi specialistët e tij, por modelin e ndërtuam ne vetë. Sistemi i parashikimit u zhvillua mbi bazën e Prophet - ky produkt i hapur është zhvilluar në Facebook. Ai është i thjeshtë për t'u përdorur dhe integrohet lehtësisht me mjetet e monitorimit të vendosura nga ne dhe Vertica. Thënë me fjalë të tjera, sistemi analizojnë grafikun e ngarkesës dhe në bazë të serive të Fourier bën ekstrapolimin e tij. Ka gjithashtu mundësinë për të shtuar disa koeficientë sipas ditëve, të marra nga modeli ynë. Metrikat merren pa pjesëmarrjen e njeriut, një herë në javë parashikimi përditësohet automatikisht, raportet e reja shpërndahen për adresat e përcaktuara.
Ky approach zbulon ciklit kryesore, si vjetorët, mujorët, trimestralët dhe javorët. Shlyerjet e pagave dhe avanset, periudhat e pushimeve, festat dhe zbritjet — të gjitha këto ndikojnë në numrin e kërkesave për sistemet. Është zbuluar, për shembull, se disa cikle mbivendosen, ndërsa ngarkesa kryesore (75%) për sistemet vjen nga Qendra Federale. Personat juridikë dhe fizikë veprojnë ndryshe. Nëse ngarkesa nga 'fizikët' shpërndahet relativisht njësoj gjatë ditëve të javës (ka shumë transaksione të vogla), për kompanitë 99,9% e saj ndodh brenda orarit të punës, kurse transaksionet mund të jenë të shkurtra, ose të trajtohen për disa minuta dhe madje orë.
Në bazë të të dhënave të marra, përcaktohen trendet afatgjata. Sistemi i ri zbuloi se njerëzit po kalojnë masivisht në BDO. Kjo është e njohur nga të gjithëve, por nuk e prisnim një shkallë kaq të madhe dhe fillimisht nuk e besuam: numri i kërkesave në zyrat e bankës po ulet shumë shpejt, dhe po rritet njësoj numri i transaksioneve të distancës. Prandaj, ngarkesa në sisteme po rritet dhe do të vazhdojë të rritet. Tani ne parashikojmë ngarkesën deri në shkurt 2020. Ditët normale mund të parashikohen me një saktësi prej 3%, ndërsa ditët në kulm me një saktësi prej 10%. Ky është një rezultat i mirë.
Pengesa
Nuk kishte mungesa si zakonisht. Mekanizmi i ekstrapolimit duke përdorur radhët e Fourier-it kalon keq në zero — ne e dimë që gjatë fundjavës subjektet juridike gjenerojnë pak transaksione, por moduli i parashikimit jep vlera larg zero. Mund të ishim ndrequr ato me forcë, por shpatullat nuk janë metoda jonë. Për më tepër, duhej të zgjidhnim problemin e marrjes pa dhimbje të të dhënave nga sistemet burim. Mbledhja e rregullt e informacionit kërkon burime të rëndësishme kompjuterike, prandaj ndërtuam memorie të shpejtë duke përdorur replikimin, duke marrë të dhënat e biznesit tashmë nga replikat. Mungesa e ngarkesës shtesë në sistemet kryesore në raste të tilla është një kërkesë penguese.
Sfidat e reja
Detyra e vendosur për parashikimin e pikave është zgjidhur: nuk ka pasur dështime të lidhura me ngarkesën në bankë që nga maji i këtij viti, dhe sistemi i ri i parashikimit ka luajtur një rol të rëndësishëm në këtë. Po, rezultoi se ishte i pamjaftueshëm, dhe tani banka dëshiron të kuptojë sa shumë rrezikojnë për të pikët. Na nevojiten parashikime duke përdorur metrika nga testimi i ngarkesës, dhe për rreth 30% të sistemeve kritike kjo tashmë funksionon, ndërsa të tjerat janë në procesin e marrjes së parashikimeve. Në fazën e ardhshme ne planifikojmë të parashikojmë ngarkesën në sisteme, jo në transaksionet e biznesit, por në terma të infrastrukturës IT, dmth të zbresim një nivel më poshtë. Për më tepër, na nevojitet të automatizojmë plotësisht mbledhjen e metricave dhe ndërtimin e parashikimeve mbi bazën e tyre, për të mos u marrë me eksportet. Nuk ka gjë të jashtëzakonshme në këtë — ne thjesht po bashkojmë monitorimin dhe testimin e ngarkesës sipas praktikave më të mira në botë.
Burimi: habr.com
