De IT-afdeling van VTB heeft meerdere keren te maken gehad met noodsituaties bij de werking van systemen, waarbij de belasting daarvan vele malen toenam. Daarom was er behoefte aan het ontwikkelen en testen van een model dat de piekbelasting op kritieke systemen zou kunnen voorspellen. Om dit te doen, hebben de IT-specialisten van de bank monitoring opgezet, gegevens geanalyseerd en geleerd voorspellingen te automatiseren. Welke tools hebben geholpen bij het voorspellen van de belasting en of ze hebben bijgedragen aan het optimaliseren van het werk, vertellen we je in een kort artikel.
Problemen met diensten met een hoge belasting doen zich in bijna alle sectoren voor, maar voor de financiële sector zijn ze van cruciaal belang. Op uur X moesten alle gevechtseenheden gereed zijn, en daarom was het nodig om van tevoren te weten wat er kon gebeuren en zelfs te bepalen op welke dag de lading zou springen en welke systemen ermee te maken zouden krijgen. Storingen moeten worden aangepakt en voorkomen, dus de noodzaak om een voorspellend analysesysteem te implementeren werd niet eens besproken. Het was noodzakelijk om systemen te moderniseren op basis van monitoringgegevens.
Analytics op je knieën
Het salarisproject is een van de meest gevoelige in geval van mislukking. Het is het meest begrijpelijk voor voorspellingen, dus besloten we ermee te beginnen. Vanwege de hoge connectiviteit kunnen andere subsystemen, waaronder diensten voor bankieren op afstand (RBS), problemen ondervinden in tijden van piekbelasting. Klanten die blij waren met de sms over de ontvangst van geld, begonnen deze bijvoorbeeld actief te gebruiken. De lading kan met meer dan een orde van grootte stijgen.
Het eerste prognosemodel is handmatig gemaakt. We hebben de uploads van het afgelopen jaar genomen en berekend op welke dagen de maximale pieken worden verwacht: bijvoorbeeld de 1e, 15e en 25e, maar ook op de laatste dagen van de maand. Dit model vereiste aanzienlijke arbeidskosten en leverde geen nauwkeurige voorspelling op. Niettemin identificeerde het knelpunten waar het nodig was om hardware toe te voegen, en maakte het het mogelijk om het proces van het overmaken van geld te optimaliseren door overeenstemming te bereiken met de belangrijkste klanten: om de salarissen niet in één keer te geven, werden transacties uit verschillende regio's in de loop van de tijd verspreid. Nu verwerken we ze in delen waar de IT-infrastructuur van de bank zonder problemen op kan ‘kauwen’.
Nadat we het eerste positieve resultaat hadden ontvangen, gingen we verder met het automatiseren van de prognoses. Nog een tiental kritieke gebieden wachtten op hun beurt.
Alomvattende aanpak
VTB heeft een monitoringsysteem van MicroFocus geïmplementeerd. Van daaruit hebben we gegevensverzameling voor prognoses, een opslagsysteem en een rapportagesysteem overgenomen. In feite was de monitoring al aanwezig, het enige dat nog overbleef was het toevoegen van statistieken, een voorspellingsmodule en het maken van nieuwe rapporten. Deze beslissing wordt gesteund door de externe aannemer Technoserv, dus het belangrijkste werk bij de implementatie van het project viel op zijn specialisten, maar we hebben het model zelf gebouwd. Het voorspellingssysteem is gemaakt op basis van Prophet, een open source product ontwikkeld door Facebook. Het is gemakkelijk te gebruiken en kan gemakkelijk worden geïntegreerd met onze geïnstalleerde geïntegreerde monitoringtools en Vertica. Grofweg analyseert het systeem de belastingsgrafiek en extrapoleert deze op basis van Fourierreeksen. Het is ook mogelijk om bepaalde coëfficiënten per dag toe te voegen, afkomstig uit ons model. Er worden statistieken verzameld zonder menselijke tussenkomst, de prognose wordt één keer per week automatisch opnieuw berekend en er worden nieuwe rapporten naar de ontvangers verzonden.
Deze benadering identificeert de belangrijkste cyclische factoren, bijvoorbeeld jaarlijks, maandelijks, driemaandelijks en wekelijks. Betalingen van salarissen en voorschotten, vakantieperiodes, vakanties en verkopen - dit alles heeft invloed op het aantal oproepen naar de systemen. Het bleek bijvoorbeeld dat sommige cycli elkaar overlappen en dat de hoofdbelasting (75%) van de systemen afkomstig is van het Centraal Federaal District. Rechtspersonen en individuen gedragen zich verschillend. Als de belasting van “natuurkundigen” relatief gelijkmatig verdeeld is over de dagen van de week (dit zijn veel kleine transacties), dan wordt voor bedrijven 99,9% besteed aan werkuren en kunnen transacties kort zijn, of binnen enkele minuten worden verwerkt. minuten of zelfs uren.
Op basis van de verkregen gegevens worden langetermijntrends bepaald. Het nieuwe systeem heeft onthuld dat mensen massaal overstappen op bankdiensten op afstand. Iedereen weet dit, maar we hadden een dergelijke omvang niet verwacht en geloofden er aanvankelijk niet in: het aantal oproepen naar bankkantoren neemt extreem snel af en het aantal transacties op afstand groeit met precies hetzelfde bedrag. De belasting van de systemen neemt daardoor ook toe en zal blijven groeien. We voorspellen nu de belasting tot februari 2020. Normale dagen kunnen worden voorspeld met een fout van 3%, en piekdagen met een fout van 10%. Dit is een goed resultaat.
Valkuilen
Zoals gebruikelijk verliep dit niet zonder problemen. Het extrapolatiemechanisme dat gebruik maakt van Fourier-reeksen passeert de nul niet goed - we weten dat rechtspersonen in het weekend weinig transacties genereren, maar de voorspellingsmodule produceert waarden die verre van nul zijn. Het was mogelijk om ze met geweld te corrigeren, maar krukken zijn niet onze methode. Daarnaast moesten we het probleem van het pijnloos ophalen van data uit bronsystemen oplossen. Voor het regelmatig verzamelen van informatie zijn serieuze computerbronnen nodig. Daarom hebben we snelle caches gebouwd met behulp van replicatie en ontvangen we bedrijfsgegevens van replica's. Het ontbreken van extra belasting op de mastersystemen is in dergelijke gevallen een blokkeervereiste.
Nieuwe uitdagingen
De eenvoudige taak van het voorspellen van pieken was opgelost: sinds mei van dit jaar hebben zich geen overbelastingsgerelateerde faillissementen meer voorgedaan bij de bank, en het nieuwe voorspellingssysteem speelde daarbij een belangrijke rol. Ja, het bleek niet genoeg, en nu wil de bank begrijpen hoe gevaarlijk de pieken ervoor zijn. We hebben voorspellingen nodig met behulp van statistieken uit belastingtests, en voor ongeveer 30% van de kritische systemen werkt dit al, de rest is bezig met het verkrijgen van voorspellingen. In de volgende fase gaan we de belasting van systemen voorspellen, niet op het gebied van zakelijke transacties, maar op het gebied van de IT-infrastructuur, d.w.z. we gaan één laag omlaag. Bovendien moeten we het verzamelen van statistieken en het opstellen van prognoses op basis daarvan volledig automatiseren, om niet met downloads om te gaan. Er is niets bijzonders aan: we kruisen alleen maar monitoring en belastingtests in overeenstemming met wereldwijde best practices.
Bron: www.habr.com