De IT-afdeling van VTB heeft meerdere keren te maken gehad met onregelmatigheden in de werking van systemen, waarbij de belasting daarop meerdere keren toenam. Dit leidde tot de noodzaak om een model te ontwikkelen en uit te proberen dat de piekbelasting op kritische systemen zou voorspellen. Hiervoor hebben de IT-specialisten van de bank monitoring ingesteld, gegevens geanalyseerd en geleerd om voorspellingen te automatiseren. Welke tools geholpen hebben bij het voorspellen van de belasting en of het gelukt is om met hun hulp het werk te optimaliseren, zullen we in een kort artikel vertellen.
Problemen met hoogbelaste diensten komen in vrijwel alle sectoren voor, maar in de financiƫle sector zijn ze kritiek. Op het cruciale moment moeten alle eenheden paraat staan, en daarom was het nodig om van tevoren te weten wat er kan gebeuren en zelfs de dag te bepalen waarop de belasting zal stijgen en welke systemen hiermee te maken zullen krijgen. Het is noodzakelijk om storingen te bestrijden en te voorkomen, daarom werd de noodzaak voor een systeem van voorspellende analytics niet eens ter discussie gesteld. De systemen moesten worden gemoderniseerd op basis van monitoringgegevens.
Analytics in een notendop
Het salarisproject is een van de meest gevoelige in geval van storingen. Het is ook het meest begrijpelijk voor voorspelling, dus we besloten er mee te beginnen. Door de hoge onderlinge verbondenheid konden in piekmomenten ook andere subsysteem problemen ondervinden, zoals internetbankieren. Bijvoorbeeld, klanten die een SMS hebben ontvangen over de binnenkomst van geld, begonnen actief gebruik te maken van deze middelen. De belasting kon daarbij meer dan tien keer toenemen.Ā
Voor het eerste model voor voorspelling hebben we het handmatig gemaakt. We hebben een dataset van het afgelopen jaar genomen en berekend op welke dagen er maximale pieken te verwachten zijn: bijvoorbeeld op de 1e, 15e en 25e van de maand, evenals op de laatste dagen van de maand. Dit model vereiste aanzienlijke arbeidstijd en gaf geen nauwkeurige voorspellingen. Desondanks identificeerde het knelpunten waar 'hardware' moest worden toegevoegd en stelde het ons in staat om het proces van geldovermakingen te optimaliseren door afspraken te maken met kernklanten: in plaats van de salarissen 'in Ć©Ć©n keer' uit te betalen, verspreidden we de transacties uit verschillende regio's over de tijd. Nu verwerken we ze in delen die de IT-infrastructuur van de bank zonder storingen kan 'verwerken'.
Na het behalen van de eerste positieve resultaten zijn we begonnen met de automatisering van de voorspelling. Er wachtte nog een tiental kritische gebieden op hun beurt.
Gecombineerde aanpak
Bij VTB hebben we het bewakingssysteem van MicroFocus geĆÆmplementeerd. Van daaruit hebben we data verzameld voor voorspellingen, een opslagsysteem en een rapportagegeneratiesysteem. In wezen was er al monitoring, het enige wat nog moest gebeuren was het toevoegen van metrics, een voorspellingsmodule en het creĆ«ren van nieuwe rapporten. Deze oplossing wordt ondersteund door de externe aannemer 'Technoserv', waardoor de meeste werkzaamheden voor de uitvoering van het project op hun specialisten kwamen te liggen, maar we hebben het model zelf opgebouwd. We hebben het voorspellingssysteem ontwikkeld op basis van Prophet ā dit open product is ontwikkeld door Facebook. Het is gebruiksvriendelijk en integreert gemakkelijk met de bij ons geĆÆnstalleerde middelen voor geĆÆntegreerde monitoring en Vertica. Grofweg gezegd analyseert het systeem de belastingsgrafiek en maakt het een extrapolatie op basis van Fourier-reeksen. Er is ook de mogelijkheid om bepaalde coĆ«fficiĆ«nten per dag toe te voegen, die uit ons model zijn gehaald. De metrics worden zonder menselijke tussenkomst verzameld, eenmaal per week wordt de voorspelling automatisch herberekend en nieuwe rapporten worden naar de ontvangers verzonden.Ā
Deze aanpak onthult de belangrijkste cycli, zoals jaarlijkse, maandelijkse, kwartaal- en weekcycli. Het uitbetalen van salarissen en voorschotten, vakanties, feestdagen en uitverkopen ā dit alles beĆÆnvloedt het aantal verzoeken aan de systemen. Zo bleek dat sommige cycli elkaar overlappen, en dat de grootste belasting (75%) op de systemen afkomstig is uit het Centraal Federaal District. Juridische en fysieke personen gedragen zich anders. Terwijl de belasting van 'fysieke' personen relatief gelijkmatig over de weekdagen is verdeeld (dit omvat veel kleine transacties), komt 99,9% van de transacties van bedrijven tijdens kantooruren, waarbij transacties kort kunnen zijn of enkele minuten en zelfs uren kunnen duren om te verwerken.
Op basis van de verzamelde gegevens worden langdurige trends vastgesteld. Het nieuwe systeem heeft aangetoond dat mensen massaal overstappen naar DBO. Dit is algemeen bekend, maar we hadden dergelijke omvang niet verwacht en geloofden in eerste instantie niet dat het zo extreem zou zijn: het aantal bezoeken aan de bankkantoren daalt zeer snel, terwijl het aantal afstandstransacties evenredig toeneemt. Dit betekent dat de belasting op de systemen ook toeneemt en verder zal blijven toenemen. Momenteel voorspellen we de belasting tot februari 2020. Normale dagen kunnen we met een afwijking van 3% voorspellen, en piekdagen met een afwijking van 10%. Dit is een goed resultaat.
Valtjes
Zonder moeilijkheden ging het, zoals gebruikelijk, niet. Het extrapolatiemechanisme met behulp van Fourier-reeksen heeft moeite met nul ā we weten dat rechtspersonen in het weekend weinig transacties genereren, maar de voorspellingsmodule geeft waarden die verre van nul zijn. We hadden deze waarden handmatig kunnen aanpassen, maar dat is niet onze methode. Bovendien moesten we een oplossing vinden voor het pijnloos extraheren van gegevens uit de bronsystemen. Regelmatige informatieverzameling vereist aanzienlijke rekencapaciteit, daarom hebben we snelle caches gebouwd met behulp van replicatie, we verkrijgen bedrijfsgegevens al van replicaten. Het ontbreken van extra belasting op de master-systemen in dergelijke gevallen is een cruciale vereiste.
Nieuwe uitdagingen
De direct geformuleerde taak om pieken te voorspellen is opgelost: er zijn sinds mei van dit jaar geen storingen door overbelasting in de bank geweest, en het nieuwe voorspellingssysteem heeft daar geen geringe rol in gespeeld. Ja, het was niet voldoende, en nu wil de bank begrijpen hoe gevaarlijk de pieken voor hen zijn. We hebben voorspellingen nodig met behulp van metrics van belastingstestingen, en voor ongeveer 30% van de kritische systemen werkt dit al, de rest is bezig met het verkrijgen van voorspellingen. In de volgende fase willen we de belasting op systemen niet in zakelijke transacties voorspellen, maar in termen van IT-infrastructuur, dat wil zeggen, we zullen naar een laag lager afdalen. Bovendien moeten we het verzamelen van metrics en de opbouw van voorspellingen op basis daarvan volledig automatiseren, zodat we ons niet hoeven bezig te houden met exports. Hier is niets bijzonders aan ā we combineren simpelweg monitoring met belastingstestingen volgens de beste wereldwijde praktijken.
Bron: habr.com
