Het documentatieondersteuningssysteem bij onze bank wordt voortdurend ontwikkeld en geschaald, en de eisen op het gebied van snelheid en fouttolerantie worden alleen maar groter. Op een gegeven moment werd het onderhouden van een LMS zonder effectieve gecentraliseerde monitoring te riskant. Om de bedrijfsprocessen bij VTB te beveiligen en het werk van beheerders te vereenvoudigen, hebben we een oplossing geïmplementeerd op basis van een stapel open technologieën. Met behulp hiervan kunnen we proactief reageren op incidenten en potentiële problemen voorkomen. Onder de afbeelding staat een verhaal over onze ervaring met het gebruik van vrije software om grootschalige bedrijfssystemen te monitoren.
Waarom uw documentbeheersysteem monitoren?
Sinds 2005 wordt de documentatieondersteuning bij VTB Bank “beheerd” door het CompanyMedia-systeem. Het LMS heeft ruim 60 gebruikers in dienst die elke maand meer dan een miljoen nieuwe documenten creëren. Onze servers moeten 24 uur per dag functioneren: op vrijwel elk moment zijn er 2500 à 3000 mensen in het systeem aanwezig, die met elkaar verbonden zijn door het hele land, van Petropavlovsk-Kamtsjatski tot Kaliningrad. Elke seconde dat het LMS werkt, betekent 10 tot 15 wijzigingen.
Om ervoor te zorgen dat het systeem de toegewezen taken nauwkeurig vervult, hebben we een fouttolerante infrastructuur geïmplementeerd met behulp van proxyservers, verzoekverdeling, informatiebescherming, zoeken in volledige tekst, integratieroutes en back-up. Om een project van deze omvang te ondersteunen en te beheren zijn enorme middelen nodig. Beheerders houden XNUMX uur per dag basisinformatie in de gaten over de werking van de server, de RAM-belasting, de CPU-tijd, het I/O-subsysteem, enzovoort. Maar daarnaast zijn subtielere analyses nodig:
- het berekenen van de tijd die wordt besteed aan het uitvoeren van bedrijfsscenario's;
- het monitoren van de dynamiek van de systeemprestaties en de belasting ervan;
- het zoeken naar afwijkingen in systeemcomponenten van de goedgekeurde niet-functionele eisen.
Elf jaar na de introductie van het LMS is de kwestie van proactieve reactie op verschillende soorten fouten bijzonder acuut geworden. Het management van de bank besefte dat het werken zonder monitoren en een systeemlevensconsole met vuur speelde: de kleinste storing in een bedrijfssysteem van dit niveau zou tot miljoenen verliezen kunnen leiden.
In 2016 zijn we begonnen met de introductie van hulpmiddelen voor het snel identificeren van problemen in de werking van het LMS, inclusief het in realtime monitoren van parameters die voor ons van belang zijn. Voorheen werd het toegepaste monitoringsysteem ingezet en getest binnen het kader van de bedrijfsinfrastructuur van InterTrust.
Hoe het allemaal begon
Tegenwoordig helpt het gecentraliseerde applicatiemonitoringsysteem van VTB LMS, gebaseerd op open source softwareproducten, de meeste fouten in de documentstroom te voorkomen, problemen snel en nauwkeurig te classificeren en snel te reageren op eventuele incidenten. Het omvat twee subsystemen:
- voor het monitoren van de IT-infrastructuur van systeemdiensten;
- het monitoren van het optreden van fouten in de werking van het LMS.
Het begon allemaal met één enkele gratis monitoring-app. Nadat we verschillende opties hadden doorgenomen, kwamen we uit op Zabbix: gratis software die oorspronkelijk was geschreven voor bankdiensten en -apparatuur. Dit PHP-webgebaseerde systeem, dat gegevens kan opslaan in MySQL, PostgreSQL, SQLite of Oracle Database, paste perfect bij onze behoeften.
Zabbix draait zijn agenten op elke server en verzamelt in realtime informatie over interessante statistieken in één database. Met behulp van de applicatie is het handig om gegevens te verzamelen over de belasting van processors en RAM, over het gebruik van het netwerk en andere componenten, de beschikbaarheid en respons van standaarddiensten (SMTP of HTTP) te controleren, externe programma's uit te voeren en monitoring te ondersteunen via SNMP.
Nadat we Zabbix hadden geïmplementeerd, hebben we standaard hardwarestatistieken geconfigureerd, en in eerste instantie was dit voldoende. Maar VTB SDO ontwikkelt en groeit voortdurend: in 2016 nam het aantal servers merkbaar toe, er verschenen migratieprocessen, de Bank of Moskou, VTB Capital en VTB24 sloten zich aan bij het systeem. Er zijn niet langer voldoende standaardstatistieken en we hebben Zabbix geleerd om informatie bij te houden over de aanwezigheid van wachtrijen op elk van de volumes die op de server zijn aangesloten (uit de doos geeft Zabbix alleen de algemene schijfwachtrij weer), evenals de tijd die het kost om een bepaalde procedure te voltooien.
Daarnaast hebben we het systeem uitgerust met meerdere triggers: omstandigheden waaronder een melding naar de beheerder wordt verzonden (een bericht in Telegram, een sms naar een telefoonnummer of een e-mail). Triggers kunnen voor elke set parameters worden geconfigureerd. U kunt bijvoorbeeld een bepaald percentage vrije schijfruimte opgeven, waarna het systeem de beheerder waarschuwt wanneer de opgegeven drempel wordt bereikt, of u informeert als een achtergrondprocedure langer duurt dan normaal.
Java-connectiviteit en datavisualisatie
We hebben het bereik van de geanalyseerde gegevens aanzienlijk uitgebreid, maar al snel was dit niet genoeg voor een effectieve monitoring. Door gebruik te maken van het feit dat het LMS van CompanyMedia een Java-applicatie is, hebben we via de JMX-interface verbinding gemaakt met de Java Virtual Machine en konden we Java-metrieken rechtstreeks gebruiken. En niet alleen standaardparameters van vitale Java-activiteit, zoals GC-werkintensiteit of Heap-verbruik, maar ook specifieke tests die rechtstreeks verband houden met de uitvoerbare applicatiecode.
In 2017, ongeveer een jaar na de implementatie van het monitoringsysteem, werd duidelijk dat er niet genoeg visualisatie was om normaal te kunnen werken met de enorme hoeveelheid gegevens die in Zabbix werden verzameld: complexe schermen. De beste oplossing voor dit probleem was opnieuw gratis software: Grafana, een handig dashboard voor statistieken waarmee je alle gegevens op één scherm kunt verzamelen.
De Grafana-interface is interactief en doet denken aan een OLAP-systeem. Het subsysteem geeft de door Zabbix ontvangen gegevens weer op één scherm en presenteert de informatie in de vorm van grafieken en diagrammen die gemakkelijk te analyseren zijn. De beheerder kan eenvoudig de segmenten aanpassen die hij nodig heeft.
Bewaken en preventief elimineren van fouten in het LMS-systeem
Met het open source softwareplatform ELK kunt u de tijdens de monitoring ontvangen informatie filteren en analyseren. Dit opensourceproduct bestaat uit drie krachtige tools voor het verzamelen, opslaan en analyseren van data: Elasticsearch, Logstash en Kibana. De implementatie van dit subsysteem maakt het met name mogelijk om in realtime te zien hoeveel fouten er in het systeem zijn opgetreden, op welke servers en of deze fouten zich herhalen.
Nu kan de beheerder een probleem in een vroeg stadium detecteren, nog voordat de gebruiker er mee te maken krijgt. Met een dergelijke proactieve monitoring kunt u systeemstoringen voorkomen door fouten tijdig te elimineren. Bovendien kunnen we begrijpen hoe het gedrag van het systeem is veranderd na de update, en kunnen we nieuwe problemen detecteren als deze zich voordoen.
Bewaking van de bedrijfsvoering
Naast de basisfuncties van het monitoren van het verbruik van hulpbronnen, heeft het systeem de mogelijkheid om bedrijfsactiviteiten te analyseren en te controleren.
Door de totale uitvoeringstijd van bedrijfsactiviteiten te monitoren, kunt u nieuwe factoren identificeren en inzicht krijgen in de impact die deze hebben op de werking van het systeem.
Het monitoren van de uitvoeringstijd van aanvragen per bedrijfsdienst maakt het mogelijk om handelingen die afwijken van de norm te detecteren.
De bovenstaande schermafbeelding is een voorbeeld van het monitoren van een achtergrondtaak in termen van afwijking van de norm.
Met de lijst met gecontroleerde taken in termen van hun activiteit op een specifieke server kunt u fouten identificeren (inclusief dubbele taakuitvoering) op alle servers.
Ook trends in de uitvoeringstijd van achtergrondprocedures worden gemonitord.
Het systeem groeit, ontwikkelt en helpt bij het omgaan met problemen
Met de implementatie van het beschreven systeem is het monitoren van de werking van LMS-servers aanzienlijk vereenvoudigd. Niettemin ontstaan er van tijd tot tijd verschillende soorten conflicten, die de snelheid van de documentstroom beïnvloeden en klachten van gebruikers veroorzaken. We realiseerden ons dus dat het nodig was om het gedrag van de applicatie zelf te controleren, en niet alleen de servers.
Om dit probleem op te lossen werd via API een balancer met het monitoringsysteem verbonden, die werkt met een cluster van applicatieservers. Hierdoor kan de beheerder zien hoe lang het duurt voordat de server op elk gebruikersverzoek reageert.
Gegevens over de reactietijden van de server kwamen beschikbaar voor analyse, waardoor het mogelijk werd om de vertraging van het LMS te koppelen aan de processen die op de server plaatsvonden. Er deed zich met name een interessante situatie voor: de server draait langzaam, ook al is deze op dit moment niet geladen. Bij het analyseren van de anomalie ontdekten we afwijkingen in de werking van Garbage Collector Java. Uiteindelijk bleek dat het de onjuiste werking van deze dienst was die tot deze situatie leidde. Door de controle over Garbage Collector Java over te nemen, hebben we het probleem volledig geëlimineerd.
Dit is hoe vrije software het documentbeheersysteem in de banksector helpt ontwikkelen en groeien. We hebben alleen de belangrijkste kwesties besproken die verband houden met het VTB SDO-monitoringsysteem. Als u geïnteresseerd bent in details, vraag het dan in de opmerkingen, wij delen graag onze ervaring met u.
Bron: www.habr.com