Die dokumentasie-ondersteuningstelsel in ons bank ontwikkel en skaal voortdurend, en die vereistes vir spoed en fouttoleransie neem net toe. Op 'n stadium het die instandhouding van 'n LBS sonder effektiewe gesentraliseerde monitering te riskant geword. Om besigheidsprosesse by VTB te beveilig en die werk van administrateurs te vereenvoudig, het ons 'n oplossing geïmplementeer gebaseer op 'n stapel oop tegnologieë. Met sy hulp kan ons proaktief reageer op insidente en potensiële probleme voorkom. Onder die snit is 'n storie oor ons ervaring in die gebruik van gratis sagteware om grootskaalse besigheidstelsels te monitor.
Hoekom monitor jou dokumentbestuurstelsel?
Sedert 2005 word dokumentasie-ondersteuning by VTB Bank deur die CompanyMedia-stelsel “bestuur”. Die LMS het meer as 60 duisend gebruikers in diens wat elke maand meer as 'n miljoen nuwe dokumente skep. Ons bedieners moet 24 uur per dag funksioneer: byna enige oomblik is daar 2500 3000–10 15 mense in die stelsel, wat regdeur die land verbind is, van Petropavlovsk-Kamchatsky tot Kaliningrad. Elke sekonde van LMS-werking beteken XNUMX–XNUMX veranderinge.
Om te verseker dat die stelsel sy toegewese take akkuraat nakom, het ons 'n foutverdraagsame infrastruktuur ontplooi deur gebruik te maak van instaanbedieners, versoekbalansering, inligtingbeskerming, voltekssoektog, integrasieroetes en rugsteun. Om 'n projek van hierdie skaal te ondersteun en te administreer, verg enorme hulpbronne. Administrateurs monitor basiese inligting oor bedienerwerking, RAM-lading, SVE-tyd, I/O-substelsel, ensovoorts rondom die klok. Maar benewens dit is meer subtiele ontledings nodig:
- die tyd wat spandeer word aan die uitvoering van besigheidscenario's te bereken;
- monitering van die dinamika van stelselwerkverrigting en las daarop;
- soek na afwykings in stelselkomponente van die goedgekeurde nie-funksionele vereistes.
11 jaar na die bekendstelling van die LMS het die kwessie van proaktiewe reaksie op verskeie tipes foute veral akuut geword. Die bank se bestuur het besef dat om sonder monitors en 'n stelsellewenskonsole met vuur te speel: die geringste mislukking in 'n besigheidstelsel van hierdie vlak kan miljoene se verliese tot gevolg hê.
In 2016 het ons nutsmiddels begin bekendstel om probleme in die funksionering van die LBS vinnig te identifiseer, insluitend die monitering van parameters wat vir ons van belang is in reële tyd. Voorheen is die toegepaste moniteringstelsel binne die raamwerk van die InterTrust-maatskappy-infrastruktuur ontplooi en getoets.
Hoe dit alles begin het
Vandag help die gesentraliseerde toepassingsmoniteringstelsel van VTB LMS, gebaseer op oopbronsagtewareprodukte, om die meeste foute wat met dokumentvloei geassosieer word, te voorkom, probleme vinnig en akkuraat te klassifiseer en dadelik op enige voorvalle te reageer. Dit sluit twee subsisteme in:
- vir die monitering van die IT-infrastruktuur van stelseldienste;
- om die voorkoms van foute in die werking van die LBS te monitor.
Dit het alles begin met 'n enkele gratis moniteringstoepassing. Nadat ons deur verskeie opsies gegaan het, het ons besluit op Zabbix – gratis sagteware wat oorspronklik vir bankdienste en toerusting geskryf is. Hierdie PHP-webgebaseerde stelsel, wat data in MySQL, PostgreSQL, SQLite of Oracle-databasis kan stoor, was perfek vir ons behoeftes.
Zabbix bestuur sy agente op elke bediener en versamel inligting oor statistieke van belang in reële tyd in 'n enkele databasis. Deur die toepassing te gebruik, is dit gerieflik om data in te samel oor die las op verwerkers en RAM, oor die gebruik van die netwerk en ander komponente, die beskikbaarheid en reaksie van standaarddienste (SMTP of HTTP) na te gaan, eksterne programme uit te voer en monitering te ondersteun via SNMP.
Nadat ons Zabbix ontplooi het, het ons standaard hardeware-metrieke opgestel, en aanvanklik was dit genoeg. Maar VTB SDO ontwikkel en groei voortdurend: in 2016 het die aantal bedieners merkbaar toegeneem, migrasieprosesse het verskyn, die Bank van Moskou, VTB Capital en VTB24 het by die stelsel aangesluit. Daar is nie meer genoeg standaardmaatstawwe nie, en ons het Zabbix geleer om inligting oor die teenwoordigheid van toue op elk van die volumes wat aan die bediener gekoppel is op te spoor (uit die boks weerspieël Zabbix net die algemene skyfwag), sowel as die tyd wat dit neem om 'n bepaalde prosedure te voltooi.
Daarbenewens het ons die stelsel toegerus met veelvuldige snellers - toestande waaronder 'n kennisgewing aan die administrateur gestuur word ('n boodskap in Telegram, 'n SMS na 'n telefoonnommer of 'n e-pos). Snellers kan vir enige stel parameters gekonfigureer word. Byvoorbeeld, jy kan 'n sekere persentasie vrye skyfspasie spesifiseer, en die stelsel sal die administrateur waarsku wanneer die gespesifiseerde drempel bereik word, of jou inlig as 'n agtergrondprosedure langer as gewoonlik loop.
Java-konnektiwiteit en datavisualisering
Ons het die reeks geanaliseerde data aansienlik uitgebrei, maar dit was gou nie genoeg vir effektiewe monitering nie. Deur voordeel te trek uit die feit dat CompanyMedia se LMS 'n Java-toepassing is, het ons via die JMX-koppelvlak aan die Java Virtual Machine gekoppel en kon ons Java-metrieke direk neem. En nie net standaardparameters van Java-noodsaaklike aktiwiteit, soos GC-werkintensiteit of Hoopverbruik nie, maar ook spesifieke toetse wat direk verband hou met die uitvoerbare toepassingskode.
In 2017, sowat ’n jaar ná die implementering van die moniteringstelsel, het dit duidelik geword dat daar nie genoeg visualisering – komplekse skerms – om normaal te werk met die kolossale hoeveelheid data wat in Zabbix ingesamel is nie. Die beste oplossing vir hierdie probleem was weer gratis sagteware - Grafana, 'n gerieflike dashboard vir metrieke wat jou toelaat om alle data op een skerm saam te voeg.
Die Grafana-koppelvlak is interaktief en herinner aan 'n OLAP-stelsel. Die substelsel vertoon die data wat deur Zabbix ontvang is op 'n enkele skerm, wat die inligting in die vorm van grafieke en diagramme aanbied wat maklik is om te ontleed. Die administrateur kan die skywe wat hy benodig maklik aanpas.
Monitering en voorkomende uitskakeling van foute in die LMS-stelsel
Die ELK oopbronsagtewareplatform help jou om die inligting wat tydens monitering ontvang word, te filter en te ontleed. Hierdie oopbronproduk bestaan uit drie kragtige instrumente vir die insameling, berging en ontleding van data: Elasticsearch, Logstash en Kibana. Die implementering van hierdie substelsel laat veral toe om in reële tyd te sien hoeveel foute in die stelsel voorgekom het, op watter bedieners en of hierdie foute herhaal word.
Nou kan die administrateur 'n probleem op 'n vroeë stadium opspoor, selfs voordat die gebruiker dit teëkom. Sulke proaktiewe monitering laat jou toe om stelselfoute te voorkom deur foute betyds uit te skakel. Daarbenewens kan ons verstaan hoe die stelsel se gedrag verander het na die opdatering, asook nuwe probleme opspoor as hulle verskyn.
Besigheidsbedrywighede Monitering
Benewens die basiese funksies om hulpbronverbruik te monitor, het die stelsel die vermoë om sakebedrywighede te ontleed en te beheer.
Deur die algehele uitvoeringstyd van sakebedrywighede te moniteer, kan u nuwe faktore identifiseer en die impak wat dit op die werking van die stelsel het, verstaan.
Monitering van die uitvoeringstyd van versoeke vir elke besigheidsdiens maak dit moontlik om bedrywighede op te spoor wat van die norm afwyk.
Die skermkiekie hierbo is 'n voorbeeld van die monitering van 'n agtergrondtaak in terme van sy afwyking van die norm.
Die lys van beheerde take in terme van hul aktiwiteit op 'n spesifieke bediener laat jou toe om foute te identifiseer - insluitend duplisering van taakuitvoering - oor alle bedieners.
Tendense in die uitvoeringstyd van agtergrondprosedures word ook gemonitor.
Die stelsel groei, ontwikkel en help om probleme te hanteer
Met die implementering van die beskryfde stelsel het die monitering van die werking van LMS-bedieners aansienlik vereenvoudig. Nietemin ontstaan verskillende soorte konflikte van tyd tot tyd, wat die spoed van dokumentvloei beïnvloed en gebruikersklagtes veroorsaak. Ons het dus besef dat dit nodig was om die gedrag van die toepassing self te beheer, en nie net die bedieners nie.
Om hierdie probleem op te los, is 'n balanseerder aan die moniteringstelsel gekoppel via API, wat met 'n groep toepassingsbedieners werk. Danksy dit kan die administrateur sien hoe lank dit die bediener neem om op elke gebruikerversoek te reageer.
Data oor bedienerreaksietye het vir ontleding beskikbaar geword, wat dit moontlik gemaak het om die verlangsaming van die LMS te koppel aan die prosesse wat op die bediener plaasvind. In die besonder het 'n interessante situasie na vore gekom: die bediener loop stadig, hoewel dit op hierdie oomblik nie gelaai is nie. Deur die anomalie te ontleed, het ons afwykings in die werking van vullisversamelaar Java ontdek. Uiteindelik het dit geblyk dat dit die verkeerde werking van hierdie diens was wat tot hierdie situasie gelei het. Deur beheer oor vullisversamelaar Java te neem, het ons die probleem heeltemal uitgeskakel.
Dit is hoe gratis sagteware die dokumentbestuurstelsel in die bankbedryf help ontwikkel en groei. Ons het slegs die hoofkwessies aangeroer wat verband hou met die VTB SDO-moniteringstelsel. As jy belangstel in besonderhede, vra in die kommentaar, ons sal graag ons ervaring met jou deel.
Bron: will.com