It dokumintaasje-stipesysteem yn ús bank wurdt konstant ûntwikkele en skaalfergrutting, en de easken foar snelheid en fouttolerânsje wurde allinich grutter. Op in stuit waard it behâld fan in LMS sûnder effektive sintralisearre tafersjoch te riskant. Om saaklike prosessen by VTB te befeiligjen en it wurk fan behearders te ferienfâldigjen, hawwe wy in oplossing ymplementearre basearre op in stapel iepen technologyen. Mei har help kinne wy proaktyf reagearje op ynsidinten, it foarkommen fan potinsjele problemen. Under de besuniging is in ferhaal oer ús ûnderfining yn it brûken fan fergese software om grutskalige bedriuwssystemen te kontrolearjen.
Wêrom kontrolearje jo dokumintbehearsysteem?
Sûnt 2005 is dokumintaasjestipe by VTB Bank "beheard" troch it CompanyMedia-systeem. De LMS hat mear as 60 tûzen brûkers dy't elke moanne mear as in miljoen nije dokuminten meitsje. Us servers moatte 24 oeren deis funksjonearje: op hast elk momint binne d'r 2500-3000 minsken yn it systeem, dy't ferbûn binne troch it hiele lân, fan Petropavlovsk-Kamchatsky oant Kaliningrad. Elke sekonde fan LMS-operaasje betsjut 10-15 feroarings.
Om derfoar te soargjen dat it systeem syn tawiisde taken sekuer foldocht, hawwe wy in fouttolerante ynfrastruktuer ynset mei help fan proxy-tsjinners, fersykbalâns, ynformaasjebeskerming, folsleine tekstsykjen, yntegraasjerûtes en reservekopy. Om in projekt fan dizze skaal te stypjen en te behearjen is enoarme middels nedich. Behearders kontrolearje basisynformaasje oer tsjinner operaasje, RAM load, CPU tiid, I / O subsysteem, ensafuorthinne rûn de klok. Mar neist dit binne subtilere analytiken nedich:
- it berekkenjen fan de tiid bestege oan it útfieren fan saaklike senario's;
- tafersjoch op de dynamyk fan systeem prestaasjes en de lading derop;
- sykjen nei ôfwikingen yn systeemkomponinten fan 'e goedkarde net-funksjonele easken.
11 jier nei de ynfiering fan 'e LMS is it probleem fan pro-aktive reaksje op ferskate soarten flaters foaral akuut wurden. De direksje fan 'e bank realisearre dat it wurkjen sûnder monitors en in systeemlibbenskonsole mei fjoer spielde: de minste mislearring yn in bedriuwsysteem fan dit nivo koe liede ta miljoenen ferliezen.
Yn 2016 begûnen wy ark te yntrodusearjen foar fluch identifisearjen fan problemen yn it funksjonearjen fan 'e LMS, ynklusyf tafersjochparameters fan belang foar ús yn realtime. Earder waard it tapaste tafersjochsysteem ynset en testen yn it ramt fan 'e InterTrust-bedriuwynfrastruktuer.
Hoe it alles begon
Tsjintwurdich helpt it sintralisearre tapassingsmonitorsysteem fan VTB LMS, basearre op iepenboarne softwareprodukten, de measte flaters dy't ferbûn binne mei dokumintstreaming te foarkommen, problemen fluch en sekuer te klassifisearjen en prompt te reagearjen op alle ynsidinten. It omfettet twa subsystemen:
- foar it kontrolearjen fan de IT-ynfrastruktuer fan systeemtsjinsten;
- om it foarkommen fan flaters yn 'e wurking fan' e LMS te kontrolearjen.
It begon allegear mei ien fergese tafersjoch-app. Nei't wy ferskate opsjes hawwe trochgien, hawwe wy fêstige op Zabbix - fergese software dy't oarspronklik skreaun is foar banktsjinsten en apparatuer. Dit PHP web-basearre systeem, dat gegevens kin opslaan yn MySQL, PostgreSQL, SQLite of Oracle Database, wie in perfekte fit foar ús behoeften.
Zabbix rint har aginten op elke tsjinner en sammelt ynformaasje oer metriken fan belang yn echte tiid yn ien database. Mei help fan 'e applikaasje is it handich om gegevens te sammeljen oer de lading op prosessoren en RAM, oer it gebrûk fan it netwurk en oare komponinten, kontrolearje de beskikberens en antwurd fan standerttsjinsten (SMTP of HTTP), útfiere eksterne programma's en stipe tafersjoch fia SNMP.
Nei it ynsetten fan Zabbix, konfigureare wy standert hardwaremetriken, en earst wie dit genôch. Mar VTB SDO wurdt hieltyd ûntwikkeljen en groeit: yn 2016, it oantal tsjinners tanommen merkber, migraasje prosessen ferskynden, de Bank fan Moskou, VTB Capital, en VTB24 by it systeem. D'r binne net mear genôch standert metriken, en wy learden Zabbix om ynformaasje te folgjen oer de oanwêzigens fan wachtrigen op elk fan 'e folumes ferbûn mei de tsjinner (út' e doaze reflektet Zabbix allinich de algemiene skiifwachtrige), lykas ek de tiid dy't it nimt om in bepaalde proseduere te foltôgjen.
Derneist hawwe wy it systeem útrist mei meardere triggers - betingsten wêryn in notifikaasje wurdt stjoerd nei de behearder (in berjocht yn Telegram, in SMS nei in telefoannûmer of in e-post). Triggers kinne wurde konfigureare foar elke set fan parameters. Jo kinne bygelyks in bepaald persintaazje frije skiifromte opjaan, en it systeem sil de behearder warskôgje as de opjûne drompel wurdt berikt, of jo ynformearje as in eftergrûnproseduere langer rint as gewoanlik.
Java-ferbining en datafisualisaasje
Wy hawwe it berik fan analysearre gegevens signifikant útwreide, mar al gau wie dit net genôch foar effektive tafersjoch. Profitearje fan it feit dat CompanyMedia's LMS in Java-applikaasje is, hawwe wy ferbûn mei de Java Virtual Machine fia de JMX-ynterface en koenen Java-metriken direkt nimme. En net allinnich standert parameters fan Java fitale aktiviteit, lykas GC wurk yntinsiteit of Heap konsumpsje, mar ek spesifike tests yn ferbân direkt mei de útfierbere applikaasje koade.
Yn 2017, sawat in jier nei de ymplemintaasje fan it tafersjochsysteem, waard it dúdlik dat om normaal te wurkjen mei de kolossale hoemannichte gegevens sammele yn Zabbix, d'r net genôch fisualisaasje wie - komplekse skermen. De bêste oplossing foar dit probleem wie wer fergese software - Grafana, in handich dashboard foar metriken wêrmei jo alle gegevens op ien skerm kinne aggregearje.
De Grafana-ynterface is ynteraktyf, docht tinken oan in OLAP-systeem. It subsysteem toant de gegevens ûntfongen troch Zabbix op ien skerm, presintearje de ynformaasje yn 'e foarm fan grafiken en diagrammen dy't maklik te analysearjen binne. De behearder kin maklik oanpasse de plakjes hy nedich.
Monitoring en previntyf eliminaasje fan flaters yn it LMS-systeem
It ELK-iepenboarne-softwareplatfoarm helpt jo de ynformaasje te filterjen en te analysearjen dy't ûntfongen is tidens tafersjoch. Dit opensource-produkt bestiet út trije krêftige ark foar it sammeljen, opslaan en analysearjen fan gegevens: Elasticsearch, Logstash en Kibana. De ymplemintaasje fan dit subsysteem makket it benammen mooglik om yn realtime te sjen hoefolle flaters yn it systeem foarkommen binne, op hokker servers en oft dizze flaters wurde werhelle.
No kin de behearder in probleem yn in ier stadium ûntdekke, noch foardat de brûker it tsjinkomt. Sokke proaktive tafersjoch lit jo systeemflaters foarkomme troch flaters op 'e tiid te eliminearjen. Derneist kinne wy begripe hoe't it gedrach fan it systeem is feroare nei de fernijing, en ek nije problemen ûntdekke as se ferskine.
Business Operations Monitoring
Neist de basisfunksjes fan tafersjoch op boarneferbrûk hat it systeem de mooglikheid om saaklike operaasjes te analysearjen en te kontrolearjen.
It kontrolearjen fan 'e totale útfieringstiid fan saaklike operaasjes lit jo nije faktoaren identifisearje en de ynfloed dy't se hawwe op' e wurking fan it systeem begripe.
It kontrolearjen fan de útfieringstiid fan oanfragen foar elke saaklike tsjinst makket it mooglik om operaasjes te ûntdekken dy't ôfwike fan 'e noarm.
De skermprint hjirboppe is in foarbyld fan it kontrolearjen fan in eftergrûntaak yn termen fan syn ôfwiking fan 'e noarm.
De list mei kontroleare taken yn termen fan har aktiviteit op in spesifike server lit jo flaters identifisearje - ynklusyf duplikaasje fan taakútfiering - oer alle servers.
Trends yn 'e útfieringstiid fan eftergrûnprosedueres wurde ek kontrolearre.
It systeem groeit, ûntwikkelet en helpt om te gean mei problemen
Mei de ymplemintaasje fan it beskreaune systeem is it tafersjoch op de wurking fan LMS-tsjinners gâns ferienfâldige wurden. Dochs ûntsteane ferskate soarten konflikten fan tiid ta tiid, dy't de snelheid fan dokumintstream beynfloedzje en brûkersklachten feroarsaakje. Sa realisearre wy dat it nedich wie om it gedrach fan 'e applikaasje sels te kontrolearjen, en net allinich de servers.
Om dit probleem op te lossen, waard in balancer ferbûn mei it tafersjochsysteem fia API, dy't wurket mei in kluster fan applikaasjeservers. Hjirmei kin de behearder sjen hoe lang it duorret foar de tsjinner om op elk fersyk fan brûkers te reagearjen.
Gegevens oer tsjinner-antwurdtiden waarden beskikber foar analyse, wat it mooglik makke om de fertraging fan 'e LMS te keppeljen mei de prosessen dy't op' e tsjinner foarkomme. Benammen in nijsgjirrige situaasje ûntstie: de tsjinner rint stadich, hoewol't it op dit stuit is net laden. It analysearjen fan de anomaly, wy ûntdutsen ôfwikingen yn 'e wurking fan Garbage Collector Java. Uteinlik die bliken dat it de ferkearde wurking fan dizze tsjinst wie dy't liede ta dizze situaasje. Troch kontrôle oer Garbage Collector Java te nimmen, hawwe wy it probleem folslein elimineare.
Dit is hoe fergese software it dokumintbehearsysteem yn 'e banksektor helpt te ûntwikkeljen en te groeien. Wy hawwe allinich de haadproblemen oanrekke yn ferbân mei it VTB SDO-monitorsysteem. As jo ynteressearre binne yn details, freegje dan yn 'e opmerkingen, wy sille graach ús ûnderfining mei jo diele.
Boarne: www.habr.com