Pankkimme dokumentaation tukijärjestelmä kehittyy ja skaalautuu jatkuvasti, ja nopeuden ja vikasietoisuuden vaatimukset vain kasvavat. Jossain vaiheessa LMS:n ylläpitäminen ilman tehokasta keskitettyä valvontaa tuli liian riskialtista. VTB:n liiketoimintaprosessien turvaamiseksi ja järjestelmänvalvojien työn yksinkertaistamiseksi otimme käyttöön ratkaisun, joka perustuu pinoon avoimia teknologioita. Sen avulla voimme reagoida tapahtumiin ennakoivasti ja ehkäistä mahdollisia ongelmia. Leikkauksen alla on tarina kokemuksestamme ilmaisten ohjelmistojen käyttämisestä suurten yritysjärjestelmien valvontaan.
Miksi valvoa dokumenttienhallintajärjestelmääsi?
Vuodesta 2005 lähtien VTB Bankin dokumentointitukea on "hallinnut" CompanyMedia-järjestelmä. LMS työllistää yli 60 tuhatta käyttäjää, jotka luovat yli miljoona uutta asiakirjaa joka kuukausi. Palvelimemme on toimittava 24 tuntia vuorokaudessa: järjestelmässä on lähes joka hetki 2500–3000 henkilöä, jotka ovat yhteydessä ympäri maata Petropavlovsk-Kamtšatskista Kaliningradiin. Jokainen LMS-toiminnan sekunti tarkoittaa 10–15 muutosta.
Varmistaaksemme, että järjestelmä suorittaa sille osoitetut tehtävät tarkasti, olemme ottaneet käyttöön vikasietoisen infrastruktuurin, jossa käytetään välityspalvelimia, pyyntöjen tasapainotusta, tietosuojausta, täystekstihakua, integraatioreittejä ja varmuuskopiointia. Tämän mittakaavan hankkeen tukeminen ja hallinnointi vaatii valtavia resursseja. Järjestelmänvalvojat valvovat perustietoja palvelimen toiminnasta, RAM-kuormasta, suorittimen ajasta, I/O-alijärjestelmästä ja niin edelleen kellon ympäri. Mutta tämän lisäksi tarvitaan hienovaraisempaa analytiikkaa:
- liiketoimintaskenaarioiden toteuttamiseen käytetyn ajan laskeminen;
- järjestelmän suorituskyvyn ja sen kuormituksen dynamiikan seuranta;
- järjestelmän osien poikkeamien etsiminen hyväksytyistä ei-toiminnallisista vaatimuksista.
11 vuotta LMS:n käyttöönoton jälkeen kysymys ennakoivasta reagoinnista erilaisiin virheisiin on tullut erityisen akuuttiksi. Pankin johto ymmärsi, että ilman näyttöjä ja järjestelmän käyttökonsolia työskentely oli tulella leikkimistä: tämän tason liiketoimintajärjestelmän pieninkin vika voi aiheuttaa miljoonien tappioiden.
Vuonna 2016 aloitimme ottamaan käyttöön työkaluja LMS:n toiminnassa olevien ongelmien nopeaan tunnistamiseen, mukaan lukien meitä kiinnostavien parametrien reaaliaikainen seuranta. Aiemmin sovellettu seurantajärjestelmä on otettu käyttöön ja testattu InterTrust-yritysinfrastruktuurin puitteissa.
Miten kaikki alkoi
Nykyään VTB LMS:n keskitetty sovellusvalvontajärjestelmä, joka perustuu avoimen lähdekoodin ohjelmistotuotteisiin, auttaa ehkäisemään useimmat asiakirjavirtaan liittyvät virheet, luokittelemaan ongelmat nopeasti ja tarkasti ja reagoimaan nopeasti kaikkiin tapahtumiin. Se sisältää kaksi alajärjestelmää:
- järjestelmäpalvelujen IT-infrastruktuurin valvontaan;
- seurata virheiden esiintymistä LMS:n toiminnassa.
Kaikki alkoi yhdestä ilmaisesta valvontasovelluksesta. Käytyämme läpi useita vaihtoehtoja päädyimme Zabbixiin - ilmaiseen ohjelmistoon, joka oli alun perin kirjoitettu pankkipalveluita ja -laitteita varten. Tämä PHP-verkkopohjainen järjestelmä, joka voi tallentaa tietoja MySQL-, PostgreSQL-, SQLite- tai Oracle Database -tietokantoihin, sopi täydellisesti tarpeisiimme.
Zabbix käyttää agenttejaan jokaisella palvelimella ja kerää tietoja kiinnostavista mittareista reaaliajassa yhteen tietokantaan. Sovelluksen avulla on kätevää kerätä tietoja prosessorien ja RAM-muistin kuormituksesta, verkon ja muiden komponenttien käytöstä, tarkistaa vakiopalvelujen (SMTP tai HTTP) saatavuus ja vaste, ajaa ulkoisia ohjelmia ja tukea seurantaa SNMP.
Zabbixin käyttöönoton jälkeen konfiguroimme vakiolaitteistomittareita, ja aluksi tämä riitti. Mutta VTB SDO kehittyy ja kasvaa jatkuvasti: vuonna 2016 palvelimien määrä kasvoi huomattavasti, siirtoprosessit ilmestyivät, Moskovan keskuspankki, VTB Capital ja VTB24 liittyivät järjestelmään. Vakiomittareita ei ole enää tarpeeksi, ja opetimme Zabbixin seuraamaan tietoja jonojen esiintymisestä jokaisessa palvelimeen liitetyssä taltiossa (pakkauksesta Zabbix heijastaa vain yleistä levyjonoa) sekä siihen kuluvaa aikaa. suorittaaksesi tietyn toimenpiteen.
Lisäksi varusimme järjestelmän useilla triggereillä - ehdoilla, joissa järjestelmänvalvojalle lähetetään ilmoitus (viesti Telegramissa, tekstiviesti puhelinnumeroon tai sähköposti). Triggerit voidaan määrittää mille tahansa parametrijoukolle. Voit esimerkiksi määrittää tietyn prosenttiosuuden vapaasta levytilasta, jolloin järjestelmä hälyttää järjestelmänvalvojalle, kun määritetty kynnys saavutetaan, tai ilmoittaa, jos taustatoiminto on käynnissä tavallista pidempään.
Java-yhteydet ja tietojen visualisointi
Laajensimme merkittävästi analysoitavan tiedon valikoimaa, mutta pian tämä ei riittänyt tehokkaaseen seurantaan. Hyödyntämällä sitä tosiasiaa, että CompanyMedian LMS on Java-sovellus, yhdistimme Java-virtuaalikoneeseen JMX-rajapinnan kautta ja pystyimme ottamaan Java-mittarit suoraan. Eikä vain Javan elintärkeän toiminnan vakioparametreja, kuten GC-työn intensiteetti tai keon kulutus, vaan myös suoritettavaan sovelluskoodiin suoraan liittyvät erityiset testit.
Vuonna 2017, noin vuosi seurantajärjestelmän käyttöönoton jälkeen, kävi selväksi, että voidakseen toimia normaalisti Zabbixissa kerätyn valtavan datamäärän kanssa, visualisointia - monimutkaisia näyttöjä ei ollut tarpeeksi. Paras ratkaisu tähän ongelmaan oli jälleen ilmainen ohjelmisto - Grafana, kätevä mittareiden kojelauta, jonka avulla voit koota kaikki tiedot yhdelle näytölle.
Grafana-käyttöliittymä on interaktiivinen ja muistuttaa OLAP-järjestelmää. Alajärjestelmä näyttää Zabbixin vastaanottamat tiedot yhdelle näytölle esittäen tiedot helposti analysoitavien kaavioiden ja kaavioiden muodossa. Ylläpitäjä voi helposti muokata tarvitsemiaan viipaleita.
LMS-järjestelmän virheiden valvonta ja ennaltaehkäisevä eliminointi
ELK:n avoimen lähdekoodin ohjelmistoalusta auttaa sinua suodattamaan ja analysoimaan monitoroinnin aikana saatua tietoa. Tämä avoimen lähdekoodin tuote koostuu kolmesta tehokkaasta työkalusta tietojen keräämiseen, tallentamiseen ja analysointiin: Elasticsearch, Logstash ja Kibana. Tämän alijärjestelmän toteutuksen avulla voidaan erityisesti nähdä reaaliajassa, kuinka monta virhettä järjestelmässä tapahtui, millä palvelimilla ja toistuvatko nämä virheet.
Nyt järjestelmänvalvoja voi havaita ongelman varhaisessa vaiheessa, jopa ennen kuin käyttäjä kohtaa sen. Tällaisen ennakoivan valvonnan avulla voit estää järjestelmän toimintahäiriöt poistamalla virheet ajoissa. Lisäksi voimme ymmärtää, miten järjestelmän toiminta on muuttunut päivityksen jälkeen, sekä havaita uusia ongelmia, jos niitä ilmenee.
Liiketoiminnan seuranta
Resurssien kulutuksen seurannan perustoimintojen lisäksi järjestelmällä on kyky analysoida ja ohjata liiketoimintaa.
Liiketoiminnan kokonaissuoritusajan seuranta mahdollistaa uusien tekijöiden tunnistamisen ja niiden vaikutuksen järjestelmän toimintaan.
Kunkin yrityspalvelun pyyntöjen suoritusajan seuranta mahdollistaa tavanomaisesta poikkeavien toimintojen havaitsemisen.
Yllä oleva kuvakaappaus on esimerkki taustatehtävän seurannasta sen poikkeaman normista.
Luettelo valvotuista tehtävistä niiden toiminnan perusteella tietyllä palvelimella antaa sinun tunnistaa virheet - mukaan lukien tehtävien suorittamisen päällekkäisyys - kaikissa palvelimissa.
Myös taustatoimenpiteiden suoritusaikojen kehitystä seurataan.
Järjestelmä kasvaa, kehittyy ja auttaa selviytymään ongelmista
Kuvatun järjestelmän käyttöönoton myötä LMS-palvelimien toiminnan valvonta on yksinkertaistunut merkittävästi. Siitä huolimatta ajoittain syntyy erilaisia konflikteja, jotka vaikuttavat dokumenttien kulkun nopeuteen ja aiheuttavat käyttäjien valituksia. Joten ymmärsimme, että oli tarpeen hallita itse sovelluksen toimintaa, ei vain palvelimia.
Tämän ongelman ratkaisemiseksi valvontajärjestelmään liitettiin balansoija API:n kautta, joka toimii sovelluspalvelimien klusterin kanssa. Tämän ansiosta järjestelmänvalvoja näkee, kuinka kauan palvelimelta kestää vastata kuhunkin käyttäjän pyyntöön.
Tietoa palvelimen vasteajoista tuli analysoitavaksi, mikä mahdollisti LMS:n hidastumisen linkittämisen palvelimella tapahtuviin prosesseihin. Erityisesti syntyi mielenkiintoinen tilanne: palvelin toimii hitaasti, vaikka se ei tällä hetkellä ole latautunut. Anomaliaa analysoimalla havaitsimme poikkeamia Garbage Collector Javan toiminnassa. Lopulta kävi ilmi, että tämän palvelun virheellinen toiminta johti tähän tilanteeseen. Ottamalla Garbage Collector Javan hallintaan poistimme ongelman kokonaan.
Näin ilmaiset ohjelmistot auttavat pankkialan dokumenttienhallintajärjestelmää kehittymään ja kasvamaan. Olemme käsitelleet vain VTB SDO -valvontajärjestelmään liittyviä pääkysymyksiä. Jos olet kiinnostunut yksityiskohdista, kysy kommenteissa, jaamme mielellämme kokemuksemme kanssasi.
Lähde: will.com