Sistem dokumentacijske podpore v naši banki se nenehno razvija in širi, zahteve po hitrosti in odpornosti na napake pa se samo povečujejo. Na neki točki je vzdrževanje LMS brez učinkovitega centraliziranega nadzora postalo preveč tvegano. Za zaščito poslovnih procesov v VTB in poenostavitev dela skrbnikov smo uvedli rešitev, ki temelji na nizu odprtih tehnologij. Z njegovo pomočjo se lahko proaktivno odzovemo na incidente in preprečimo morebitne težave. Pod rezom je zgodba o naših izkušnjah pri uporabi brezplačne programske opreme za spremljanje velikih poslovnih sistemov.
Zakaj spremljati svoj sistem za upravljanje dokumentov?
Od leta 2005 dokumentacijsko podporo v banki VTB »upravlja« sistem CompanyMedia. LMS zaposluje več kot 60 tisoč uporabnikov, ki vsak mesec ustvarijo več kot milijon novih dokumentov. Naši strežniki morajo delovati 24 ur na dan: skoraj vsak trenutek je v sistemu 2500–3000 ljudi, ki so povezani po vsej državi, od Petropavlovska Kamčatskega do Kaliningrada. Vsaka sekunda delovanja LMS pomeni 10–15 sprememb.
Da bi zagotovili, da sistem natančno izpolnjuje svoje dodeljene naloge, smo uvedli infrastrukturo, odporno na napake, z uporabo posredniških strežnikov, uravnoteženja zahtev, zaščite informacij, iskanja po celotnem besedilu, integracijskih poti in varnostnega kopiranja. Podpora in upravljanje projekta takšnega obsega zahteva ogromna sredstva. Administratorji XNUMX ur na dan spremljajo osnovne informacije o delovanju strežnika, obremenitvi RAM-a, času procesorja, V/I podsistemu itd. Toda poleg tega je potrebna bolj subtilna analitika:
- izračun časa, porabljenega za izvedbo poslovnih scenarijev;
- spremljanje dinamike delovanja sistema in obremenitev na njem;
- iskanje odstopanj sistemskih komponent od odobrenih nefunkcionalnih zahtev.
11 let po uvedbi LMS je vprašanje proaktivnega odzivanja na različne vrste napak postalo še posebej pereče. Vodstvo banke je ugotovilo, da je delo brez monitorjev in sistemske konzole life igranje z ognjem: že najmanjša okvara v poslovnem sistemu te ravni lahko povzroči milijonske izgube.
V letu 2016 smo začeli uvajati orodja za hitro prepoznavanje težav v delovanju LMS, vključno s spremljanjem parametrov, ki nas zanimajo, v realnem času. Uporabljeni nadzorni sistem je bil predhodno nameščen in testiran v okviru infrastrukture podjetja InterTrust.
Kako se je vse začelo
Danes centralizirani sistem za spremljanje aplikacij VTB LMS, ki temelji na izdelkih odprtokodne programske opreme, pomaga preprečiti večino napak, povezanih s pretokom dokumentov, hitro in natančno razvrstiti težave ter se takoj odzvati na morebitne incidente. Vključuje dva podsistema:
- za spremljanje IT infrastrukture sistemskih storitev;
- spremljati pojav napak pri delovanju LMS.
Vse se je začelo z eno samo brezplačno aplikacijo za spremljanje. Po pregledu več možnosti smo se odločili za Zabbix - brezplačno programsko opremo, ki je bila prvotno napisana za bančne storitve in opremo. Ta spletni sistem PHP, ki lahko shranjuje podatke v MySQL, PostgreSQL, SQLite ali Oracle Database, je popolnoma ustrezal našim potrebam.
Zabbix izvaja svoje agente na vsakem strežniku in zbira informacije o metrikah, ki vas zanimajo, v realnem času v eno bazo podatkov. Z aplikacijo je priročno zbirati podatke o obremenitvi procesorjev in RAM-a, o uporabi omrežja in drugih komponent, preverjati razpoložljivost in odzivnost standardnih storitev (SMTP ali HTTP), izvajati zunanje programe ter podpirati nadzor preko SNMP.
Po uvedbi Zabbixa smo konfigurirali standardne metrike strojne opreme in sprva je bilo to dovolj. Toda VTB SDO se nenehno razvija in raste: leta 2016 se je število strežnikov opazno povečalo, pojavili so se migracijski procesi, sistemu so se pridružili Moskovska banka, VTB Capital in VTB24. Ni več dovolj standardnih meritev in Zabbix smo naučili slediti informacijam o prisotnosti čakalnih vrst na vsakem nosilcu, povezanem s strežnikom (zabbix odraža samo splošno diskovno čakalno vrsto), kot tudi čas, ki je potreben za dokončanje določenega postopka.
Poleg tega smo sistem opremili z več sprožilci - pogoji, pod katerimi je poslano obvestilo administratorju (sporočilo v Telegramu, SMS na telefonsko številko ali e-pošta). Sprožilce je mogoče konfigurirati za poljuben nabor parametrov. Določite lahko na primer določen odstotek nezasedenega prostora na disku in sistem bo skrbnika opozoril, ko bo dosežen podani prag, ali vas obvestil, če se postopek v ozadju izvaja dlje kot običajno.
Java povezljivost in vizualizacija podatkov
Močno smo razširili nabor analiziranih podatkov, a kmalu to ni bilo dovolj za učinkovito spremljanje. Z izkoriščanjem dejstva, da je LMS podjetja CompanyMedia aplikacija Java, smo se povezali z Java Virtual Machine prek vmesnika JMX in lahko neposredno zajemali meritve Java. In ne le standardni parametri vitalne dejavnosti Java, kot je intenzivnost dela GC ali poraba kopice, ampak tudi posebni testi, povezani neposredno z izvedljivo kodo aplikacije.
Leta 2017, približno leto dni po uvedbi sistema za spremljanje, je postalo jasno, da za normalno delo z ogromno količino podatkov, zbranih v Zabbixu, ni dovolj vizualizacije - zapleteni zasloni. Najboljša rešitev tega problema je bila spet brezplačna programska oprema - Grafana, priročna nadzorna plošča za metrike, ki omogoča združevanje vseh podatkov na enem zaslonu.
Vmesnik Grafana je interaktiven in spominja na sistem OLAP. Podsistem prikazuje podatke, ki jih je prejel Zabbix, na enem samem zaslonu, pri čemer predstavlja informacije v obliki grafov in diagramov, ki jih je enostavno analizirati. Administrator lahko preprosto prilagodi rezine, ki jih potrebuje.
Spremljanje in preventivno odpravljanje napak v sistemu LMS
Odprtokodna programska platforma ELK vam pomaga filtrirati in analizirati informacije, prejete med spremljanjem. Ta odprtokodni izdelek sestavljajo tri močna orodja za zbiranje, shranjevanje in analiziranje podatkov: Elasticsearch, Logstash in Kibana. Implementacija tega podsistema omogoča predvsem, da v realnem času vidimo, koliko napak se je zgodilo v sistemu, na katerih strežnikih in ali se te napake ponavljajo.
Sedaj lahko skrbnik zazna težavo v zgodnji fazi, še preden nanjo naleti uporabnik. Takšno proaktivno spremljanje vam omogoča, da preprečite motnje v delovanju sistema s pravočasnim odpravljanjem napak. Poleg tega lahko razumemo, kako se je vedenje sistema spremenilo po posodobitvi, in zaznamo nove težave, če se pojavijo.
Spremljanje poslovanja
Poleg osnovnih funkcij spremljanja porabe virov ima sistem možnost analize in nadzora poslovanja.
Spremljanje celotnega časa izvajanja poslovnih operacij omogoča prepoznavanje novih dejavnikov in razumevanje vpliva le-teh na delovanje sistema.
Spremljanje časa izvajanja zahtevkov za posamezno poslovno storitev omogoča zaznavanje operacij, ki odstopajo od norme.
Zgornji posnetek zaslona je primer spremljanja opravila v ozadju v smislu njegovega odstopanja od norme.
Seznam nadzorovanih nalog glede na njihovo aktivnost na določenem strežniku vam omogoča prepoznavanje napak – vključno s podvajanjem izvajanja nalog – na vseh strežnikih.
Spremljajo se tudi trendi v času izvajanja postopkov v ozadju.
Sistem raste, se razvija in pomaga pri soočanju s težavami
Z implementacijo opisanega sistema se je spremljanje delovanja LMS strežnikov bistveno poenostavilo. Kljub temu se občasno pojavljajo različni konflikti, ki vplivajo na hitrost pretoka dokumentov in povzročajo pritožbe uporabnikov. Tako smo ugotovili, da je treba nadzorovati tudi obnašanje same aplikacije in ne le strežnikov.
Za rešitev te težave je bil na nadzorni sistem preko API-ja povezan balanser, ki deluje z gručo aplikacijskih strežnikov. Zahvaljujoč temu lahko skrbnik vidi, koliko časa potrebuje strežnik, da odgovori na vsako zahtevo uporabnika.
Podatki o odzivnih časih strežnika so postali na voljo za analizo, kar je omogočilo povezavo upočasnitve LMS s procesi, ki se dogajajo na strežniku. Predvsem se je pojavila zanimiva situacija: strežnik deluje počasi, čeprav v tem trenutku ni naložen. Z analizo anomalije smo odkrili odstopanja v delovanju Garbage Collector Java. Na koncu se je izkazalo, da je do te situacije botrovalo nepravilno delovanje te storitve. S prevzemom nadzora nad Garbage Collector Javo smo popolnoma odpravili težavo.
Tako brezplačna programska oprema pomaga pri razvoju in rasti sistema za upravljanje dokumentov v bančni industriji. Dotaknili smo se le glavnih vprašanj, povezanih s sistemom spremljanja VTB SDO. Če vas zanimajo podrobnosti, vprašajte v komentarjih, z veseljem vam bomo delili našo izkušnjo.
Vir: www.habr.com