Sistèm sipò dokiman an nan bank nou an ap toujou ap devlope ak ogmante, ak kondisyon yo pou vitès ak tolerans fay yo ap ogmante sèlman. Nan kèk pwen, kenbe yon LMS san siveyans santralize efikas te vin twò riske. Pou sekirize pwosesis biznis nan VTB epi senplifye travay administratè yo, nou te aplike yon solisyon ki baze sou yon pil teknoloji louvri. Avèk èd li, nou ka reyaji aktif nan ensidan yo, pou anpeche pwoblèm potansyèl yo. Anba koupe a se yon istwa sou eksperyans nou nan itilize lojisyèl gratis pou kontwole sistèm biznis gwo echèl.
Poukisa kontwole sistèm jesyon dokiman ou a?
Depi 2005, sipò dokiman nan VTB Bank te "jere" pa sistèm nan CompanyMedia. LMS a anplwaye plis pase 60 mil itilizatè ki kreye plis pase yon milyon nouvo dokiman chak mwa. Sèvè nou yo dwe fonksyone 24 èdtan pa jou: nan prèske nenpòt moman gen 2500-3000 moun nan sistèm nan, ki konekte nan tout peyi a, soti nan Petropavlovsk-Kamchatsky nan Kaliningrad. Chak segonn nan operasyon LMS vle di 10-15 chanjman.
Pou asire ke sistèm lan byen ranpli travay li yo asiyen, nou te deplwaye yon enfrastrikti toleran fay ki sèvi ak sèvè proxy, balans demann, pwoteksyon enfòmasyon, rechèch tèks konplè, wout entegrasyon ak backup. Pou sipòte ak administre yon pwojè nan echèl sa a mande anpil resous. Administratè yo kontwole enfòmasyon debaz sou operasyon sèvè, chaj RAM, tan CPU, I/O subsystem, ak sou revèy la. Men, anplis sa a, yo bezwen plis analiz sibtil:
- kalkile tan ki pase nan egzekite senaryo biznis;
- kontwole dinamik pèfòmans sistèm ak chaj sou li;
- chèche devyasyon nan eleman sistèm nan kondisyon ki apwouve ki pa fonksyonèl.
11 ane apre entwodiksyon LMS la, pwoblèm nan repons aktif nan divès kalite erè te vin espesyalman egi. Jesyon bank la reyalize ke travay san monitè ak yon konsole lavi sistèm te jwe ak dife: echèk la mwendr nan yon sistèm biznis nan nivo sa a te kapab lakòz dè milyon nan pèt.
Nan 2016, nou te kòmanse entwodwi zouti pou idantifye byen vit pwoblèm nan fonksyone LMS la, ki gen ladan siveyans paramèt ki enterese nou an tan reyèl. Anvan sa, sistèm siveyans aplike a te deplwaye ak teste nan kad enfrastrikti konpayi InterTrust la.
Ki jan li tout te kòmanse
Jodi a, sistèm siveyans aplikasyon santralize VTB LMS, ki baze sou pwodwi lojisyèl sous louvri, ede anpeche pifò erè ki asosye ak koule dokiman yo, byen vit epi byen klasifye pwoblèm yo, epi byen vit reponn a nenpòt ensidan. Li gen ladan de sous-sistèm:
- pou kontwole enfrastrikti IT nan sèvis sistèm;
- kontwole ensidan an nan erè nan operasyon an nan LMS la.
Li tout te kòmanse ak yon sèl app siveyans gratis. Apre yo fin ale nan plizyè opsyon, nou te etabli sou Zabbix - lojisyèl gratis ki te ekri orijinal pou sèvis bankè ak ekipman. Sistèm PHP ki baze sou entènèt sa a, ki ka estoke done nan MySQL, PostgreSQL, SQLite oswa Oracle Database, te yon anfòm pafè pou bezwen nou yo.
Zabbix kouri ajan li yo sou chak sèvè epi kolekte enfòmasyon sou mezi enterè an tan reyèl nan yon sèl baz done. Sèvi ak aplikasyon an, li se pratik yo kolekte done sou chaj la sou processeurs ak RAM, sou itilizasyon rezo a ak lòt konpozan, tcheke disponiblite a ak repons nan sèvis estanda (SMTP oswa HTTP), kouri pwogram ekstèn, ak sipòte siveyans atravè aplikasyon an. SNMP.
Èske w gen deplwaye Zabbix, nou te konfigirasyon estanda kenkayri metrik, e nan premye sa a te ase. Men, VTB SDO toujou ap devlope ak ap grandi: nan 2016, kantite sèvè ogmante notables, pwosesis migrasyon parèt, Bank Moskou, VTB Capital, ak VTB24 te rantre nan sistèm lan. Pa gen ase mezi estanda ankò, epi nou te anseye Zabbix pou swiv enfòmasyon sou prezans ke moun kap kriye sou chak volim ki konekte ak sèvè a (nan bwat Zabbix reflete sèlman keu disk jeneral la), ansanm ak tan li pran. pou konplete yon pwosedi patikilye.
Anplis de sa, nou ekipe sistèm nan ak deklannche miltip - kondisyon anba ki yon notifikasyon voye bay administratè a (yon mesaj nan Telegram, yon SMS nan yon nimewo telefòn oswa yon imèl). Deklanche yo ka configuré pou nenpòt seri paramèt. Pou egzanp, ou ka presize yon sèten pousantaj nan espas ki gen kapasite gratis, epi sistèm nan pral alèt administratè a lè papòt la espesifye rive, oswa enfòme w si yon pwosedi background ap kouri pi lontan pase nòmal.
Koneksyon Java ak vizyalizasyon done
Nou siyifikativman elaji seri done analize yo, men byento sa a pa t ase pou siveyans efikas. Pran avantaj de lefèt ke LMS CompanyMedia a se yon aplikasyon Java, nou konekte ak Java Virtual Machine atravè koòdone JMX la epi nou te kapab pran mezi Java dirèkteman. Epi se pa sèlman paramèt estanda nan aktivite vital Java, tankou entansite travay GC oswa konsomasyon Heap, men tou, tès espesifik ki gen rapò dirèkteman ak kòd aplikasyon an ègzèkutabl.
Nan 2017, apeprè yon ane apre aplikasyon an nan sistèm siveyans lan, li te vin klè ke yo nan lòd yo travay nòmalman ak kantite lajan an kolosal nan done kolekte nan Zabbix, pa te gen ase vizyalizasyon - ekran konplèks. Pi bon solisyon pou pwoblèm sa a te ankò lojisyèl gratis - Grafana, yon tablodbò pratik pou metrik ki pèmèt ou rasanble tout done sou yon sèl ekran.
Koòdone nan Grafana se entèaktif, okoumansman de yon sistèm OLAP. Sou-sistèm nan montre done Zabbix resevwa yo sou yon sèl ekran, prezante enfòmasyon yo sou fòm graf ak dyagram ki fasil pou analize. Administratè a ka byen fasil personnaliser tranch li bezwen yo.
Siveyans ak eliminasyon prevantif nan erè nan sistèm nan LMS
Platfòm lojisyèl sous louvri ELK la ede w filtre ak analize enfòmasyon yo resevwa pandan siveyans. Pwodui opensource sa a konsiste de twa zouti pwisan pou kolekte, estoke ak analize done: Elasticsearch, Logstash ak Kibana. Aplikasyon an nan subsistèm sa a pèmèt, an patikilye, yo wè an tan reyèl konbyen erè ki te fèt nan sistèm nan, sou ki sèvè ak si erè sa yo ap repete.
Koulye a, administratè a ka detekte yon pwoblèm nan yon etap bonè, menm anvan itilizatè a rankontre li. Siveyans pwoaktif sa yo pèmèt ou anpeche fonksyone byen sistèm lè w elimine erè nan yon fason apwopriye. Anplis de sa, nou ka konprann ki jan konpòtman sistèm nan chanje apre aktyalizasyon a, osi byen ke detekte nouvo pwoblèm si yo parèt.
Siveyans operasyon biznis
Anplis de fonksyon debaz siveyans konsomasyon resous, sistèm nan gen kapasite pou analize ak kontwole operasyon biznis yo.
Siveyans tan egzekisyon an jeneral nan operasyon biznis pèmèt ou idantifye nouvo faktè ak konprann enpak yo genyen sou operasyon an nan sistèm nan.
Siveyans tan egzekisyon demann pou chak sèvis biznis fè li posib pou detekte operasyon ki devye ak nòmal la.
Ekran ki pi wo a se yon egzanp siveyans yon travay background an tèm de devyasyon li nan nòmal la.
Lis travay kontwole an tèm de aktivite yo sou yon sèvè espesifik pèmèt ou idantifye erè - ki gen ladan repetisyon nan ekzekisyon travay - atravè tout sèvè.
Tandans nan tan ekzekisyon pwosedi background yo tou kontwole.
Sistèm nan grandi, devlope epi ede fè fas ak pwoblèm
Avèk aplikasyon an nan sistèm ki dekri a, siveyans operasyon an nan serveurs LMS te vin siyifikativman senplifye. Men, divès kalite konfli rive detanzantan, ki afekte vitès la nan koule dokiman yo ak sa ki lakòz plent itilizatè yo. Se konsa, nou reyalize ke li te nesesè yo kontwole konpòtman an nan aplikasyon an tèt li, epi yo pa sèlman serveurs yo.
Pou rezoud pwoblèm sa a, yo te konekte yon balans ak sistèm siveyans atravè API, ki travay ak yon gwoup sèvè aplikasyon. Mèsi a sa a, administratè a ka wè konbyen tan li pran sèvè a reponn a chak demann itilizatè.
Done sou tan repons sèvè yo te vin disponib pou analiz, sa ki te fè li posib pou konekte ralentissement LMS la ak pwosesis ki fèt sou sèvè a. An patikilye, yon sitiyasyon enteresan parèt: sèvè a ap kouri dousman, byenke nan moman sa a li pa chaje. Analize anomali a, nou dekouvri devyasyon nan operasyon an nan Pèseptè fatra Java. Nan fen a, li te tounen soti ke li te operasyon an kòrèk nan sèvis sa a ki te mennen nan sitiyasyon sa a. Lè nou pran kontwòl Garbage Collector Java, nou konplètman elimine pwoblèm nan.
Sa a se ki jan lojisyèl gratis ede sistèm jesyon dokiman an nan endistri bankè a devlope ak grandi. Nou te touche sèlman pwoblèm prensipal yo ki gen rapò ak sistèm siveyans VTB SDO a. Si w enterese nan detay, mande nan kòmantè yo, nou pral kontan pataje eksperyans nou avèk ou.
Sous: www.habr.com