Is-sistema ta 'appoġġ tad-dokumentazzjoni fil-bank tagħna qed tiżviluppa u tiskala kontinwament, u r-rekwiżiti għall-veloċità u t-tolleranza tal-ħsara qed jiżdiedu biss. F'xi punt, iż-żamma ta' LMS mingħajr monitoraġġ ċentralizzat effettiv saret riskjuża wisq. Biex niżguraw il-proċessi tan-negozju fil-VTB u nissimplifikaw ix-xogħol tal-amministraturi, implimentajna soluzzjoni bbażata fuq munzell ta 'teknoloġiji miftuħa. Bl-għajnuna tagħha, nistgħu nirrispondu b'mod proattiv għall-inċidenti, u nevitaw problemi potenzjali. Taħt il-qatgħa hemm storja dwar l-esperjenza tagħna fl-użu ta’ softwer b’xejn biex nissorveljaw is-sistemi tan-negozju fuq skala kbira.
Għaliex tissorvelja s-sistema tal-ġestjoni tad-dokumenti tiegħek?
Mill-2005, l-appoġġ tad-dokumentazzjoni fil-VTB Bank ġie "immaniġġjat" mis-sistema CompanyMedia. L-LMS timpjega aktar minn 60 elf utent li joħolqu aktar minn miljun dokument ġdid kull xahar. Is-servers tagħna għandhom jiffunzjonaw 24 siegħa kuljum: fi kważi kull mument hemm 2500–3000 persuna fis-sistema, li huma konnessi mal-pajjiż kollu, minn Petropavlovsk-Kamchatsky sa Kaliningrad. Kull sekonda ta' operazzjoni LMS tfisser 10-15-il bidla.
Biex niżguraw li s-sistema twettaq il-kompiti assenjati tagħha b'mod preċiż, użajna infrastruttura li tollera l-ħsarat li tuża proxy servers, ibbilanċjar tat-talbiet, protezzjoni tal-informazzjoni, tfittxija full-test, rotot ta 'integrazzjoni u backup. Biex tappoġġja u tamministra proġett ta' din l-iskala teħtieġ riżorsi enormi. L-amministraturi jimmonitorjaw l-informazzjoni bażika dwar l-operat tas-server, it-tagħbija RAM, il-ħin tas-CPU, is-subsistema I/O, eċċ madwar l-arloġġ. Iżda minbarra dan, hemm bżonn ta' aktar analiżi sottili:
- il-kalkolu tal-ħin mgħoddi fuq l-eżekuzzjoni ta' xenarji tan-negozju;
- il-monitoraġġ tad-dinamika tal-prestazzjoni tas-sistema u t-tagħbija fuqha;
- tiftix għal devjazzjonijiet fil-komponenti tas-sistema mir-rekwiżiti mhux funzjonali approvati.
11-il sena wara l-introduzzjoni tal-LMS, il-kwistjoni ta 'rispons proattiv għal diversi tipi ta' żbalji saret speċjalment akuta. Il-maniġment tal-bank induna li x-xogħol mingħajr monitors u console tal-ħajja tas-sistema kien qed jilgħab man-nar: l-iċken falliment f'sistema kummerċjali ta 'dan il-livell jista' jirriżulta f'miljuni f'telf.
Fl-2016, bdejna nintroduċu għodod biex nidentifikaw malajr il-problemi fil-funzjonament tal-LMS, inkluż il-monitoraġġ ta' parametri ta' interess għalina f'ħin reali. Preċedentement, is-sistema ta 'monitoraġġ applikata kienet skjerata u ttestjata fil-qafas tal-infrastruttura tal-kumpanija InterTrust.
Kif beda kollox
Illum, is-sistema ta 'monitoraġġ tal-applikazzjoni ċentralizzata ta' VTB LMS, ibbażata fuq prodotti ta 'softwer b'sors miftuħ, tgħin biex tipprevjeni l-biċċa l-kbira tal-iżbalji assoċjati mal-fluss tad-dokumenti, tikklassifika l-problemi malajr u b'mod preċiż, u tirrispondi minnufih għal kwalunkwe inċident. Jinkludi żewġ sottosistemi:
- għall-monitoraġġ tal-infrastruttura tal-IT tas-servizzi tas-sistema;
- biex tissorvelja l-okkorrenza ta' żbalji fit-tħaddim tal-LMS.
Kollox beda b'app waħda ta 'monitoraġġ b'xejn. Wara li għaddejna minn diversi għażliet, issetilna fuq Zabbix - softwer b'xejn li oriġinarjament kien miktub għal servizzi u tagħmir bankarju. Din is-sistema PHP bbażata fuq il-web, li tista 'taħżen data f'MySQL, PostgreSQL, SQLite jew Oracle Database, kienet perfettament għall-bżonnijiet tagħna.
Zabbix imexxi l-aġenti tiegħu fuq kull server u jiġbor informazzjoni dwar metriċi ta 'interess f'ħin reali f'database waħda. Bl-użu tal-applikazzjoni, huwa konvenjenti li tinġabar data dwar it-tagħbija fuq il-proċessuri u RAM, dwar l-użu tan-netwerk u komponenti oħra, tiċċekkja d-disponibbiltà u r-rispons ta 'servizzi standard (SMTP jew HTTP), tmexxi programmi esterni, u tappoġġja l-monitoraġġ permezz SNMP.
Wara li skjerajna Zabbix, ikkonfigurajna metriċi tal-ħardwer standard, u għall-ewwel dan kien biżżejjed. Iżda VTB SDO qed jiżviluppa u jikber b'mod kostanti: fl-2016, in-numru ta 'servers żdied b'mod notevoli, dehru proċessi ta' migrazzjoni, il-Bank ta 'Moska, VTB Capital, u VTB24 ingħaqdu mas-sistema. M'għadx hemm biżżejjed metriċi standard, u għallimna lil Zabbix biex issegwi informazzjoni dwar il-preżenza ta' kjuwijiet fuq kull wieħed mill-volumi konnessi mas-server (barra mill-kaxxa Zabbix jirrifletti biss il-kju ġenerali tad-disk), kif ukoll iż-żmien li jieħu biex tlesti proċedura partikolari.
Barra minn hekk, aħna mgħammra s-sistema bi triggers multipli - kundizzjonijiet li taħthom tintbagħat notifika lill-amministratur (messaġġ f'Telegram, SMS għal numru tat-telefon jew email). Triggers jistgħu jiġu kkonfigurati għal kwalunkwe sett ta 'parametri. Pereżempju, tista 'tispeċifika ċertu persentaġġ ta' spazju ħieles fuq id-diska, u s-sistema se tavża lill-amministratur meta jintlaħaq il-limitu speċifikat, jew tinfurmak jekk proċedura fl-isfond tkun qed taħdem itwal mis-soltu.
Konnettività Java u viżwalizzazzjoni tad-data
Espandina b'mod sinifikanti l-firxa ta 'dejta analizzata, iżda dalwaqt dan ma kienx biżżejjed għal monitoraġġ effettiv. Filwaqt li nieħdu vantaġġ mill-fatt li l-LMS ta' CompanyMedia hija applikazzjoni Java, konna konna ma' Java Virtual Machine permezz tal-interface JMX u stajna nieħdu l-metriċi Java direttament. U mhux biss parametri standard ta 'attività vitali Java, bħall-intensità tax-xogħol GC jew il-konsum tal-Heap, iżda wkoll testijiet speċifiċi relatati direttament mal-kodiċi tal-applikazzjoni eżekutibbli.
Fl-2017, madwar sena wara l-implimentazzjoni tas-sistema ta 'monitoraġġ, deher ċar li sabiex taħdem b'mod normali bl-ammont kolossali ta' dejta miġbura f'Zabbix, ma kienx hemm biżżejjed viżwalizzazzjoni - skrins kumplessi. L-aħjar soluzzjoni għal din il-problema kienet għal darb'oħra softwer b'xejn - Grafana, dashboard konvenjenti għall-metriċi li jippermettilek li tiġbor id-dejta kollha fuq skrin wieħed.
L-interface Grafana hija interattiva, li tfakkar f'sistema OLAP. Is-subsistema turi d-dejta riċevuta minn Zabbix fuq skrin wieħed, u tippreżenta l-informazzjoni fil-forma ta 'grafiċi u dijagrammi li huma faċli biex jiġu analizzati. L-amministratur jista 'faċilment jippersonalizza l-flieli li għandu bżonn.
Monitoraġġ u eliminazzjoni preventiva ta 'żbalji fis-sistema LMS
Il-pjattaforma tas-softwer tas-sors miftuħ ELK tgħinek tiffiltra u tanalizza l-informazzjoni li tirċievi waqt il-monitoraġġ. Dan il-prodott opensource jikkonsisti fi tliet għodod qawwija għall-ġbir, il-ħażna u l-analiżi tad-dejta: Elasticsearch, Logstash u Kibana. L-implimentazzjoni ta 'din is-subsistema tippermetti, b'mod partikolari, li wieħed jara f'ħin reali kemm seħħew żbalji fis-sistema, fuq liema servers u jekk dawn l-iżbalji humiex ripetuti.
Issa l-amministratur jista 'jsib problema fi stadju bikri, anki qabel ma l-utent jiltaqa' magħha. Tali monitoraġġ proattiv jippermettilek tipprevjeni ħsarat fis-sistema billi telimina l-iżbalji fil-ħin. Barra minn hekk, nistgħu nifhmu kif l-imġieba tas-sistema nbidlet wara l-aġġornament, kif ukoll insibu problemi ġodda jekk jidhru.
Monitoraġġ tal-Operazzjonijiet tan-Negozju
Minbarra l-funzjonijiet bażiċi tal-monitoraġġ tal-konsum tar-riżorsi, is-sistema għandha l-abbiltà li tanalizza u tikkontrolla l-operazzjonijiet tan-negozju.
Il-monitoraġġ tal-ħin ġenerali tal-eżekuzzjoni tal-operazzjonijiet tan-negozju jippermettilek tidentifika fatturi ġodda u tifhem l-impatt li għandhom fuq it-tħaddim tas-sistema.
Il-monitoraġġ tal-ħin tal-eżekuzzjoni tat-talbiet għal kull servizz tan-negozju jagħmilha possibbli li jinstabu operazzjonijiet li jiddevjaw min-norma.
L-iskrin ta 'hawn fuq huwa eżempju ta' monitoraġġ ta 'kompitu fl-isfond f'termini tad-devjazzjoni tiegħu min-norma.
Il-lista tal-kompiti kkontrollati f'termini tal-attività tagħhom fuq server speċifiku tippermettilek tidentifika żbalji - inkluża d-duplikazzjoni tal-eżekuzzjoni tal-kompiti - fis-servers kollha.
It-tendenzi fil-ħin tal-eżekuzzjoni tal-proċeduri fl-isfond huma wkoll immonitorjati.
Is-sistema tikber, tiżviluppa u tgħin biex tlaħħaq mal-problemi
Bl-implimentazzjoni tas-sistema deskritta, il-monitoraġġ tal-operat tas-servers LMS sar simplifikat b'mod sinifikanti. Madankollu, jinqalgħu diversi tipi ta 'kunflitti minn żmien għal żmien, li jaffettwaw il-veloċità tal-fluss tad-dokumenti u jikkawżaw ilmenti tal-utenti. Allura indunajna li kien meħtieġ li tikkontrolla l-imġieba tal-applikazzjoni nnifisha, u mhux biss is-servers.
Biex issolvi din il-problema, balancer kien imqabbad mas-sistema ta 'monitoraġġ permezz tal-API, li taħdem ma' cluster ta 'servers tal-applikazzjoni. Grazzi għal dan, l-amministratur jista 'jara kemm idum is-server biex iwieġeb għal kull talba tal-utent.
Id-dejta dwar il-ħinijiet tar-rispons tas-server saret disponibbli għall-analiżi, li għamilha possibbli li t-tnaqqis tal-LMS jiġi marbut mal-proċessi li jseħħu fuq is-server. B'mod partikolari, ħarġet sitwazzjoni interessanti: is-server qed jaħdem bil-mod, għalkemm f'dan il-mument mhuwiex mgħobbi. Meta analizzaw l-anomalija, skoprejna devjazzjonijiet fl-operat ta’ Garbage Collector Java. Fl-aħħar irriżulta li kien l-operat ħażin ta’ dan is-servizz li wassal għal din is-sitwazzjoni. Billi ħadna l-kontroll ta’ Garbage Collector Java, eliminajna kompletament il-problema.
Dan huwa kif is-softwer b'xejn jgħin lis-sistema tal-ġestjoni tad-dokumenti fl-industrija bankarja tiżviluppa u tikber. Missejtna biss il-kwistjonijiet ewlenin relatati mas-sistema ta’ monitoraġġ VTB SDO. Jekk inti interessat fid-dettalji, staqsi fil-kummenti, aħna nkunu kuntenti li naqsmu l-esperjenza tagħna miegħek.
Sors: www.habr.com