Ang sistema sa pagsuporta sa dokumentasyon sa among bangko kanunay nga nag-uswag ug nag-scale, ug ang mga kinahanglanon alang sa katulin ug pagtugot sa sayup nagkadaghan. Sa usa ka punto, ang pagmintinar sa usa ka LMS nga walay epektibo nga sentralisadong pagmonitor nahimong peligroso kaayo. Aron ma-secure ang mga proseso sa negosyo sa VTB ug mapasimple ang trabaho sa mga administrador, nagpatuman kami og solusyon base sa usa ka stack sa bukas nga mga teknolohiya. Uban sa tabang niini, mahimo kitang aktibo nga makatubag sa mga insidente, nga malikayan ang mga potensyal nga problema. Ubos sa pagputol mao ang usa ka istorya bahin sa among kasinatian sa paggamit sa libre nga software aron ma-monitor ang mga dagkong sistema sa negosyo.
Ngano nga bantayan ang imong sistema sa pagdumala sa dokumento?
Sukad sa 2005, ang suporta sa dokumentasyon sa VTB Bank "gidumala" sa sistema sa CompanyMedia. Ang LMS naggamit sa kapin sa 60 ka libo nga tiggamit nga naghimo og labaw sa usa ka milyon nga bag-ong mga dokumento kada bulan. Ang among mga server kinahanglan nga molihok 24 oras sa usa ka adlaw: sa hapit bisan unsang orasa adunay 2500-3000 nga mga tawo sa sistema, nga konektado sa tibuuk nasud, gikan sa Petropavlovsk-Kamchatsky hangtod sa Kaliningrad. Ang matag segundo sa operasyon sa LMS nagpasabot og 10β15 ka kausaban.
Aron masiguro nga ang sistema tukma nga nagtuman sa iyang gi-assign nga mga buluhaton, kami nag-deploy sa usa ka fault-tolerant nga imprastraktura gamit ang mga proxy server, paghangyo sa pagbalanse, pagpanalipod sa impormasyon, pagpangita sa bug-os nga teksto, mga ruta sa panagsama ug pag-backup. Ang pagsuporta ug pagdumala sa usa ka proyekto sa kini nga sukod nanginahanglan daghang mga kapanguhaan. Gimonitor sa mga tigdumala ang sukaranang impormasyon bahin sa operasyon sa server, pagkarga sa RAM, oras sa CPU, subsystem sa I/O, ug uban pa sa tibuok orasan. Apan gawas pa niini, gikinahanglan ang mas maliputon nga analytics:
- pagkalkula sa oras nga gigugol sa pagpatuman sa mga senaryo sa negosyo;
- pag-monitor sa dynamics sa performance sa sistema ug pagkarga niini;
- pagpangita alang sa mga pagtipas sa mga sangkap sa sistema gikan sa giaprobahan nga dili magamit nga mga kinahanglanon.
11 ka tuig human sa pagpaila sa LMS, ang isyu sa proactive nga tubag sa lain-laing mga matang sa mga sayop nahimong ilabi na nga mahait. Ang pagdumala sa bangko nakaamgo nga ang pagtrabaho nga walay mga monitor ug usa ka sistema sa kinabuhi nga console nagdula sa kalayo: ang gamay nga kapakyasan sa usa ka sistema sa negosyo sa kini nga lebel mahimong moresulta sa milyon-milyon nga mga pagkawala.
Sa 2016, nagsugod kami sa pagpaila sa mga himan alang sa dali nga pag-ila sa mga problema sa pagpaandar sa LMS, lakip ang pag-monitor sa mga parameter nga interesado kanamo sa tinuud nga oras. Kaniadto, ang gipadapat nga sistema sa pag-monitor gi-deploy ug gisulayan sulod sa balangkas sa imprastraktura sa kompanya sa InterTrust.
Giunsa kini pagsugod
Karon, ang sentralisadong sistema sa pag-monitor sa aplikasyon sa VTB LMS, nga gibase sa mga produkto sa open source software, makatabang sa pagpugong sa kadaghanan sa mga kasaypanan nga may kalabotan sa pagdagayday sa dokumento, dali ug tukma nga pagklasipikar sa mga problema, ug dali nga pagtubag sa bisan unsang mga insidente. Kini naglakip sa duha ka subsystem:
- alang sa pag-monitor sa imprastraktura sa IT sa mga serbisyo sa sistema;
- sa pagmonitor sa mga panghitabo sa mga sayop sa operasyon sa LMS.
Nagsugod ang tanan sa usa ka libre nga monitoring app. Pagkahuman sa daghang mga kapilian, naghusay kami sa Zabbix - libre nga software nga orihinal nga gisulat alang sa mga serbisyo sa bangko ug kagamitan. Kining PHP nga web-based nga sistema, nga makatipig og datos sa MySQL, PostgreSQL, SQLite o Oracle Database, maoy hingpit nga haum sa atong mga panginahanglan.
Ang Zabbix nagpadagan sa mga ahente niini sa matag server ug nagkolekta og impormasyon sa metrics sa interes sa tinuod nga panahon ngadto sa usa ka database. Gamit ang aplikasyon, dali nga makolekta ang datos sa load sa mga processor ug RAM, sa paggamit sa network ug uban pang mga sangkap, susihon ang pagkaanaa ug tubag sa mga standard nga serbisyo (SMTP o HTTP), pagpadagan sa mga programa sa gawas, ug pagsuporta sa pag-monitor pinaagi sa SNMP.
Sa pag-deploy sa Zabbix, among gi-configure ang standard nga mga sukatan sa hardware, ug sa una igo na kini. Apan ang VTB SDO kanunay nga nag-uswag ug nag-uswag: sa 2016, ang gidaghanon sa mga server miuswag nga mamatikdan, ang mga proseso sa paglalin nagpakita, ang Bank of Moscow, VTB Capital, ug VTB24 miapil sa sistema. Wala nay igo nga standard metrics, ug gitudloan namo ang Zabbix sa pagsubay sa impormasyon mahitungod sa presensya sa mga pila sa matag usa sa mga volume nga konektado sa server (gikan sa kahon ang Zabbix nagpakita lamang sa kinatibuk-ang disk queue), ingon man ang oras nga gikinahanglan. aron makompleto ang usa ka partikular nga pamaagi.
Dugang pa, gisangkapan namon ang sistema sa daghang mga hinungdan - mga kondisyon diin ang usa ka pahibalo ipadala sa tagdumala (usa ka mensahe sa Telegram, usa ka SMS sa usa ka numero sa telepono o usa ka email). Ang mga trigger mahimong ma-configure alang sa bisan unsang set sa mga parameter. Pananglitan, mahimo nimong itakda ang usa ka piho nga porsyento sa libre nga espasyo sa disk, ug ang sistema magpaalerto sa tagdumala kung ang gitakda nga threshold maabot, o ipahibalo kanimo kung ang usa ka pamaagi sa background nagdagan nga mas dugay kaysa sa naandan.
Ang koneksyon sa Java ug pagtan-aw sa datos
Mahinungdanon nga gipalapdan namon ang sakup sa na-analisar nga datos, apan sa wala madugay kini dili igo alang sa epektibo nga pagmonitor. Gipahimuslan ang kamatuoran nga ang LMS sa CompanyMedia usa ka aplikasyon sa Java, nagkonektar kami sa Java Virtual Machine pinaagi sa interface sa JMX ug direkta nga nakuha ang mga sukatan sa Java. Ug dili lamang mga standard nga mga parameter sa Java importante nga kalihokan, sama sa GC work intensity o Heap konsumo, apan usab piho nga mga pagsulay nga direktang may kalabutan sa executable application code.
Sa 2017, mga usa ka tuig pagkahuman sa pagpatuman sa sistema sa pag-monitor, nahimong tin-aw nga aron magtrabaho nga normal sa daghang mga datos nga nakolekta sa Zabbix, walaβy igo nga pagtan-aw - komplikado nga mga screen. Ang labing kaayo nga solusyon sa kini nga problema mao na usab ang libre nga software - Grafana, usa ka kombenyente nga dashboard alang sa mga sukatan nga nagtugot kanimo sa pagtipon sa tanan nga datos sa usa ka screen.
Ang interface sa Grafana interactive, nga nagpahinumdom sa usa ka sistema sa OLAP. Gipakita sa subsystem ang datos nga nadawat sa Zabbix sa usa ka screen, nga nagpresentar sa kasayuran sa porma sa mga graph ug mga diagram nga dali nga analisahon. Ang administrador dali nga ma-customize ang mga hiwa nga iyang gikinahanglan.
Pag-monitor ug pagpugong sa pagwagtang sa mga sayup sa sistema sa LMS
Ang ELK open source software platform makatabang kanimo sa pagsala ug pag-analisar sa impormasyon nga nadawat atol sa pagmonitor. Kining opensource nga produkto naglangkob sa tulo ka gamhanang himan alang sa pagkolekta, pagtipig ug pag-analisar sa datos: Elasticsearch, Logstash ug Kibana. Ang pagpatuman niini nga subsystem nagtugot, ilabina, nga makita sa tinuod nga panahon kon pila ka mga sayop ang nahitabo sa sistema, diin ang mga server ug kung kini nga mga sayup gisubli.
Karon ang tagdumala makamatikod sa usa ka problema sa sayo nga yugto, bisan sa wala pa kini makit-an sa tiggamit. Ang ingon nga aktibo nga pag-monitor nagtugot kanimo sa pagpugong sa mga malfunction sa sistema pinaagi sa pagwagtang sa mga sayup sa tukma sa panahon nga paagi. Dugang pa, mahibal-an namon kung giunsa ang pagbag-o sa pamatasan sa sistema pagkahuman sa pag-update, ingon usab mahibal-an ang mga bag-ong problema kung kini makita.
Pag-monitor sa Operasyon sa Negosyo
Dugang pa sa mga sukaranan nga gimbuhaton sa pagmonitor sa konsumo sa kapanguhaan, ang sistema adunay katakus sa pag-analisar ug pagkontrol sa mga operasyon sa negosyo.
Ang pag-monitor sa kinatibuk-ang oras sa pagpatuman sa mga operasyon sa negosyo nagtugot kanimo nga mahibal-an ang mga bag-ong hinungdan ug masabtan ang epekto niini sa operasyon sa sistema.
Ang pag-monitor sa oras sa pagpatuman sa mga hangyo alang sa matag serbisyo sa negosyo nagpaposible nga makit-an ang mga operasyon nga nagtipas gikan sa naandan.
Ang screenshot sa ibabaw usa ka pananglitan sa pag-monitor sa usa ka buluhaton sa background sa mga termino sa pagtipas niini gikan sa naandan.
Ang lista sa mga kontrolado nga buluhaton sa termino sa ilang kalihokan sa usa ka piho nga server nagtugot kanimo sa pag-ila sa mga sayup - lakip ang pagdoble sa pagpatuman sa buluhaton - sa tanan nga mga server.
Ang mga uso sa oras sa pagpatuman sa mga pamaagi sa background gibantayan usab.
Ang sistema motubo, molambo ug motabang sa pagsagubang sa mga problema
Sa pagpatuman sa gihulagway nga sistema, ang pagmonitor sa operasyon sa mga server sa LMS nahimong labi nga gipasimple. Bisan pa, ang lainlaing mga lahi sa panagbangi motungha matag karon ug unya, nga nakaapekto sa katulin sa pag-agos sa dokumento ug hinungdan sa mga reklamo sa tiggamit. Mao nga nahibal-an namon nga kinahanglan nga kontrolon ang pamatasan sa aplikasyon mismo, ug dili lamang ang mga server.
Aron masulbad kini nga problema, usa ka balancer ang konektado sa monitoring system pinaagi sa API, nga nagtrabaho sa usa ka cluster sa mga server sa aplikasyon. Salamat niini, makita sa tagdumala kung unsa kadugay ang pagtubag sa server sa matag hangyo sa tiggamit.
Ang datos sa mga oras sa pagtubag sa server nahimong magamit alang sa pagtuki, nga nagpaposible sa pagsumpay sa paghinay sa LMS sa mga proseso nga nahitabo sa server. Sa partikular, usa ka makapaikag nga sitwasyon ang mitumaw: ang server hinay nga nagdagan, bisan kung sa karon wala kini gikarga. Sa pag-analisar sa anomaliya, among nadiskobrehan ang mga pagtipas sa operasyon sa Garbage Collector Java. Sa katapusan, kini nahimo nga ang dili husto nga operasyon sa kini nga serbisyo nga nagdala sa kini nga kahimtang. Pinaagi sa pagkontrolar sa Garbage Collector Java, hingpit namong giwagtang ang problema.
Ingon niini ang paagi nga ang libre nga software makatabang sa sistema sa pagdumala sa dokumento sa industriya sa bangko nga molambo ug motubo. Among gihikap lamang ang mga nag-unang isyu nga may kalabutan sa VTB SDO monitoring system. Kung interesado ka sa mga detalye, pangutana sa mga komento, malipay kami nga ipaambit ang among kasinatian kanimo.
Source: www.habr.com