Mae'r system cymorth dogfennaeth yn ein banc yn datblygu ac yn graddio'n gyson, ac mae'r gofynion ar gyfer goddefgarwch cyflymder a namau yn cynyddu yn unig. Ar ryw adeg, roedd cynnal LMS heb fonitro canolog effeithiol yn ormod o risg. Er mwyn sicrhau prosesau busnes yn VTB a symleiddio gwaith gweinyddwyr, fe wnaethom weithredu datrysiad yn seiliedig ar bentwr o dechnolegau agored. Gyda'i help, gallwn ymateb yn rhagweithiol i ddigwyddiadau, gan atal problemau posibl. O dan y toriad mae stori am ein profiad o ddefnyddio meddalwedd am ddim i fonitro systemau busnes ar raddfa fawr.
Pam monitro eich system rheoli dogfennau?
Ers 2005, mae cymorth dogfennaeth yn VTB Bank wedi cael ei βreoliβ gan system CompanyMedia. Mae'r LMS yn cyflogi dros 60 mil o ddefnyddwyr sy'n creu mwy na miliwn o ddogfennau newydd bob mis. Rhaid i'n gweinyddwyr weithredu 24 awr y dydd: ar bron unrhyw bryd mae 2500-3000 o bobl yn y system, sydd wedi'u cysylltu ledled y wlad, o Petropavlovsk-Kamchatsky i Kaliningrad. Mae pob eiliad o weithrediad LMS yn golygu 10-15 o newidiadau.
Er mwyn sicrhau bod y system yn cyflawni ei thasgau penodedig yn gywir, rydym wedi defnyddio seilwaith sy'n goddef namau gan ddefnyddio gweinyddion dirprwyol, cydbwyso ceisiadau, diogelu gwybodaeth, chwiliad testun llawn, llwybrau integreiddio a chopΓ―au wrth gefn. Mae angen adnoddau enfawr i gefnogi a gweinyddu prosiect o'r maint hwn. Mae gweinyddwyr yn monitro gwybodaeth sylfaenol am weithrediad gweinydd, llwyth RAM, amser CPU, is-system I/O, ac yn y blaen o gwmpas y cloc. Ond ar wahΓ’n i hyn, mae angen dadansoddiadau mwy cynnil:
- cyfrifo'r amser a dreulir ar weithredu senarios busnes;
- monitro deinameg perfformiad system a llwyth arno;
- chwilio am wyriadau mewn cydrannau system oddi wrth y gofynion anweithredol cymeradwy.
11 mlynedd ar Γ΄l cyflwyno'r LMS, mae'r mater o ymateb rhagweithiol i wahanol fathau o wallau wedi dod yn arbennig o ddifrifol. Sylweddolodd rheolwyr y banc fod gweithio heb fonitorau a chonsol bywyd system yn chwarae gyda thΓ’n: gallai'r methiant lleiaf mewn system fusnes o'r lefel hon arwain at golledion miliynau.
Yn 2016, fe wnaethom ddechrau cyflwyno offer ar gyfer nodi problemau gyda gweithrediad yr LMS yn gyflym, gan gynnwys monitro paramedrau sydd o ddiddordeb i ni mewn amser real. Yn flaenorol, roedd y system fonitro gymhwysol yn cael ei defnyddio a'i phrofi o fewn fframwaith seilwaith cwmnΓ―au InterTrust.
Sut y dechreuodd i gyd
Heddiw, mae system monitro cymwysiadau ganolog VTB LMS, sy'n seiliedig ar gynhyrchion meddalwedd ffynhonnell agored, yn helpu i atal y rhan fwyaf o wallau sy'n gysylltiedig Γ’ llif dogfennau, dosbarthu problemau yn gyflym ac yn gywir, ac ymateb yn brydlon i unrhyw ddigwyddiadau. Mae'n cynnwys dwy is-system:
- ar gyfer monitro seilwaith TG gwasanaethau system;
- monitro nifer y gwallau yng ngweithrediad yr LMS.
Dechreuodd y cyfan gydag un app monitro am ddim. Ar Γ΄l mynd trwy sawl opsiwn, fe wnaethom setlo ar Zabbix - meddalwedd am ddim a ysgrifennwyd yn wreiddiol ar gyfer gwasanaethau ac offer bancio. Roedd y system PHP hon ar y we, sy'n gallu storio data yn MySQL, PostgreSQL, SQLite neu Gronfa Ddata Oracle, yn ffit perffaith ar gyfer ein hanghenion.
Mae Zabbix yn rhedeg ei asiantau ar bob gweinydd ac yn casglu gwybodaeth am fetrigau o ddiddordeb mewn amser real i mewn i un gronfa ddata. Gan ddefnyddio'r cymhwysiad, mae'n gyfleus casglu data ar y llwyth ar broseswyr a RAM, ar y defnydd o'r rhwydwaith a chydrannau eraill, gwirio argaeledd ac ymateb gwasanaethau safonol (SMTP neu HTTP), rhedeg rhaglenni allanol, a chefnogi monitro trwy SNMP.
Ar Γ΄l defnyddio Zabbix, fe wnaethom ffurfweddu metrigau caledwedd safonol, ac ar y dechrau roedd hyn yn ddigon. Ond mae VTB SDO yn datblygu ac yn tyfu'n gyson: yn 2016, cynyddodd nifer y gweinyddwyr yn amlwg, ymddangosodd prosesau mudo, ymunodd Banc Moscow, VTB Capital, a VTB24 Γ’'r system. Nid oes digon o fetrigau safonol bellach, ac fe wnaethom ddysgu Zabbix i olrhain gwybodaeth am bresenoldeb ciwiau ar bob un o'r cyfeintiau sy'n gysylltiedig Γ’'r gweinydd (allan o'r blwch mae Zabbix yn adlewyrchu'r ciw disg cyffredinol yn unig), yn ogystal Γ’'r amser mae'n ei gymryd i gwblhau gweithdrefn benodol.
Yn ogystal, gwnaethom gyfarparu'r system Γ’ sbardunau lluosog - amodau pan anfonir hysbysiad at y gweinyddwr (neges yn Telegram, SMS i rif ffΓ΄n neu e-bost). Gellir ffurfweddu sbardunau ar gyfer unrhyw set o baramedrau. Er enghraifft, gallwch nodi canran benodol o le ar y ddisg am ddim, a bydd y system yn rhybuddio'r gweinyddwr pan gyrhaeddir y trothwy penodedig, neu'n eich hysbysu os yw gweithdrefn gefndir yn rhedeg yn hirach nag arfer.
Cysylltedd Java a delweddu data
Fe wnaethom ehangu ystod y data a ddadansoddwyd yn sylweddol, ond yn fuan nid oedd hyn yn ddigon ar gyfer monitro effeithiol. Gan fanteisio ar y ffaith bod LMS CompanyMedia yn gymhwysiad Java, fe wnaethom gysylltu Γ’'r Java Virtual Machine trwy'r rhyngwyneb JMX ac roeddem yn gallu cymryd metrigau Java yn uniongyrchol. Ac nid yn unig paramedrau safonol gweithgaredd hanfodol Java, megis dwyster gwaith GC neu ddefnydd Heap, ond hefyd profion penodol sy'n ymwneud yn uniongyrchol Γ’'r cod cymhwysiad gweithredadwy.
Yn 2017, tua blwyddyn ar Γ΄l gweithredu'r system fonitro, daeth yn amlwg, er mwyn gweithio'n normal gyda'r swm enfawr o ddata a gasglwyd yn Zabbix, nad oedd digon o ddelweddu - sgriniau cymhleth. Yr ateb gorau i'r broblem hon eto oedd meddalwedd am ddim - Grafana, dangosfwrdd cyfleus ar gyfer metrigau sy'n eich galluogi i agregu'r holl ddata ar un sgrin.
Mae rhyngwyneb Grafana yn rhyngweithiol, yn atgoffa rhywun o system OLAP. Mae'r is-system yn dangos y data a dderbyniwyd gan Zabbix ar sgrin sengl, gan gyflwyno'r wybodaeth ar ffurf graffiau a diagramau sy'n hawdd eu dadansoddi. Gall y gweinyddwr addasu'r tafelli sydd eu hangen arno yn hawdd.
Monitro ac atal gwallau yn y system LMS
Mae llwyfan meddalwedd ffynhonnell agored ELK yn eich helpu i hidlo a dadansoddi'r wybodaeth a dderbynnir yn ystod monitro. Mae'r cynnyrch ffynhonnell agored hwn yn cynnwys tri offeryn pwerus ar gyfer casglu, storio a dadansoddi data: Elasticsearch, Logstash a Kibana. Mae gweithredu'r is-system hon yn caniatΓ‘u, yn benodol, weld mewn amser real faint o wallau a ddigwyddodd yn y system, ar ba weinyddion ac a yw'r gwallau hyn yn cael eu hailadrodd.
Nawr gall y gweinyddwr ganfod problem yn gynnar, hyd yn oed cyn i'r defnyddiwr ddod ar ei draws. Mae monitro rhagweithiol o'r fath yn eich galluogi i atal camweithio system trwy ddileu gwallau mewn modd amserol. Yn ogystal, gallwn ddeall sut mae ymddygiad y system wedi newid ar Γ΄l y diweddariad, yn ogystal Γ’ chanfod problemau newydd os ydynt yn ymddangos.
Monitro Gweithrediadau Busnes
Yn ogystal Γ’ swyddogaethau sylfaenol monitro'r defnydd o adnoddau, mae gan y system y gallu i ddadansoddi a rheoli gweithrediadau busnes.
Mae monitro amser gweithredu cyffredinol gweithrediadau busnes yn eich galluogi i nodi ffactorau newydd a deall yr effaith a gΓ’nt ar weithrediad y system.
Mae monitro amser gweithredu ceisiadau am bob gwasanaeth busnes yn ei gwneud hi'n bosibl canfod gweithrediadau sy'n gwyro oddi wrth y norm.
Mae'r sgrinlun uchod yn enghraifft o fonitro tasg gefndir o ran ei gwyriad oddi wrth y norm.
Mae'r rhestr o dasgau rheoledig o ran eu gweithgaredd ar weinydd penodol yn caniatΓ‘u ichi nodi gwallau - gan gynnwys dyblygu cyflawni tasgau - ar draws pob gweinydd.
Mae tueddiadau yn amser gweithredu gweithdrefnau cefndir hefyd yn cael eu monitro.
Mae'r system yn tyfu, yn datblygu ac yn helpu i ymdopi Γ’ phroblemau
Gyda gweithrediad y system a ddisgrifir, mae monitro gweithrediad gweinyddwyr LMS wedi'i symleiddio'n sylweddol. Serch hynny, mae gwahanol fathau o wrthdaro yn codi o bryd i'w gilydd, gan effeithio ar gyflymder llif dogfennau ac achosi cwynion defnyddwyr. Felly sylweddolom fod angen rheoli ymddygiad y rhaglen ei hun, ac nid dim ond y gweinyddwyr.
I ddatrys y broblem hon, cysylltwyd cydbwysedd Γ’'r system fonitro trwy API, sy'n gweithio gyda chlwstwr o weinyddion cymwysiadau. Diolch i hyn, gall y gweinyddwr weld pa mor hir y mae'n ei gymryd i'r gweinydd ymateb i bob cais defnyddiwr.
Daeth data ar amseroedd ymateb gweinyddwyr ar gael i'w dadansoddi, a oedd yn ei gwneud hi'n bosibl cysylltu arafu'r LMS Γ’'r prosesau sy'n digwydd ar y gweinydd. Yn benodol, daeth sefyllfa ddiddorol i'r amlwg: mae'r gweinydd yn rhedeg yn araf, er nad yw'n cael ei lwytho ar hyn o bryd. Wrth ddadansoddi'r anghysondeb, canfuom wyriadau yng ngweithrediad y Gasglwr Sbwriel Java. Yn y diwedd, daeth yn amlwg mai gweithrediad anghywir y gwasanaeth hwn a arweiniodd at y sefyllfa hon. Trwy gymryd rheolaeth o Garbage Collector Java, fe wnaethom ddileu'r broblem yn llwyr.
Dyma sut mae meddalwedd rhydd yn helpu'r system rheoli dogfennau yn y diwydiant bancio i ddatblygu a thyfu. Dim ond y prif faterion sy'n ymwneud Γ’ system fonitro SDO VTB yr ydym wedi'u crybwyll. Os oes gennych ddiddordeb mewn manylion, gofynnwch yn y sylwadau, byddwn yn hapus i rannu ein profiad gyda chi.
Ffynhonnell: hab.com