Skjalastuðningskerfið í bankanum okkar er stöðugt að þróast og stækka og kröfur um hraða og bilanaþol aðeins aukast. Á einhverjum tímapunkti varð of áhættusamt að viðhalda LMS án skilvirks miðstýrðs eftirlits. Til að tryggja viðskiptaferla hjá VTB og einfalda vinnu stjórnenda, innleiddum við lausn sem byggði á stafla af opinni tækni. Með hjálp þess getum við brugðist fyrirbyggjandi við atvikum og komið í veg fyrir hugsanleg vandamál. Fyrir neðan klippuna er saga um reynslu okkar af því að nota ókeypis hugbúnað til að fylgjast með stórum viðskiptakerfum.
Af hverju að fylgjast með skjalastjórnunarkerfinu þínu?
Síðan 2005 hefur skjalastuðningur hjá VTB Bank verið „stýrður“ af CompanyMedia kerfinu. Hjá LMS starfa yfir 60 þúsund notendur sem búa til meira en milljón ný skjöl í hverjum mánuði. Netþjónar okkar verða að virka allan sólarhringinn: á næstum hverri stundu eru 24–2500 manns í kerfinu, sem eru tengdir um allt land, frá Petropavlovsk-Kamchatsky til Kaliningrad. Hver sekúnda af LMS aðgerð þýðir 3000–10 breytingar.
Til að tryggja að kerfið uppfylli nákvæmlega úthlutað verkefni, höfum við sett upp bilunarþolinn innviði með því að nota proxy-þjóna, biðja um jafnvægi, upplýsingavernd, leit í fullri texta, samþættingarleiðir og öryggisafrit. Til að styðja og stjórna verkefni af þessum stærðargráðu þarf gríðarlegt fjármagn. Stjórnendur fylgjast með grunnupplýsingum um rekstur netþjóns, vinnsluminni, örgjörvatíma, I/O undirkerfi og svo framvegis allan sólarhringinn. En fyrir utan þetta þarf fíngerðari greiningar:
- að reikna út þann tíma sem fer í að framkvæma viðskiptasviðsmyndir;
- fylgjast með gangverki frammistöðu kerfisins og álagi á það;
- að leita að frávikum í kerfishlutum frá samþykktum kröfum um óvirkar.
11 árum eftir innleiðingu LMS hefur spurningin um fyrirbyggjandi viðbrögð við ýmiss konar villum orðið sérstaklega áberandi. Stjórnendur bankans gerðu sér grein fyrir því að vinna án skjáa og kerfislífstölvu var að leika sér að eldi: minnsta bilun í viðskiptakerfi af þessu stigi gæti leitt til milljóna taps.
Árið 2016 byrjuðum við að kynna verkfæri til að greina fljótt vandamál í virkni LMS, þar á meðal að fylgjast með breytum sem hafa áhuga fyrir okkur í rauntíma. Áður var beitt vöktunarkerfi notað og prófað innan ramma innviða InterTrust fyrirtækis.
Þar sem allt byrjaði
Í dag hjálpar miðlægt forritaeftirlitskerfi VTB LMS, byggt á opnum hugbúnaðarvörum, að koma í veg fyrir flestar villur sem tengjast skjalaflæði, flokka vandamál fljótt og nákvæmlega og bregðast tafarlaust við öllum atvikum. Það felur í sér tvö undirkerfi:
- til að fylgjast með upplýsingatækniinnviðum kerfisþjónustu;
- að fylgjast með því að villur komi upp í rekstri LMS.
Þetta byrjaði allt með einu ókeypis eftirlitsforriti. Eftir að hafa farið í gegnum nokkra möguleika, settumst við á Zabbix - ókeypis hugbúnað sem var upphaflega skrifaður fyrir bankaþjónustu og búnað. Þetta PHP vefkerfi, sem getur geymt gögn í MySQL, PostgreSQL, SQLite eða Oracle Database, passaði fullkomlega fyrir þarfir okkar.
Zabbix rekur umboðsmenn sína á hverjum netþjóni og safnar upplýsingum um áhugaverða mælikvarða í rauntíma í einn gagnagrunn. Með því að nota forritið er þægilegt að safna gögnum um álag á örgjörva og vinnsluminni, um notkun netkerfisins og annarra íhluta, athuga framboð og svörun staðlaðrar þjónustu (SMTP eða HTTP), keyra utanaðkomandi forrit og styðja eftirlit í gegnum SNMP.
Eftir að hafa sett Zabbix upp, stilltum við staðlaðar vélbúnaðarmælingar og í fyrstu var þetta nóg. En VTB SDO er stöðugt að þróast og stækka: Árið 2016 jókst fjöldi netþjóna áberandi, flutningsferli komu fram, Moskvubankinn, VTB Capital og VTB24 gengu í kerfið. Það er ekki lengur til nóg af stöðluðum mæligildum og við kenndum Zabbix að fylgjast með upplýsingum um tilvist biðraðir á hverju bindi sem er tengt við netþjóninn (úr kassanum, Zabbix endurspeglar aðeins almennu diskaröðina), sem og þann tíma sem það tekur. til að ljúka ákveðnu ferli.
Að auki útbúum við kerfið með mörgum kveikjum - skilyrði þar sem tilkynning er send til stjórnanda (skilaboð í Telegram, SMS í símanúmer eða tölvupóst). Hægt er að stilla kveikjur fyrir hvaða sett af breytum sem er. Til dæmis er hægt að tilgreina ákveðið hlutfall af lausu plássi og kerfið mun láta stjórnanda vita þegar tilgreindum þröskuldi er náð, eða láta þig vita ef bakgrunnsferli er lengur í gangi en venjulega.
Java tengingar og gagnasýn
Við stækkuðum umtalsvert úrval greindra gagna, en fljótlega var þetta ekki nóg fyrir skilvirkt eftirlit. Með því að nýta þá staðreynd að LMS CompanyMedia er Java forrit, tengdumst við Java Virtual Machine í gegnum JMX viðmótið og gátum tekið Java mæligildi beint. Og ekki aðeins staðlaðar breytur fyrir mikilvæga virkni Java, svo sem GC vinnustyrkur eða hrúgunotkun, heldur einnig sérstakar prófanir sem tengjast beint keyranlega forritskóðanum.
Árið 2017, um ári eftir innleiðingu vöktunarkerfisins, varð ljóst að til að vinna eðlilega með gríðarlega magn gagna sem safnað var í Zabbix, var ekki nóg sjónræning - flóknir skjáir. Besta lausnin á þessu vandamáli var aftur ókeypis hugbúnaður - Grafana, þægilegt mælaborð fyrir mælikvarða sem gerir þér kleift að safna saman öllum gögnum á einum skjá.
Grafana viðmótið er gagnvirkt, minnir á OLAP kerfi. Undirkerfið sýnir gögnin sem Zabbix tekur á móti á einum skjá og birtir upplýsingarnar í formi línurita og skýringarmynda sem auðvelt er að greina. Stjórnandinn getur auðveldlega sérsniðið þær sneiðar sem hann þarfnast.
Eftirlit og fyrirbyggjandi útrýming á villum í LMS kerfinu
ELK opinn hugbúnaðarvettvangur hjálpar þér að sía og greina upplýsingarnar sem berast við vöktun. Þessi opna vara samanstendur af þremur öflugum verkfærum til að safna, geyma og greina gögn: Elasticsearch, Logstash og Kibana. Innleiðing þessa undirkerfis gerir sérstaklega kleift að sjá í rauntíma hversu margar villur komu upp í kerfinu, á hvaða netþjónum og hvort þessar villur séu endurteknar.
Nú getur stjórnandinn greint vandamál á frumstigi, jafnvel áður en notandinn lendir í því. Slíkt fyrirbyggjandi eftirlit gerir þér kleift að koma í veg fyrir bilanir í kerfinu með því að útrýma villum tímanlega. Að auki getum við skilið hvernig hegðun kerfisins hefur breyst eftir uppfærsluna, auk þess að uppgötva ný vandamál ef þau koma upp.
Eftirlit með rekstri fyrirtækja
Auk grunnaðgerða við að fylgjast með auðlindanotkun hefur kerfið getu til að greina og stjórna rekstri fyrirtækja.
Eftirlit með heildarframkvæmdartíma fyrirtækjarekstrar gerir þér kleift að bera kennsl á nýja þætti og skilja hvaða áhrif þeir hafa á rekstur kerfisins.
Eftirlit með framkvæmdartíma beiðna fyrir hverja viðskiptaþjónustu gerir kleift að greina aðgerðir sem víkja frá venju.
Skjáskotið hér að ofan er dæmi um að fylgjast með bakgrunnsverkefni með tilliti til fráviks þess frá norminu.
Listinn yfir stýrð verkefni með tilliti til virkni þeirra á tilteknum netþjóni gerir þér kleift að bera kennsl á villur - þar á meðal tvíverknað á framkvæmd verks - á öllum netþjónum.
Einnig er fylgst með þróun í framkvæmdartíma bakgrunnsferla.
Kerfið vex, þróast og hjálpar til við að takast á við vandamál
Með innleiðingu á lýst kerfi hefur eftirlit með rekstri LMS netþjóna orðið verulega einfaldað. Engu að síður koma upp ýmiss konar átök af og til sem hafa áhrif á hraða skjalaflæðis og valda kvörtunum notenda. Þannig að við áttum okkur á því að það var nauðsynlegt að stjórna hegðun forritsins sjálfs, en ekki bara netþjónanna.
Til að leysa þetta vandamál var jafnvægisbúnaður tengdur við vöktunarkerfið í gegnum API, sem vinnur með þyrping af forritaþjónum. Þökk sé þessu getur stjórnandinn séð hversu langan tíma það tekur þjóninn að svara hverri notendabeiðni.
Gögn um viðbragðstíma miðlara urðu tiltæk til greiningar, sem gerði það mögulegt að tengja hægagang LMS við ferlana sem eiga sér stað á netþjóninum. Sérstaklega kom upp áhugaverð staða: þjónninn gengur hægt, þó að hann sé ekki hlaðinn í augnablikinu. Við að greina frávikið uppgötvuðum við frávik í rekstri Sorpasafnarans Java. Á endanum kom í ljós að það var rangur rekstur þessarar þjónustu sem leiddi til þessa ástands. Með því að taka stjórn á sorphirðu Java, útrýmdum við vandanum algjörlega.
Þannig hjálpar frjáls hugbúnaður skjalastjórnunarkerfinu í bankakerfinu að þróast og vaxa. Við höfum aðeins fjallað um helstu atriði sem tengjast VTB SDO eftirlitskerfinu. Ef þú hefur áhuga á smáatriðum, spyrðu í athugasemdunum, við munum vera fús til að deila reynslu okkar með þér.
Heimild: www.habr.com