Манай банкинд баримт бичгийн дэмжлэг үзүүлэх систем байнга хөгжиж, өргөжин тэлж байгаа бөгөөд хурд болон алдааг тэсвэрлэх шаардлага улам бүр нэмэгдэж байна. Хэзээ нэгэн цагт үр дүнтэй төвлөрсөн хяналтгүйгээр LMS-ийг хадгалах нь хэтэрхий эрсдэлтэй болсон. ВТБ дахь бизнесийн үйл явцыг баталгаажуулж, администраторуудын ажлыг хялбарчлахын тулд бид нээлттэй технологиуд дээр суурилсан шийдлийг хэрэгжүүлсэн. Үүний тусламжтайгаар бид тохиолдлуудад идэвхтэй хариу үйлдэл үзүүлж, болзошгүй асуудлаас урьдчилан сэргийлж чадна. Том хэмжээний бизнесийн системийг хянахын тулд үнэгүй программ хангамжийг ашиглаж байсан бидний туршлагын тухай өгүүллийн доор өгүүлэв.
Яагаад баримт бичгийн менежментийн системээ хянах вэ?
2005 оноос хойш ВТБ банкны баримт бичгийн дэмжлэгийг CompanyMedia системээр "удирдаж" ирсэн. LMS нь сар бүр нэг сая гаруй шинэ баримт үүсгэдэг 60 мянга гаруй хэрэглэгчийг ажиллуулдаг. Манай серверүүд өдөрт 24 цагийн турш ажиллах ёстой: бараг ямар ч үед системд Петропавловск-Камчацкаас Калининград хүртэл улс даяар холбогдсон 2500-3000 хүн байдаг. LMS үйлдлийн секунд тутамд 10-15 өөрчлөлт орно.
Систем нь өгөгдсөн даалгавраа үнэн зөвөөр биелүүлэхийн тулд бид прокси сервер, хүсэлтийг тэнцвэржүүлэх, мэдээлэл хамгаалах, бүтэн текст хайх, нэгтгэх маршрут, нөөцлөлт зэргийг ашиглан гэмтэлд тэсвэртэй дэд бүтцийг суурилуулсан. Ийм хэмжээний төслийг дэмжиж, удирдахад асар их хөрөнгө шаардлагатай. Администраторууд серверийн ажиллагаа, RAM ачаалал, CPU-ийн хугацаа, оролт/гаралтын дэд систем гэх мэт үндсэн мэдээллийг өдрийн цагаар хянадаг. Гэхдээ үүнээс гадна илүү нарийн аналитик шаардлагатай:
- бизнесийн хувилбаруудыг хэрэгжүүлэхэд зарцуулсан хугацааг тооцоолох;
- системийн гүйцэтгэл, ачааллын динамикийг хянах;
- системийн бүрэлдэхүүн хэсгүүдийн зөвшөөрөгдсөн функциональ бус шаардлагаас хазайлтыг хайх.
LMS-ийг нэвтрүүлснээс хойш 11 жилийн дараа янз бүрийн төрлийн алдаануудад идэвхтэй хариу арга хэмжээ авах асуудал онцгой хурцаар тавигдаж байна. Банкны удирдлага монитор, системийн амьдралын консолгүйгээр ажиллах нь галаар тоглож байгааг ойлгосон: ийм түвшний бизнесийн системд өчүүхэн төдий алдаа гарах нь олон саяын алдагдалд хүргэж болзошгүй юм.
2016 онд бид LMS-ийн үйл ажиллагаанд тулгарч буй асуудлуудыг хурдан тодорхойлох, тэр дундаа бидний сонирхож буй параметрүүдийг бодит цаг хугацаанд хянах хэрэгслүүдийг нэвтрүүлж эхэлсэн. Өмнө нь InterTrust компанийн дэд бүтцийн хүрээнд хэрэглэгдэх хяналтын системийг нэвтрүүлж, туршиж байсан.
Энэ бүхэн хэрхэн эхэлсэн
Өнөөдөр нээлттэй эхийн програм хангамжийн бүтээгдэхүүнд суурилсан VTB LMS-ийн программ хангамжийн хяналтын төвлөрсөн систем нь баримт бичгийн урсгалтай холбоотой ихэнх алдаанаас урьдчилан сэргийлэх, асуудлыг хурдан бөгөөд үнэн зөв ангилах, аливаа тохиолдлуудад цаг алдалгүй хариу өгөхөд тусалдаг. Үүнд хоёр дэд систем орно:
- системийн үйлчилгээний мэдээллийн технологийн дэд бүтцэд хяналт тавих;
- LMS-ийн үйл ажиллагаанд алдаа гарахад хяналт тавих.
Энэ бүхэн нэг үнэгүй хяналтын програмаас эхэлсэн. Хэд хэдэн сонголт хийсний дараа бид Zabbix дээр суурьшлаа - анхлан банкны үйлчилгээ, тоног төхөөрөмжид зориулагдсан үнэгүй програм хангамж. MySQL, PostgreSQL, SQLite эсвэл Oracle мэдээллийн санд өгөгдөл хадгалах боломжтой PHP вэбэд суурилсан энэхүү систем нь бидний хэрэгцээнд бүрэн нийцсэн.
Zabbix сервер бүр дээр агентуудаа ажиллуулж, сонирхсон хэмжүүрүүдийн мэдээллийг бодит цаг хугацаанд нэг мэдээллийн санд цуглуулдаг. Програмыг ашигласнаар процессор, RAM-ийн ачаалал, сүлжээ болон бусад бүрэлдэхүүн хэсгүүдийн ашиглалтын талаархи мэдээллийг цуглуулах, стандарт үйлчилгээ (SMTP эсвэл HTTP) байгаа эсэх, хариу өгөх, гадаад програм ажиллуулах, хяналтыг дэмжихэд тохиромжтой. SNMP.
Zabbix-ийг байрлуулсны дараа бид стандарт тоног төхөөрөмжийн хэмжигдэхүүнийг тохируулсан бөгөөд эхэндээ энэ нь хангалттай байсан. Гэхдээ ВТБ SDO нь байнга хөгжиж, өсч байна: 2016 онд серверүүдийн тоо мэдэгдэхүйц нэмэгдэж, шилжих үйл явц гарч, Москвагийн Банк, ВТБ Капитал, ВТБ24 системд нэгдсэн. Стандарт хэмжигдэхүүнүүд хангалттай байхаа больсон бөгөөд бид Zabbix-д серверт холбогдсон хэмжээ тус бүр дээр дараалал байгаа эсэх (заббикс нь зөвхөн ерөнхий дискний дарааллыг тусгасан), мөн үүнд шаардагдах хугацааг хянахыг зааж өгсөн. тодорхой процедурыг дуусгах.
Нэмж дурдахад бид системийг олон өдөөгчөөр тоноглогдсон - админ руу мэдэгдэл илгээх нөхцөл (Telegram дахь мессеж, утасны дугаар руу SMS эсвэл имэйл). Триггерийг ямар ч параметрийн багцад тохируулж болно. Жишээлбэл, та дискний сул зайны тодорхой хувийг зааж өгч болох бөгөөд систем нь заасан босго хэмжээнд хүрсэн үед администраторт анхааруулах эсвэл суурь процедур ердийнхөөс удаан ажиллаж байгаа бол танд мэдэгдэх болно.
Java холболт ба өгөгдлийн дүрслэл
Бид дүн шинжилгээ хийсэн мэдээллийн хүрээг ихээхэн өргөжүүлсэн боловч удалгүй энэ нь үр дүнтэй хяналт тавихад хангалтгүй байв. CompanyMedia-н LMS нь Java програм гэдгийг ашиглан бид JMX интерфэйсээр Java виртуал машинтай холбогдож, Java хэмжигдэхүүнийг шууд авах боломжтой болсон. GC ажлын эрч хүч эсвэл овоолгын хэрэглээ зэрэг Java-ийн амин чухал үйл ажиллагааны стандарт параметрүүд төдийгүй гүйцэтгэх боломжтой програмын кодтой шууд холбоотой тусгай тестүүд.
2017 онд хяналтын системийг хэрэгжүүлснээс хойш нэг жил орчмын дараа Zabbix-д цуглуулсан асар их хэмжээний өгөгдөлтэй хэвийн ажиллахын тулд дүрслэл, нарийн төвөгтэй дэлгэц хангалтгүй байсан нь тодорхой болсон. Энэ асуудлыг шийдэх хамгийн сайн шийдэл бол дахин үнэгүй програм хангамж байсан - Grafana, бүх өгөгдлийг нэг дэлгэц дээр нэгтгэх боломжийг олгодог хэмжигдэхүүнүүдийн тохиромжтой хяналтын самбар юм.
Grafana интерфейс нь интерактив бөгөөд OLAP системийг санагдуулдаг. Дэд систем нь Zabbix-ийн хүлээн авсан өгөгдлийг нэг дэлгэц дээр харуулж, мэдээллийг дүн шинжилгээ хийхэд хялбар график, диаграм хэлбэрээр үзүүлдэг. Администратор өөрт хэрэгтэй зүсмэлүүдийг хялбархан тохируулах боломжтой.
LMS систем дэх алдааг хянах, урьдчилан сэргийлэх
ELK нээлттэй эхийн програм хангамжийн платформ нь танд мониторингийн явцад хүлээн авсан мэдээллийг шүүж, дүн шинжилгээ хийхэд тусалдаг. Энэхүү нээлттэй эхийн бүтээгдэхүүн нь өгөгдөл цуглуулах, хадгалах, дүн шинжилгээ хийх гурван хүчирхэг хэрэглүүрээс бүрддэг: Elasticsearch, Logstash, Kibana. Энэхүү дэд системийг хэрэгжүүлснээр системд хичнээн алдаа гарсан, аль сервер дээр гарсан, эдгээр алдаа давтагдаж байгаа эсэхийг бодит цаг хугацаанд харах боломжийг олгодог.
Одоо администратор нь хэрэглэгчтэй тулгарахаас өмнө асуудлыг эрт үе шатанд илрүүлж чадна. Ийм идэвхтэй хяналт нь алдааг цаг тухайд нь арилгах замаар системийн эвдрэлээс урьдчилан сэргийлэх боломжийг олгодог. Нэмж дурдахад бид шинэчлэлтийн дараа системийн зан байдал хэрхэн өөрчлөгдсөнийг ойлгохоос гадна шинэ асуудлууд гарч ирвэл илрүүлэх боломжтой.
Бизнесийн үйл ажиллагааны хяналт
Энэхүү систем нь нөөцийн хэрэглээг хянах үндсэн чиг үүргээс гадна бизнесийн үйл ажиллагаанд дүн шинжилгээ хийх, хянах чадвартай байдаг.
Бизнесийн үйл ажиллагааны гүйцэтгэлийн нийт хугацааг хянах нь шинэ хүчин зүйлсийг тодорхойлох, тэдгээрийн системийн үйл ажиллагаанд үзүүлэх нөлөөг ойлгох боломжийг олгодог.
Бизнесийн үйлчилгээ бүрийн хүсэлтийн гүйцэтгэлийн хугацааг хянах нь нормоос гажсан үйл ажиллагааг илрүүлэх боломжийг олгодог.
Дээрх дэлгэцийн зураг нь суурь даалгаврыг нормоос хазайж байгаагаар нь хянах жишээ юм.
Тодорхой сервер дээрх үйл ажиллагааны хувьд хяналттай даалгавруудын жагсаалт нь бүх сервер дээрх алдааг, тэр дундаа даалгаврын гүйцэтгэлийн давхардал зэргийг тодорхойлох боломжийг олгодог.
Суурь процедурын гүйцэтгэлийн хугацааны чиг хандлагыг мөн хянадаг.
Систем нь хөгжиж, хөгжиж, бэрхшээлийг даван туулахад тусалдаг
Тайлбарласан системийг хэрэгжүүлснээр LMS серверүүдийн ажиллагааг хянах нь ихээхэн хялбаршсан. Гэсэн хэдий ч янз бүрийн зөрчилдөөн үе үе гарч ирдэг бөгөөд энэ нь баримт бичгийн урсгалын хурдад нөлөөлж, хэрэглэгчдийн гомдол гаргахад хүргэдэг. Тиймээс бид зөвхөн серверүүд биш, харин програмын үйл ажиллагааг хянах шаардлагатай гэдгийг ойлгосон.
Энэ асуудлыг шийдэхийн тулд тэнцвэржүүлэгчийг API-ээр дамжуулан хяналтын системд холбосон бөгөөд энэ нь програмын серверүүдийн кластертай ажилладаг. Үүний ачаар администратор хэрэглэгчийн хүсэлт бүрт сервер хариу өгөхөд хэр хугацаа шаардагдахыг харж болно.
Серверийн хариу өгөх хугацааны талаарх мэдээлэл дүн шинжилгээ хийх боломжтой болсон нь LMS-ийн удаашралыг сервер дээр гарч буй процессуудтай холбох боломжтой болсон. Ялангуяа сонирхолтой нөхцөл байдал үүссэн: сервер удаан ажиллаж байгаа боловч одоогоор ачаалагдаагүй байна. Аномалид дүн шинжилгээ хийснээр бид хог цуглуулагч Java-ийн үйл ажиллагааны хазайлтыг олж мэдсэн. Эцсийн дүндээ энэ үйлчилгээний буруу үйл ажиллагаа ийм байдалд хүргэсэн нь тогтоогдсон. Хог цуглуулагч Java-г хяналтандаа авснаар бид асуудлыг бүрэн арилгасан.
Үнэгүй програм хангамж нь банкны салбарын баримт бичгийн менежментийн системийг хөгжүүлэх, хөгжүүлэхэд тусалдаг. Бид зөвхөн ВТБ SDO хяналтын системтэй холбоотой гол асуудлуудыг хөндсөн. Хэрэв та дэлгэрэнгүй мэдээллийг сонирхож байвал сэтгэгдэл дээр асуугаарай, бид тантай туршлагаа хуваалцахдаа баяртай байх болно.
Эх сурвалж: www.habr.com