Փաստաթղթերի աջակցման համակարգը մեր բանկում մշտապես զարգանում և մասշտաբվում է, իսկ արագության և սխալների հանդուրժողականության պահանջները միայն ավելանում են: Ինչ-որ պահի, առանց արդյունավետ կենտրոնացված մոնիտորինգի LMS-ի պահպանումը չափազանց ռիսկային դարձավ: ՎՏԲ-ում բիզնես գործընթացներն ապահովելու և ադմինիստրատորների աշխատանքը պարզեցնելու համար մենք իրականացրել ենք լուծում՝ հիմնված բաց տեխնոլոգիաների փաթեթի վրա: Նրա օգնությամբ մենք կարող ենք ակտիվորեն արձագանքել միջադեպերին՝ կանխելով հնարավոր խնդիրները։ Ստորև բերված է մի պատմություն լայնածավալ բիզնես համակարգերի մոնիտորինգի համար անվճար ծրագրակազմ օգտագործելու մեր փորձի մասին:
Ինչու՞ վերահսկել ձեր փաստաթղթերի կառավարման համակարգը:
2005 թվականից ՎՏԲ Բանկում փաստաթղթային աջակցությունը «կառավարվում» է CompanyMedia համակարգի կողմից: LMS-ում աշխատում են ավելի քան 60 հազար օգտատերեր, ովքեր ամեն ամիս ստեղծում են ավելի քան մեկ միլիոն նոր փաստաթղթեր: Մեր սերվերները պետք է աշխատեն օրական 24 ժամ. գրեթե ցանկացած պահի համակարգում կա 2500–3000 մարդ, որոնք միացված են ամբողջ երկրում՝ Պետրոպավլովսկ-Կամչատսկից մինչև Կալինինգրադ: LMS-ի յուրաքանչյուր վայրկյանը նշանակում է 10-15 փոփոխություն:
Ապահովելու համար, որ համակարգը ճշգրիտ կատարում է իր հանձնարարված խնդիրները, մենք գործարկել ենք անսարքությունների հանդուրժող ենթակառուցվածք՝ օգտագործելով պրոքսի սերվերներ, հարցումների հավասարակշռում, տեղեկատվության պաշտպանություն, ամբողջական տեքստի որոնում, ինտեգրման ուղիներ և պահուստավորում: Այս մասշտաբի նախագծին աջակցելու և կառավարելու համար անհրաժեշտ են հսկայական ռեսուրսներ: Ադմինիստրատորները շուրջօրյա վերահսկում են հիմնական տեղեկատվությունը սերվերի աշխատանքի, RAM-ի բեռնվածության, պրոցեսորի ժամանակի, I/O ենթահամակարգի և այլնի մասին: Բայց բացի դրանից, անհրաժեշտ է ավելի նուրբ վերլուծություն.
- բիզնես սցենարների կատարման վրա ծախսված ժամանակի հաշվարկ.
- համակարգի կատարողականի դինամիկայի և դրա վրա բեռի մոնիտորինգ.
- համակարգի բաղադրիչների շեղումների որոնում հաստատված ոչ ֆունկցիոնալ պահանջներից:
LMS-ի ներդրումից 11 տարի անց հատկապես սուր է դարձել տարբեր տեսակի սխալներին ակտիվ արձագանքելու հարցը: Բանկի ղեկավարությունը հասկացավ, որ առանց մոնիտորների և համակարգի կյանքի կոնսոլի աշխատանքը կրակի հետ է խաղում. նման մակարդակի բիզնես համակարգում ամենափոքր ձախողումը կարող է հանգեցնել միլիոնավոր վնասների:
2016թ.-ին մենք սկսեցինք ներդնել գործիքներ LMS-ի գործունեության հետ կապված խնդիրների արագ հայտնաբերման համար, ներառյալ իրական ժամանակում մեզ հետաքրքրող պարամետրերի մոնիտորինգը: Նախկինում կիրառական մոնիտորինգի համակարգը ներդրվել և փորձարկվել է InterTrust ընկերության ենթակառուցվածքի շրջանակներում։
Ինչպես է սկսվել այդ ամենը
Այսօր VTB LMS հավելվածների մոնիտորինգի կենտրոնացված համակարգը, որը հիմնված է բաց կոդով ծրագրային ապահովման արտադրանքի վրա, օգնում է կանխել փաստաթղթերի հոսքի հետ կապված սխալների մեծ մասը, արագ և ճշգրիտ դասակարգել խնդիրները և արագ արձագանքել ցանկացած միջադեպի: Այն ներառում է երկու ենթահամակարգ.
- Համակարգային ծառայությունների ՏՏ ենթակառուցվածքի մոնիտորինգի համար.
- վերահսկել LMS-ի շահագործման մեջ սխալների առաջացումը:
Ամեն ինչ սկսվեց մեկ անվճար մոնիտորինգի հավելվածից: Մի քանի տարբերակներ անցնելուց հետո մենք հաստատվեցինք Zabbix-ի վրա՝ անվճար ծրագրակազմ, որն ի սկզբանե գրված էր բանկային ծառայությունների և սարքավորումների համար: PHP վեբ վրա հիմնված այս համակարգը, որը կարող է տվյալներ պահել MySQL, PostgreSQL, SQLite կամ Oracle Database-ում, կատարյալ հարմարեցված էր մեր կարիքներին:
Zabbix-ը գործարկում է իր գործակալներին յուրաքանչյուր սերվերի վրա և իրական ժամանակում հավաքում է հետաքրքրող չափանիշների վերաբերյալ տեղեկատվությունը մեկ տվյալների բազայում: Օգտագործելով հավելվածը, հարմար է հավաքել տվյալներ պրոցեսորների և RAM-ի բեռի, ցանցի և այլ բաղադրիչների օգտագործման վերաբերյալ, ստուգել ստանդարտ ծառայությունների (SMTP կամ HTTP) առկայությունը և արձագանքը, գործարկել արտաքին ծրագրերը և աջակցել մոնիտորինգի միջոցով: SNMP.
Տեղադրելով Zabbix-ը, մենք կազմաձևեցինք ստանդարտ ապարատային չափումներ, և սկզբում դա բավական էր: Բայց VTB SDO-ն անընդհատ զարգանում և աճում է. 2016-ին սերվերների թիվը նկատելիորեն ավելացավ, ի հայտ եկան միգրացիոն գործընթացներ, համակարգին միացան Մոսկվայի բանկը, ՎՏԲ Կապիտալը և ՎՏԲ24-ը։ Այլևս չկա բավականաչափ ստանդարտ չափումներ, և մենք Zabbix-ին սովորեցրել ենք հետևել սերվերին միացված յուրաքանչյուր հատորի վրա հերթերի առկայության մասին տեղեկատվությանը (վանդակից դուրս Zabbix-ը արտացոլում է միայն սկավառակի ընդհանուր հերթը), ինչպես նաև դրա պահանջվող ժամանակը: որոշակի ընթացակարգ ավարտելու համար:
Բացի այդ, մենք համակարգը համալրել ենք բազմաթիվ գործարկիչներով՝ պայմաններ, որոնց դեպքում ծանուցում է ուղարկվում ադմինիստրատորին (հաղորդագրություն Telegram-ում, SMS հեռախոսահամարին կամ էլ. փոստին): Գործարկիչները կարող են կազմաձևվել ցանկացած պարամետրի համար: Օրինակ, դուք կարող եք նշել սկավառակի ազատ տարածության որոշակի տոկոս, և համակարգը կզգուշացնի ադմինիստրատորին, երբ հասնի նշված շեմը, կամ կտեղեկացնի ձեզ, եթե ֆոնային ընթացակարգը սովորականից երկար է աշխատում:
Java-ի միացում և տվյալների վիզուալիզացիա
Մենք զգալիորեն ընդլայնեցինք վերլուծված տվյալների շրջանակը, սակայն շուտով դա բավարար չեղավ արդյունավետ մոնիտորինգի համար։ Օգտվելով այն հանգամանքից, որ CompanyMedia-ի LMS-ը Java հավելված է, մենք JMX ինտերֆեյսի միջոցով միացանք Java վիրտուալ մեքենային և կարողացանք ուղղակիորեն վերցնել Java չափումները: Եվ ոչ միայն Java-ի կենսական գործունեության ստանդարտ պարամետրերը, ինչպիսիք են GC-ի աշխատանքի ինտենսիվությունը կամ Heap-ի սպառումը, այլ նաև հատուկ թեստեր, որոնք ուղղակիորեն կապված են գործարկվող հավելվածի կոդի հետ:
2017 թվականին՝ մոնիտորինգի համակարգի ներդրումից մոտ մեկ տարի անց, պարզ դարձավ, որ Zabbix-ում հավաքագրված տվյալների հսկայական քանակի հետ նորմալ աշխատելու համար բավարար վիզուալիզացիա՝ բարդ էկրաններ չկար: Այս խնդրի լավագույն լուծումը կրկին անվճար ծրագրային ապահովումն էր՝ Grafana-ն՝ չափումների հարմար վահանակ, որը թույլ է տալիս համախմբել բոլոր տվյալները մեկ էկրանին:
Grafana ինտերֆեյսը ինտերակտիվ է, որը հիշեցնում է OLAP համակարգ: Ենթահամակարգը ցուցադրում է Zabbix-ի ստացած տվյալները մեկ էկրանի վրա՝ ներկայացնելով տեղեկատվությունը հեշտ վերլուծվող գրաֆիկների և դիագրամների տեսքով: Ադմինիստրատորը հեշտությամբ կարող է հարմարեցնել իրեն անհրաժեշտ հատվածները:
LMS համակարգում սխալների մոնիտորինգ և կանխարգելիչ վերացում
ELK բաց կոդով ծրագրային հարթակը օգնում է ձեզ զտել և վերլուծել մոնիտորինգի ընթացքում ստացված տեղեկատվությունը: Այս բաց կոդով արտադրանքը բաղկացած է տվյալների հավաքագրման, պահպանման և վերլուծության երեք հզոր գործիքներից՝ Elasticsearch, Logstash և Kibana: Այս ենթահամակարգի ներդրումը թույլ է տալիս, մասնավորապես, իրական ժամանակում տեսնել, թե քանի սխալ է տեղի ունեցել համակարգում, որ սերվերների վրա և արդյոք այդ սխալները կրկնվում են։
Այժմ ադմինիստրատորը կարող է հայտնաբերել խնդիրը վաղ փուլում, նույնիսկ նախքան օգտագործողի հետ հանդիպելը: Նման պրոակտիվ մոնիտորինգը թույլ է տալիս կանխել համակարգի անսարքությունները՝ ժամանակին վերացնելով սխալները: Բացի այդ, մենք կարող ենք հասկանալ, թե ինչպես է փոխվել համակարգի վարքագիծը թարմացումից հետո, ինչպես նաև հայտնաբերել նոր խնդիրներ, եթե դրանք հայտնվեն:
Բիզնեսի գործառնությունների մոնիտորինգ
Բացի ռեսուրսների սպառման մոնիտորինգի հիմնական գործառույթներից, համակարգն ունի բիզնեսի գործառնությունները վերլուծելու և վերահսկելու հնարավորություն:
Բիզնեսի գործառնությունների կատարման ընդհանուր ժամանակի մոնիտորինգը թույլ է տալիս բացահայտել նոր գործոններ և հասկանալ դրանց ազդեցությունը համակարգի գործունեության վրա:
Յուրաքանչյուր բիզնես ծառայության համար հարցումների կատարման ժամանակի մոնիտորինգը հնարավորություն է տալիս հայտնաբերել նորմայից շեղվող գործառնությունները:
Վերևի սքրինշոթը ֆոնային առաջադրանքի մոնիտորինգի օրինակ է նորմայից դրա շեղման առումով:
Վերահսկվող առաջադրանքների ցանկը կոնկրետ սերվերի վրա իրենց գործունեության առումով թույլ է տալիս բացահայտել սխալները, ներառյալ առաջադրանքների կատարման կրկնությունը, բոլոր սերվերներում:
Մշտադիտարկվում են նաև ֆոնային ընթացակարգերի կատարման ժամանակի միտումները:
Համակարգն աճում է, զարգանում և օգնում է հաղթահարել խնդիրները
Նկարագրված համակարգի ներդրմամբ LMS սերվերների աշխատանքի մոնիտորինգը զգալիորեն պարզեցվել է: Այնուամենայնիվ, ժամանակ առ ժամանակ առաջանում են տարբեր տեսակի կոնֆլիկտներ, որոնք ազդում են փաստաթղթերի հոսքի արագության վրա և առաջացնում օգտվողների բողոքներ: Այսպիսով, մենք հասկացանք, որ անհրաժեշտ է վերահսկել բուն հավելվածի վարքը, և ոչ միայն սերվերներին:
Այս խնդիրը լուծելու համար API-ի միջոցով մոնիտորինգի համակարգին միացվել է հավասարակշռող, որն աշխատում է հավելվածների սերվերների կլաստերի հետ։ Դրա շնորհիվ ադմինիստրատորը կարող է տեսնել, թե որքան ժամանակ է պահանջվում սերվերից յուրաքանչյուր օգտվողի հարցմանը պատասխանելու համար:
Վերլուծության համար հասանելի դարձան սերվերի արձագանքման ժամանակների վերաբերյալ տվյալները, ինչը հնարավորություն տվեց կապել LMS-ի դանդաղեցումը սերվերում տեղի ունեցող գործընթացների հետ: Մասնավորապես, հետաքրքիր իրավիճակ է ստեղծվել՝ սերվերը դանդաղ է աշխատում, թեև այս պահին այն բեռնված չէ։ Վերլուծելով անոմալիան՝ մենք հայտնաբերեցինք աղբահավաք Java-ի աշխատանքի շեղումներ: Ի վերջո, պարզվեց, որ հենց այս ծառայության ոչ ճիշտ աշխատանքն է հանգեցրել այս իրավիճակին։ Վերցնելով աղբահանող Java-ի վերահսկողությունը՝ մենք ամբողջությամբ վերացրեցինք խնդիրը:
Ահա թե ինչպես է ազատ ծրագրակազմն օգնում զարգանալ և զարգանալ բանկային ոլորտում փաստաթղթերի կառավարման համակարգը: Մենք անդրադարձել ենք միայն ՎՏԲ SDO մոնիտորինգի համակարգի հետ կապված հիմնական խնդիրներին։ Եթե դուք հետաքրքրված եք մանրամասներով, հարցրեք մեկնաբանություններում, մենք ուրախ կլինենք կիսվել ձեզ հետ մեր փորձով:
Source: www.habr.com