Софтуер с отворен код за LMS: как безплатният софтуер помага за администрирането на критични бизнес системи във VTB

Системата за документална поддръжка в нашата банка непрекъснато се развива и мащабира, а изискванията за скорост и отказоустойчивост само нарастват. В един момент поддържането на LMS без ефективен централизиран мониторинг стана твърде рисковано. За да защитим бизнес процесите във VTB и да опростим работата на администраторите, внедрихме решение, базирано на набор от отворени технологии. С негова помощ можем да реагираме проактивно на инциденти, предотвратявайки потенциални проблеми. По-долу е разказ за нашия опит в използването на безплатен софтуер за наблюдение на големи бизнес системи.

Защо да наблюдавате вашата система за управление на документи?

От 2005 г. поддръжката на документация във VTB Bank се „управлява“ от системата CompanyMedia. В LMS работят над 60 хиляди потребители, които създават повече от милион нови документа всеки месец. Нашите сървъри трябва да работят 24 часа в денонощието: почти всеки момент в системата има 2500–3000 души, които са свързани в цялата страна, от Петропавловск-Камчатски до Калининград. Всяка секунда работа на LMS означава 10–15 промени.

За да гарантираме, че системата изпълнява точно възложените й задачи, ние внедрихме устойчива на грешки инфраструктура, използваща прокси сървъри, балансиране на заявки, защита на информацията, пълнотекстово търсене, интеграционни маршрути и архивиране. Поддръжката и администрирането на проект от такъв мащаб изисква огромни ресурси. Администраторите следят денонощно основната информация за работата на сървъра, натоварването на RAM, процесорното време, I/O подсистемата и т.н. Но освен това са необходими по-фини анализи:

• изчисляване на времето, изразходвано за изпълнение на бизнес сценарии;
• наблюдение на динамиката на производителността на системата и натоварването върху нея;
• търсене на отклонения в компонентите на системата от одобрените нефункционални изисквания.

11 години след въвеждането на LMS въпросът за проактивната реакция при различни видове грешки стана особено остър. Ръководството на банката осъзна, че работата без монитори и конзола за живот на системата е игра с огъня: най-малката повреда в бизнес система от такова ниво може да доведе до милиони загуби.

През 2016 г. започнахме да въвеждаме инструменти за бързо идентифициране на проблеми във функционирането на LMS, включително мониторинг на интересуващи ни параметри в реално време. Преди това приложената система за мониторинг беше внедрена и тествана в рамките на инфраструктурата на компанията InterTrust.

Където започна всичко

Днес централизираната система за наблюдение на приложенията на VTB LMS, базирана на софтуерни продукти с отворен код, помага за предотвратяване на повечето грешки, свързани с документооборота, бързо и точно класифициране на проблеми и незабавна реакция на всякакви инциденти. Той включва две подсистеми:

• за наблюдение на ИТ инфраструктурата на системните услуги;
• да следи за възникване на грешки в работата на LMS.

Всичко започна с едно безплатно приложение за наблюдение. След като преминахме през няколко опции, се спряхме на Zabbix - безплатен софтуер, който първоначално беше написан за банкови услуги и оборудване. Тази PHP уеб-базирана система, която може да съхранява данни в MySQL, PostgreSQL, SQLite или Oracle Database, беше идеалното решение за нашите нужди.

Zabbix изпълнява своите агенти на всеки сървър и събира информация за показателите, които представляват интерес, в реално време в една база данни. Използвайки приложението, е удобно да събирате данни за натоварването на процесорите и RAM, за използването на мрежата и други компоненти, да проверявате наличността и реакцията на стандартни услуги (SMTP или HTTP), да стартирате външни програми и да поддържате мониторинг чрез SNMP.

След като внедрихме Zabbix, конфигурирахме стандартни хардуерни показатели и в началото това беше достатъчно. Но VTB SDO непрекъснато се развива и расте: през 2016 г. броят на сървърите се увеличи значително, появиха се миграционни процеси, Банката на Москва, VTB Capital и VTB24 се присъединиха към системата. Вече няма достатъчно стандартни показатели и ние научихме Zabbix да проследява информация за наличието на опашки на всеки от томовете, свързани към сървъра (извън кутията Zabbix отразява само общата дискова опашка), както и времето, което отнема за извършване на определена процедура.

Освен това оборудвахме системата с множество тригери - условия, при които се изпраща известие до администратора (съобщение в Telegram, SMS на телефонен номер или имейл). Тригерите могат да бъдат конфигурирани за произволен набор от параметри. Например, можете да зададете определен процент свободно дисково пространство и системата ще предупреди администратора при достигане на посочения праг или ще ви информира, ако фонова процедура се изпълнява по-дълго от обикновено.

Java свързаност и визуализация на данни

Значително разширихме обхвата на анализираните данни, но скоро това не беше достатъчно за ефективен мониторинг. Възползвайки се от факта, че LMS на CompanyMedia е Java приложение, ние се свързахме с Java Virtual Machine чрез JMX интерфейса и успяхме да вземем директно Java показатели. И не само стандартни параметри на жизненоважна активност на Java, като интензивност на работа на GC или потребление на Heap, но и специфични тестове, свързани директно с изпълнимия код на приложението.

През 2017 г., около година след внедряването на системата за мониторинг, стана ясно, че за да се работи нормално с колосалното количество данни, събрани в Zabbix, няма достатъчно визуализация - сложни екрани. Най-доброто решение на този проблем отново беше безплатният софтуер - Grafana, удобно табло за измервания, което ви позволява да обобщавате всички данни на един екран.

Интерфейсът на Grafana е интерактивен, напомнящ OLAP система. Подсистемата показва данните, получени от Zabbix на един екран, представяйки информацията под формата на графики и диаграми, които са лесни за анализ. Администраторът може лесно да персонализира нужните му срезове.

Мониторинг и превантивно отстраняване на грешки в LMS системата

Софтуерната платформа с отворен код ELK ви помага да филтрирате и анализирате информацията, получена по време на наблюдение. Този продукт с отворен код се състои от три мощни инструмента за събиране, съхранение и анализ на данни: Elasticsearch, Logstash и Kibana. Внедряването на тази подсистема позволява по-специално да се види в реално време колко грешки са възникнали в системата, на кои сървъри и дали тези грешки се повтарят.

Сега администраторът може да открие проблем на ранен етап, дори преди потребителят да го срещне. Такова проактивно наблюдение ви позволява да предотвратите неизправности в системата, като елиминирате грешките своевременно. Освен това можем да разберем как се е променило поведението на системата след актуализацията, както и да открием нови проблеми, ако се появят.

Мониторинг на бизнес операции

В допълнение към основните функции за наблюдение на потреблението на ресурси, системата има възможност за анализ и контрол на бизнес операциите.

Мониторингът на общото време за изпълнение на бизнес операциите ви позволява да идентифицирате нови фактори и да разберете влиянието, което имат върху работата на системата.

Мониторингът на времето за изпълнение на заявките за всяка бизнес услуга дава възможност да се открият операции, които се отклоняват от нормата.

Екранната снимка по-горе е пример за наблюдение на фонова задача по отношение на нейното отклонение от нормата.

Списъкът с контролирани задачи по отношение на тяхната дейност на конкретен сървър ви позволява да идентифицирате грешки - включително дублиране на изпълнението на задача - във всички сървъри.

Следят се и тенденциите във времето за изпълнение на фоновите процедури.

Системата расте, развива се и помага за справяне с проблемите

С внедряването на описаната система наблюдението на работата на LMS сървърите значително се опрости. Независимо от това, от време на време възникват различни видове конфликти, които влияят на скоростта на документооборота и предизвикват оплаквания на потребителите. Така разбрахме, че е необходимо да контролираме поведението на самото приложение, а не само на сървърите.

За да се реши този проблем, към системата за мониторинг беше свързан балансьор чрез API, който работи с клъстер от сървъри за приложения. Благодарение на това администраторът може да види колко време е необходимо на сървъра да отговори на всяка потребителска заявка.

Данните за времето за реакция на сървъра станаха достъпни за анализ, което направи възможно свързването на забавянето на LMS с процесите, протичащи на сървъра. По-специално се появи интересна ситуация: сървърът работи бавно, въпреки че в този момент не е зареден. Анализирайки аномалията, открихме отклонения в работата на Garbage Collector Java. В крайна сметка се оказа, че неправилната работа на тази услуга е довела до тази ситуация. Като поехме контрола над Garbage Collector Java, ние напълно елиминирахме проблема.

Ето как безплатният софтуер помага на системата за управление на документи в банковата индустрия да се развива и расте. Ние засегнахме само основните въпроси, свързани със системата за мониторинг на VTB SDO. Ако се интересувате от подробности, попитайте в коментарите, ще се радваме да споделим нашия опит с вас.

Източник: www.habr.com