Софтвер отвореног кода за ЛМС: како бесплатни софтвер помаже у администрирању критичних пословних система у ВТБ-у

Систем документационе подршке у нашој банци се стално развија и скалира, а захтеви за брзином и толеранцијом грешака се само повећавају. У неком тренутку, одржавање ЛМС-а без ефикасног централизованог надзора постало је превише ризично. Да бисмо обезбедили пословне процесе у ВТБ-у и поједноставили рад администратора, имплементирали смо решење засновано на низу отворених технологија. Уз његову помоћ можемо проактивно реаговати на инциденте, спречавајући потенцијалне проблеме. Испод реза је прича о нашем искуству у коришћењу бесплатног софтвера за праћење великих пословних система.

Зашто надгледати свој систем за управљање документима?

Од 2005. године, документационом подршком у ВТБ банци „управља“ систем ЦомпаниМедиа. ЛМС запошљава преко 60 хиљада корисника који креирају више од милион нових докумената сваког месеца. Наши сервери морају да функционишу 24 сата дневно: скоро у сваком тренутку у систему има 2500–3000 људи који су повезани широм земље, од Петропавловска Камчатског до Калињинграда. Свака секунда рада ЛМС-а значи 10–15 промена.

Да бисмо осигурали да систем тачно испуњава своје додељене задатке, применили смо инфраструктуру отпорну на грешке користећи прокси сервере, балансирање захтева, заштиту информација, претрагу целог текста, руте интеграције и резервне копије. За подршку и администрирање пројекта овог обима потребни су огромна средства. Администратори непрекидно прате основне информације о раду сервера, оптерећењу РАМ-а, ЦПУ времену, И/О подсистему и тако даље. Али поред овога, потребна је суптилнија аналитика:

• израчунавање времена утрошеног на извођење пословних сценарија;
• праћење динамике перформанси система и оптерећења на њему;
• тражење одступања у компонентама система од одобрених нефункционалних захтева.

11 година након увођења ЛМС-а, питање проактивног реаговања на различите врсте грешака постало је посебно акутно. Руководство банке је схватило да се рад без монитора и системске конзоле за живот игра ватром: и најмањи квар у пословном систему овог нивоа може резултирати милионским губицима.

У 2016. години почели смо да уводимо алате за брзо идентификовање проблема у функционисању ЛМС-а, укључујући праћење параметара који нас занимају у реалном времену. Претходно је примењени систем праћења коришћен и тестиран у оквиру инфраструктуре компаније ИнтерТруст.

Како је све почело

Данас, централизовани систем за праћење апликација ВТБ ЛМС, заснован на софтверским производима отвореног кода, помаже у спречавању већине грешака повезаних са протоком докумената, брзо и прецизно класификује проблеме и благовремено реагује на било какве инциденте. Укључује два подсистема:

• за праћење ИТ инфраструктуре системских услуга;
• да прати појаву грешака у раду ЛМС-а.

Све је почело са једном бесплатном апликацијом за праћење. Након што смо прошли кроз неколико опција, одлучили смо се за Заббик - бесплатни софтвер који је првобитно написан за банкарске услуге и опрему. Овај ПХП систем заснован на вебу, који може да складишти податке у МиСКЛ, ПостгреСКЛ, СКЛите или Орацле Датабасе, савршено је одговарао нашим потребама.

Заббик покреће своје агенте на сваком серверу и прикупља информације о метрикама од интереса у реалном времену у једну базу података. Користећи апликацију, згодно је прикупљати податке о оптерећењу процесора и РАМ-а, о коришћењу мреже и других компоненти, проверити доступност и одзив стандардних сервиса (СМТП или ХТТП), покренути екстерне програме и подржати праћење путем СНМП.

Након што смо применили Заббик, конфигурисали смо стандардне хардверске метрике, и то је у почетку било довољно. Али ВТБ СДО се стално развија и расте: 2016. године број сервера је приметно порастао, појавили су се процеси миграције, Московска банка, ВТБ Цапитал и ВТБ24 су се придружили систему. Више нема довољно стандардних метрика, а научили смо Заббик да прати информације о присуству редова на сваком од волумена повезаних са сервером (изван кутије Заббик одражава само општи ред на диску), као и време које је потребно да заврши одређену процедуру.

Поред тога, опремили смо систем са више тригера - услова под којима се администратору шаље обавештење (порука у Телеграму, СМС на број телефона или мејл). Окидачи се могу конфигурисати за било који скуп параметара. На пример, можете одредити одређени проценат слободног простора на диску, а систем ће упозорити администратора када се достигне наведени праг или вас обавестити ако позадинска процедура траје дуже него обично.

Јава повезивање и визуелизација података

Значајно смо проширили спектар анализираних података, али то убрзо није било довољно за ефикасно праћење. Користећи чињеницу да је ЦомпаниМедиа ЛМС Јава апликација, повезали смо се са Јава виртуелном машином преко ЈМКС интерфејса и били у могућности да директно преузмемо Јава метрику. И не само стандардни параметри Јава виталне активности, као што су интензитет рада ГЦ-а или потрошња гомиле, већ и специфични тестови који се директно односе на извршни код апликације.

У 2017, око годину дана након имплементације система за праћење, постало је јасно да за нормалан рад са колосалном количином података прикупљених у Заббик-у није било довољно визуелизације – сложених екрана. Најбоље решење за овај проблем поново је био бесплатни софтвер - Графана, згодна контролна табла за метрику која вам омогућава да агрегирате све податке на једном екрану.

Графана интерфејс је интерактиван, подсећа на ОЛАП систем. Подсистем приказује податке које је Заббик примио на једном екрану, представљајући информације у облику графикона и дијаграма које је лако анализирати. Администратор може лако да прилагоди делове који су му потребни.

Праћење и превентивно отклањање грешака у ЛМС систему

ЕЛК софтверска платформа отвореног кода помаже вам да филтрирате и анализирате информације примљене током надгледања. Овај производ отвореног кода састоји се од три моћна алата за прикупљање, складиштење и анализу података: Еластицсеарцх, Логстасх и Кибана. Имплементација овог подсистема омогућава, посебно, да се у реалном времену види колико се грешака догодило у систему, на којим серверима и да ли се те грешке понављају.

Сада администратор може да открије проблем у раној фази, чак и пре него што корисник на њега наиђе. Такво проактивно праћење вам омогућава да спречите кварове у систему благовремено елиминишући грешке. Поред тога, можемо да разумемо како се понашање система променило након ажурирања, као и да откријемо нове проблеме ако се појаве.

Праћење пословних операција

Поред основних функција праћења потрошње ресурса, систем има могућност анализе и контроле пословања.

Праћење укупног времена извршења пословних операција омогућава вам да идентификујете нове факторе и разумете утицај који они имају на рад система.

Праћење времена извршења захтева за сваку пословну услугу омогућава откривање операција које одступају од норме.

Горњи снимак екрана је пример праћења позадинског задатка у смислу његовог одступања од норме.

Листа контролисаних задатака у смислу њихове активности на одређеном серверу омогућава вам да идентификујете грешке – укључујући дуплирање извршења задатака – на свим серверима.

Такође се прате трендови у времену извршења позадинских процедура.

Систем расте, развија се и помаже да се носи са проблемима

Имплементацијом описаног система праћење рада ЛМС сервера је значајно поједностављено. Ипак, с времена на време долази до разних врста сукоба, који утичу на брзину протока докумената и изазивају притужбе корисника. Тако смо схватили да је неопходно контролисати понашање саме апликације, а не само сервера.

Да би се решио овај проблем, балансер је повезан са системом за праћење преко АПИ-ја, који ради са кластером апликацијских сервера. Захваљујући томе, администратор може да види колико дуго серверу треба да одговори на сваки захтев корисника.

Подаци о времену одзива сервера су постали доступни за анализу, што је омогућило повезивање успоравања ЛМС-а са процесима који се дешавају на серверу. Посебно се појавила занимљива ситуација: сервер ради споро, иако у овом тренутку није учитан. Анализирајући аномалију, открили смо одступања у раду Гарбаге Цоллецтор Јава. На крају се испоставило да је до овакве ситуације довео неправилан рад ове службе. Преузимањем контроле над Гарбаге Цоллецтор Јава-ом, потпуно смо елиминисали проблем.

Овако бесплатни софтвер помаже систему за управљање документима у банкарској индустрији да се развија и расте. Дотакли смо се само главних питања везаних за систем праћења ВТБ СДО. Ако вас занимају детаљи, питајте у коментарима, биће нам драго да поделимо наше искуство са вама.

Извор: ввв.хабр.цом