LMS용 오픈 소스 소프트웨어: 무료 소프트가 VTB에서 중요한 비즈니스 시스템을 관리하는 데 어떻게 도움이 됩니까?

우리 은행의 문서 지원 시스템은 지속적으로 개발 및 확장되고 있으며 속도 및 내결함성에 대한 요구 사항도 점점 증가하고 있습니다. 어떤 시점에서는 효과적인 중앙 집중식 모니터링 없이 LMS를 유지하는 것이 너무 위험해졌습니다. VTB의 비즈니스 프로세스를 보호하고 관리자의 작업을 단순화하기 위해 우리는 개방형 기술 스택을 기반으로 하는 솔루션을 구현했습니다. 이를 통해 사고에 적극적으로 대응하고 잠재적인 문제를 예방할 수 있습니다. 아래에는 무료 소프트웨어를 사용하여 대규모 비즈니스 시스템을 모니터링한 경험에 대한 이야기가 나와 있습니다.

문서 관리 시스템을 모니터링하는 이유는 무엇입니까?

2005년부터 VTB Bank의 문서 지원은 CompanyMedia 시스템에 의해 "관리"되었습니다. LMS는 매달 60만 개 이상의 새 문서를 생성하는 24만 명 이상의 사용자를 고용하고 있습니다. 우리 서버는 하루 2500시간 작동해야 합니다. 거의 모든 순간에 페트로파블롭스크-캄차츠키에서 칼리닌그라드까지 전국에 걸쳐 3000~10명의 사람들이 시스템에 연결되어 있습니다. LMS 작업의 15초는 XNUMX~XNUMX번의 변경을 의미합니다.

시스템이 할당된 작업을 정확하게 수행할 수 있도록 프록시 서버, 요청 균형 조정, 정보 보호, 전체 텍스트 검색, 통합 경로 및 백업을 사용하여 내결함성 인프라를 배포했습니다. 이 규모의 프로젝트를 지원하고 관리하려면 막대한 자원이 필요합니다. 관리자는 서버 작동, RAM 로드, CPU 시간, I/O 하위 시스템 등에 대한 기본 정보를 XNUMX시간 내내 모니터링합니다. 하지만 이 외에도 더 미묘한 분석이 필요합니다.

• 비즈니스 시나리오 실행에 소요된 시간을 계산합니다.
• 시스템 성능 및 부하의 역학을 모니터링합니다.
• 승인된 비기능 요구사항에서 시스템 구성요소의 편차를 검색합니다.

LMS 도입 11년이 지난 지금, 각종 오류에 대한 선제적 대응 문제가 특히 심각해졌습니다. 은행 경영진은 모니터와 시스템 수명 콘솔 없이 일하는 것이 불장난이라는 것을 깨달았습니다. 이 수준의 비즈니스 시스템에 사소한 오류라도 발생하면 수백만 달러의 손실이 발생할 수 있습니다.

2016년에 우리는 관심 있는 매개변수를 실시간으로 모니터링하는 등 LMS 기능의 문제를 신속하게 식별할 수 있는 도구를 도입하기 시작했습니다. 이전에는 InterTrust 회사 인프라의 프레임워크 내에서 적용된 모니터링 시스템이 배포 및 테스트되었습니다.

어떻게 시작 됐어?

오늘날 오픈 소스 소프트웨어 제품을 기반으로 하는 VTB LMS의 중앙 집중식 애플리케이션 모니터링 시스템은 문서 흐름과 관련된 대부분의 오류를 방지하고 문제를 빠르고 정확하게 분류하며 모든 사고에 즉각적으로 대응하는 데 도움이 됩니다. 여기에는 두 가지 하위 시스템이 포함됩니다.

• 시스템 서비스의 IT 인프라를 모니터링합니다.
• LMS 운영 중 오류 발생을 모니터링합니다.

모든 것은 하나의 무료 모니터링 앱으로 시작되었습니다. 몇 가지 옵션을 거친 후 원래 은행 서비스 및 장비용으로 작성된 무료 소프트웨어인 Zabbix를 선택했습니다. MySQL, PostgreSQL, SQLite 또는 Oracle Database에 데이터를 저장할 수 있는 이 PHP 웹 기반 시스템은 우리의 요구 사항에 완벽하게 들어맞았습니다.

Zabbix는 각 서버에서 에이전트를 실행하고 관심 있는 지표에 대한 정보를 실시간으로 단일 데이터베이스에 수집합니다. 애플리케이션을 사용하면 프로세서 및 RAM 부하, 네트워크 및 기타 구성 요소 사용에 대한 데이터 수집, 표준 서비스(SMTP 또는 HTTP)의 가용성 및 응답 확인, 외부 프로그램 실행 및 모니터링 지원이 편리합니다. SNMP.

Zabbix를 배포한 후 표준 하드웨어 메트릭을 구성했는데 처음에는 이것으로 충분했습니다. 그러나 VTB SDO는 지속적으로 발전하고 성장하고 있습니다. 2016년에는 서버 수가 눈에 띄게 증가하고 마이그레이션 프로세스가 나타났으며 모스크바 은행, VTB Capital 및 VTB24가 시스템에 합류했습니다. 더 이상 표준 메트릭이 충분하지 않으며 Zabbix에게 서버에 연결된 각 볼륨의 큐 존재에 대한 정보(기본적으로 Zabbix는 일반 디스크 큐만 반영함)와 소요 시간을 추적하도록 가르쳤습니다. 특정 절차를 완료하려면

또한 시스템에는 관리자에게 알림(Telegram의 메시지, 전화번호로의 SMS 또는 이메일)이 전송되는 조건인 여러 트리거가 장착되어 있습니다. 모든 매개변수 세트에 대해 트리거를 구성할 수 있습니다. 예를 들어, 여유 디스크 공간의 특정 비율을 지정할 수 있으며 지정된 임계값에 도달하면 시스템이 관리자에게 경고하거나 백그라운드 프로시저가 평소보다 오래 실행되는 경우 알려줍니다.

Java 연결 및 데이터 시각화

분석된 데이터의 범위를 대폭 확대했지만 곧 효과적인 모니터링에는 충분하지 않았습니다. CompanyMedia의 LMS가 Java 애플리케이션이라는 점을 활용하여 JMX 인터페이스를 통해 Java Virtual Machine에 연결하고 Java 메트릭을 직접 가져올 수 있었습니다. 그리고 GC 작업 강도 또는 힙 소비와 같은 Java 필수 활동의 표준 매개변수뿐만 아니라 실행 가능한 애플리케이션 코드와 직접 관련된 특정 테스트도 포함합니다.

모니터링 시스템을 구현한 지 약 2017년 후인 XNUMX년에는 Zabbix에서 수집된 엄청난 양의 데이터를 정상적으로 작동하기에는 시각화(복잡한 화면)가 충분하지 않다는 것이 분명해졌습니다. 이 문제에 대한 최선의 해결책은 다시 한 번 무료 소프트웨어인 Grafana였습니다. Grafana는 모든 데이터를 한 화면에 집계할 수 있는 편리한 측정 대시보드입니다.

Grafana 인터페이스는 대화형이며 OLAP 시스템을 연상시킵니다. 하위 시스템은 Zabbix가 수신한 데이터를 단일 화면에 표시하여 분석하기 쉬운 그래프와 다이어그램 형식으로 정보를 제공합니다. 관리자는 필요한 조각을 쉽게 사용자 정의할 수 있습니다.

LMS 시스템 오류 모니터링 및 예방적 제거

ELK 오픈 소스 소프트웨어 플랫폼은 모니터링 중에 수신된 정보를 필터링하고 분석하는 데 도움이 됩니다. 이 오픈소스 제품은 데이터 수집, 저장, 분석을 위한 세 가지 강력한 도구인 Elasticsearch, Logstash 및 Kibana로 구성됩니다. 특히 이 하위 시스템을 구현하면 시스템에서 발생한 오류 수, 어떤 서버에서 발생했는지, 이러한 오류가 반복되는지 여부를 실시간으로 확인할 수 있습니다.

이제 관리자는 사용자가 문제에 직면하기 전에도 초기 단계에서 문제를 감지할 수 있습니다. 이러한 사전 모니터링을 통해 적시에 오류를 제거하여 시스템 오작동을 방지할 수 있습니다. 또한 업데이트 후 시스템 동작이 어떻게 변경되었는지 이해할 수 있을 뿐만 아니라 새로운 문제가 나타나면 이를 감지할 수 있습니다.

비즈니스 운영 모니터링

자원 소비를 모니터링하는 기본 기능 외에도 비즈니스 운영을 분석하고 제어하는 ​​기능도 갖추고 있습니다.

비즈니스 운영의 전체 실행 시간을 모니터링하면 새로운 요소를 식별하고 해당 요소가 시스템 운영에 미치는 영향을 이해할 수 있습니다.

각 비즈니스 서비스에 대한 요청 실행 시간을 모니터링하면 표준을 벗어난 작업을 감지할 수 있습니다.

위 스크린샷은 표준에서 벗어나는 측면에서 백그라운드 작업을 모니터링하는 예입니다.

특정 서버에서의 활동 측면에서 제어된 작업 목록을 사용하면 모든 서버에서 작업 실행 중복을 포함하여 오류를 식별할 수 있습니다.

백그라운드 프로시저의 실행 시간 추세도 모니터링됩니다.

시스템이 성장하고 발전하며 문제에 대처하도록 돕습니다.

설명된 시스템을 구현함으로써 LMS 서버의 작동을 모니터링하는 것이 크게 단순화되었습니다. 그럼에도 불구하고 때때로 다양한 종류의 충돌이 발생하여 문서 흐름 속도에 영향을 미치고 사용자 불만을 야기합니다. 그래서 우리는 서버뿐만 아니라 애플리케이션 자체의 동작을 제어하는 ​​것이 필요하다는 것을 깨달았습니다.

이 문제를 해결하기 위해 API를 통해 밸런서를 모니터링 시스템에 연결했는데, 이는 애플리케이션 서버 클러스터와 함께 작동합니다. 덕분에 관리자는 서버가 각 사용자 요청에 응답하는 데 걸리는 시간을 확인할 수 있습니다.

서버 응답 시간에 대한 데이터를 분석할 수 있게 되면서 LMS의 속도 저하를 서버에서 발생하는 프로세스와 연결할 수 있게 되었습니다. 특히 흥미로운 상황이 나타났습니다. 현재 서버가 로드되지 않았음에도 불구하고 서버가 느리게 실행되고 있습니다. 이상 현상을 분석한 결과 Garbage Collector Java의 작동에 편차가 있음을 발견했습니다. 결국 이러한 상황이 발생한 것은 해당 서비스의 잘못된 운영으로 밝혀졌습니다. Garbage Collector Java를 제어함으로써 문제를 완전히 제거했습니다.

이것이 바로 무료 소프트웨어가 은행 업계의 문서 관리 시스템을 개발하고 성장시키는 데 도움이 되는 방식입니다. 우리는 VTB SDO 모니터링 시스템과 관련된 주요 문제만 다루었습니다. 자세한 내용이 궁금하신 경우 댓글로 문의해 주시면 기꺼이 경험을 공유해 드리겠습니다.

출처 : habr.com