모니터링 + 부하 테스트 = 예측 및 오류 없음

VTB IT 부서는 시스템 부하가 여러 번 증가하면서 시스템 운영 중 긴급 상황을 여러 번 처리해야 했습니다. 따라서 중요한 시스템의 최대 부하를 예측하는 모델을 개발하고 테스트할 필요가 있었습니다. 이를 위해 은행의 IT 전문가는 모니터링을 설정하고 데이터를 분석하며 예측 자동화 방법을 배웠습니다. 부하를 예측하는 데 도움이 된 도구와 작업 최적화에 도움이 되었는지 여부를 짧은 기사에서 알려 드리겠습니다.

고부하 서비스의 문제는 거의 모든 산업에서 발생하지만 금융 부문에서는 매우 중요합니다. X 시간에는 모든 전투 유닛이 준비되어 있어야 하므로 어떤 일이 일어날 수 있는지 미리 파악하고 부하가 급증하는 날짜와 이를 직면할 시스템을 결정하는 것도 필요했습니다. 장애는 처리하고 예방해야 하기 때문에 예측 분석 시스템 구현의 필요성은 논의조차 되지 않았습니다. 모니터링 데이터를 기반으로 시스템을 현대화하는 것이 필요했습니다.

무릎 위의 분석

급여 프로젝트는 실패 시 가장 민감한 프로젝트 중 하나입니다. 이는 예측에 있어 가장 이해하기 쉽기 때문에 우리는 그것부터 시작하기로 결정했습니다. 높은 연결성으로 인해 원격 뱅킹 서비스(RBS)를 포함한 다른 하위 시스템은 최대 부하 시간에 문제를 경험할 수 있습니다. 예를 들어, 돈 수령에 대한 SMS에 기뻐한 고객이 적극적으로 사용하기 시작했습니다. 부하는 XNUMX배 이상 증가할 수 있습니다. 

첫 번째 예측 모델은 수동으로 생성되었습니다. 우리는 작년의 업로드를 가져와 최대 피크가 예상되는 날짜를 계산했습니다. 예를 들어 1일, 15일, 25일은 물론 매월 말일도 마찬가지입니다. 이 모델은 상당한 인건비가 필요했고 정확한 예측을 제공하지 못했습니다. 그럼에도 불구하고 하드웨어 추가가 필요한 병목 현상을 식별하고 앵커 클라이언트와의 합의를 통해 자금 이체 프로세스를 최적화할 수 있었습니다. 급여를 한꺼번에 제공하지 않기 위해 시간이 지남에 따라 다른 지역의 거래가 간격을 두었습니다. 이제는 은행의 IT 인프라가 오류 없이 '씹을' 수 있는 부분으로 처리합니다.

첫 번째 긍정적인 결과를 얻은 후 예측 자동화로 넘어갔고, XNUMX개 이상의 중요한 영역이 차례를 기다리고 있었습니다.

포괄적 인 접근법

VTB는 MicroFocus의 모니터링 시스템을 구현했습니다. 거기에서 우리는 예측, 저장 시스템 및 보고 시스템을 위한 데이터 수집을 수행했습니다. 실제로 모니터링은 이미 이루어졌고 남은 것은 측정항목과 예측 모듈을 추가하고 새 보고서를 만드는 것뿐이었습니다. 이 결정은 외부 계약자 Technoserv의 지원을 받았기 때문에 프로젝트 구현의 주요 작업은 전문가에게 맡겨졌지만 모델은 우리가 직접 구축했습니다. 예측 시스템은 페이스북이 개발한 오픈소스 제품인 Prophet을 기반으로 만들어졌습니다. 사용하기 쉽고 설치된 통합 모니터링 도구 및 Vertica와 쉽게 통합됩니다. 대략적으로 말하면, 시스템은 부하 그래프를 분석하고 푸리에 계열을 기반으로 이를 추정합니다. 우리 모델에서 가져온 특정 계수를 날짜별로 추가하는 것도 가능합니다. 사람의 개입 없이 측정항목을 가져오고 예측은 일주일에 한 번씩 자동으로 다시 계산되며 새 보고서가 수신자에게 전송됩니다. 

이 접근 방식은 연간, 월간, 분기별, 주간과 같은 주요 순환성을 식별합니다. 급여 및 선급금 지불, 휴가 기간, 공휴일 및 판매 - 이 모든 것이 시스템 호출 수에 영향을 미칩니다. 예를 들어, 일부 사이클은 서로 겹치고 시스템의 주요 부하(75%)는 중앙 연방 지구에서 발생하는 것으로 나타났습니다. 법인과 개인은 다르게 행동합니다. "물리학자"의 부하가 요일에 걸쳐 상대적으로 고르게 분산된 경우(소규모 거래가 많음) 기업의 경우 99,9%가 근무 시간에 소비되며 거래가 짧거나 여러 시간 내에 처리될 수 있습니다. 분 또는 심지어 시간.

얻은 데이터를 기반으로 장기적인 추세가 결정됩니다. 새로운 시스템은 사람들이 원격 뱅킹 서비스로 집단 이동하고 있음을 보여주었습니다. 모두가 이것을 알고 있지만 우리는 그러한 규모를 기대하지 않았으며 처음에는 그것을 믿지 않았습니다. 은행 사무실에 대한 통화 수가 극도로 빠르게 감소하고 원격 거래 수가 정확히 같은 양만큼 증가하고 있습니다. 이에 따라 시스템에 대한 부하도 증가하고 있으며 앞으로도 계속 증가할 것입니다. 현재 2020년 3월까지의 부하를 예측하고 있습니다. 평상시는 10%의 오차로 예측할 수 있고, 성수기는 XNUMX%의 오차로 예측할 수 있습니다. 이것은 좋은 결과입니다.

주의

늘 그렇듯이 이 일에도 어려움이 없지는 않았습니다. 푸리에 급수를 사용한 외삽 메커니즘은 XNUMX을 잘 넘지 않습니다. 주말에는 법인이 거의 거래를 생성하지 않지만 예측 모듈은 XNUMX과 거리가 먼 값을 생성한다는 것을 알고 있습니다. 강제로 교정하는 것도 가능했지만 목발은 우리 방식이 아니다. 또한 소스 시스템에서 데이터를 손쉽게 검색하는 문제도 해결해야 했습니다. 정기적인 정보 수집에는 상당한 컴퓨팅 리소스가 필요하므로 복제를 사용하여 빠른 캐시를 구축하고 복제본에서 비즈니스 데이터를 받습니다. 이러한 경우 마스터 시스템에 추가 로드가 없으면 차단 요구 사항이 됩니다.

새로운 도전

피크를 예측하는 간단한 작업이 해결되었습니다. 올해 30월 이후 은행에는 과부하 관련 실패가 없었고, 이에 새로운 예측 시스템이 중요한 역할을 했습니다. 예, 충분하지 않은 것으로 판명되었으며 이제 은행은 최고점이 얼마나 위험한지 이해하고 싶어합니다. 부하 테스트의 지표를 사용하여 예측이 필요하며 중요한 시스템의 약 XNUMX%는 이미 작동 중이고 나머지는 예측을 얻는 과정에 있습니다. 다음 단계에서는 비즈니스 트랜잭션이 아닌 IT 인프라 측면에서 시스템 부하를 예측합니다. 즉, 한 계층 아래로 내려갑니다. 또한 다운로드를 처리하지 않도록 지표 수집과 이를 기반으로 한 예측 구성을 완전히 자동화해야 합니다. 화려한 것은 없습니다. 우리는 글로벌 모범 사례에 따라 모니터링과 로드 테스트를 교차하고 있습니다.

출처 : habr.com