신경망을 사용하여 이상 징후를 찾고 장애를 예측합니다.

소프트웨어 시스템의 산업적 개발에는 최종 제품의 내결함성뿐만 아니라 장애가 발생하는 경우 이에 대한 신속한 대응에도 큰 주의가 필요합니다. 물론 모니터링은 장애 및 장애에 보다 효율적이고 신속하게 대응하는 데 도움이 되지만 충분하지는 않습니다. 첫째, 많은 수의 서버를 추적하는 것은 매우 어렵습니다. 많은 수의 사람이 필요합니다. 둘째, 애플리케이션의 상태를 예측하려면 애플리케이션이 어떻게 작동하는지 잘 이해해야 합니다. 따라서 우리가 개발하고 있는 시스템과 그 성능, 특징에 대해 잘 이해하고 있는 분들이 많이 필요합니다. 이 일을 하려는 충분한 사람을 찾더라도 그들을 훈련시키는 데는 여전히 많은 시간이 걸린다고 가정해 보겠습니다.

무엇을 해야 할까요? 이것이 인공 지능이 우리를 돕는 곳입니다. 이 기사에서는 다음에 대해 이야기 할 것입니다. 예측 유지 관리 (예측 유지 관리). 이 접근 방식은 적극적으로 인기를 얻고 있습니다. Habré를 포함하여 많은 기사가 작성되었습니다. 대기업은 서버 성능을 유지하기 위해 이 접근 방식을 최대한 활용합니다. 많은 기사를 연구한 후 우리는 이 접근 방식을 시도하기로 결정했습니다. 그 결과는 무엇입니까?

소개

개발된 소프트웨어 시스템은 조만간 작동됩니다. 시스템이 오류 없이 작동하는 것이 사용자에게 중요합니다. 긴급 상황이 발생하면 최소한의 지연으로 해결되어야 합니다.

소프트웨어 시스템의 기술 지원을 단순화하기 위해, 특히 서버가 많은 경우 일반적으로 실행 중인 소프트웨어 시스템에서 메트릭을 가져와 상태를 진단하고 오류의 정확한 원인을 파악하는 데 도움을 주는 모니터링 프로그램이 사용됩니다. 이 프로세스를 소프트웨어 시스템 모니터링이라고 합니다.

그림 1. Grafana 모니터링 인터페이스

지표는 소프트웨어 시스템, 해당 실행 환경 또는 지표가 수신된 순간의 타임스탬프와 함께 시스템이 실행되는 물리적 컴퓨터에 대한 다양한 지표입니다. 정적 분석에서는 이러한 측정항목을 시계열이라고 합니다. 소프트웨어 시스템의 상태를 모니터링하기 위해 메트릭이 그래프 형식으로 표시됩니다. 시간은 X축에 있고 값은 Y축에 있습니다(그림 1). 실행 중인 소프트웨어 시스템(각 노드)에서 수천 개의 메트릭을 가져올 수 있습니다. 이는 측정항목 공간(다차원 시계열)을 형성합니다.

복잡한 소프트웨어 시스템에 대해 많은 수의 지표가 수집되므로 수동 모니터링이 어려운 작업이 됩니다. 관리자가 분석하는 데이터의 양을 줄이기 위해 모니터링 도구에는 발생 가능한 문제를 자동으로 식별하는 도구가 포함되어 있습니다. 예를 들어 여유 디스크 공간이 지정된 임계값 아래로 떨어지면 실행되도록 트리거를 구성할 수 있습니다. 서버 종료 또는 심각한 서비스 속도 저하를 자동으로 진단할 수도 있습니다. 실제로 모니터링 도구는 이미 발생한 오류를 감지하거나 향후 오류의 간단한 증상을 식별하는 데 효과적이지만 일반적으로 가능한 오류를 예측하는 것은 여전히 ​​어려운 일입니다. 지표를 수동으로 분석하여 예측하려면 자격을 갖춘 전문가의 참여가 필요합니다. 생산성이 낮습니다. 대부분의 잠재적인 실패는 눈에 띄지 않을 수 있습니다.

최근에는 대규모 IT 소프트웨어 개발 회사들 사이에서 소위 소프트웨어 시스템의 예측 유지 관리가 점점 인기를 얻고 있습니다. 이 접근 방식의 핵심은 인공지능을 활용해 시스템 성능 저하로 이어지는 문제를 실패하기 전에 조기에 찾아내는 것입니다. 이 접근 방식은 시스템의 수동 모니터링을 완전히 배제하지 않습니다. 이는 전체적으로 모니터링 프로세스에 보조적인 역할을 합니다.

예측 유지 관리를 구현하는 주요 도구는 시계열에서 이상 현상을 검색하는 작업입니다. 이상이 생겼을 때 데이터에는 일정 시간이 지나면 실패나 실패가 있을 것이다. 이상 현상은 특정 요청 유형의 실행 속도 저하를 식별하거나 클라이언트 세션의 일정한 수준에서 서비스되는 평균 요청 수의 감소를 식별하는 등 소프트웨어 시스템 성능의 특정 편차입니다.

소프트웨어 시스템의 이상 징후를 검색하는 작업에는 고유한 특성이 있습니다. 이론적으로 각 소프트웨어 시스템에 대해 기존 방법을 개발하거나 개선하는 것이 필요합니다. 이상 현상 검색은 수행되는 데이터에 크게 의존하고 소프트웨어 시스템의 데이터는 시스템 구현 도구에 따라 크게 달라지기 때문입니다. , 어떤 컴퓨터에서 실행되고 있는지 확인하세요.

소프트웨어 시스템의 고장 예측 시 이상 징후를 검색하는 방법

우선, 실패를 예측한다는 아이디어는 기사에서 영감을 받았다고 말할 가치가 있습니다. "IT 모니터링의 머신러닝". 이상 징후 자동 검색을 통한 접근 방식의 효율성을 테스트하기 위해 NPO Krista 회사의 프로젝트 중 하나인 Web-Consolidation 소프트웨어 시스템이 선택되었습니다. 이전에는 수신된 측정항목을 기반으로 수동 모니터링이 수행되었습니다. 시스템이 매우 복잡하기 때문에 JVM 표시기(가비지 수집기 로드), 코드가 실행되는 OS 표시기(가상 메모리, OS CPU 로드 %), 네트워크 표시기(네트워크 로드) 등 많은 수의 측정항목이 사용됩니다. ), 서버 자체(CPU 로드, 메모리), wildfly 측정항목 및 모든 중요한 하위 시스템에 대한 애플리케이션 자체 측정항목입니다.

모든 지표는 흑연을 사용하여 시스템에서 가져옵니다. 처음에는 Whisper 데이터베이스가 Grafana의 표준 솔루션으로 사용되었지만 클라이언트 기반이 성장함에 따라 DC 디스크 하위 시스템의 용량이 고갈되어 Graphite는 더 이상 대처할 수 없게 되었습니다. 그 후 좀 더 효과적인 해결책을 찾기로 결정했습니다. 선택은 유리하게 이루어졌습니다 흑연+클릭하우스이를 통해 디스크 하위 시스템의 로드를 2배로 줄이고 점유된 디스크 공간을 XNUMX~XNUMX배 줄일 수 있었습니다. 아래는 그래파이트+클릭하우스를 사용하여 메트릭을 수집하는 메커니즘의 다이어그램입니다(그림 XNUMX).

그림 2. 지표 수집 방식

다이어그램은 내부 문서에서 가져왔습니다. grafana(우리가 사용하는 모니터링 UI)와 graphite 간의 통신을 보여줍니다. 애플리케이션에서 측정항목을 제거하는 작업은 별도의 소프트웨어로 수행됩니다. jmxtrans. 그는 그것들을 흑연에 넣었습니다.
웹 통합 시스템에는 오류를 예측하는 데 문제를 일으키는 여러 가지 기능이 있습니다.

1. 추세는 자주 변합니다. 이 소프트웨어 시스템에는 다양한 버전이 제공됩니다. 각각은 시스템의 소프트웨어 부분을 변경합니다. 따라서 이러한 방식으로 개발자는 특정 시스템의 측정 항목에 직접적인 영향을 미치고 추세 변화를 일으킬 수 있습니다.
2. 구현 기능과 클라이언트가 이 시스템을 사용하는 목적은 종종 이전 성능 저하 없이 이상 현상을 유발합니다.
3. 전체 데이터 세트에 비해 변칙의 비율이 작습니다(< 5%).
4. 시스템으로부터 지표를 수신하는 데 공백이 있을 수 있습니다. 짧은 시간 내에 모니터링 시스템이 지표를 얻는 데 실패합니다. 예를 들어 서버가 과부하된 경우입니다. 이는 신경망을 훈련하는 데 매우 중요합니다. 종합적으로 공백을 메울 필요가 있습니다.
5. 이상이 있는 사례는 특정 날짜/월/시간(계절성)에만 관련되는 경우가 많습니다. 이 시스템에는 사용자의 사용에 대한 명확한 규정이 있습니다. 따라서 측정항목은 특정 시간에만 관련됩니다. 시스템은 지속적으로 사용할 수 없으며 연도에 따라 선택적으로 몇 달 동안만 사용할 수 있습니다. 어떤 경우에는 동일한 메트릭 동작으로 인해 소프트웨어 시스템 오류가 발생하지만 다른 경우에는 오류가 발생하지 않는 상황이 발생합니다.
   먼저, 소프트웨어 시스템의 모니터링 데이터에서 이상 징후를 탐지하는 방법을 분석하였다. 이 주제에 대한 기사에서는 나머지 데이터 세트에 비해 변칙 비율이 작은 경우 신경망을 사용하는 것이 가장 자주 제안됩니다.

신경망 데이터를 사용하여 이상 징후를 검색하는 기본 논리는 그림 3에 나와 있습니다.

그림 3. 신경망을 이용한 이상 징후 검색

현재 메트릭 흐름 창의 예측 또는 복원 결과를 기반으로 실행 중인 소프트웨어 시스템에서 수신된 편차가 계산됩니다. 소프트웨어 시스템과 신경망에서 얻은 측정항목 사이에 큰 차이가 있는 경우 현재 데이터 세그먼트가 비정상적이라는 결론을 내릴 수 있습니다. 신경망을 사용하면 다음과 같은 일련의 문제가 발생합니다.

1. 스트리밍 모드에서 올바르게 작동하려면 신경망 모델 훈련용 데이터에 "일반" 데이터만 포함되어야 합니다.
2. 정확한 탐지를 위해서는 최신 모델이 필요합니다. 측정항목의 추세와 계절성이 변경되면 모델에서 많은 수의 거짓양성이 발생할 수 있습니다. 이를 업데이트하려면 모델이 오래된 시점을 명확하게 판단해야 합니다. 나중에 또는 더 일찍 모델을 업데이트하면 대부분의 경우 거짓양성이 많이 발생할 가능성이 높습니다.
   또한 빈번한 오탐지 검색 및 예방도 잊지 말아야 합니다. 긴급 상황에서 가장 자주 발생한다고 가정됩니다. 그러나 이는 훈련 부족으로 인한 신경망 오류의 결과일 수도 있습니다. 모델의 거짓양성(false positive) 수를 최소화하는 것이 필요합니다. 그렇지 않으면 잘못된 예측으로 인해 관리자가 시스템을 확인하는 데 많은 시간을 낭비하게 됩니다. 조만간 관리자는 "편집증" 모니터링 시스템에 대한 응답을 중단하게 될 것입니다.

순환 신경망

시계열의 이상을 감지하려면 다음을 사용할 수 있습니다. 순환 신경망 LSTM 메모리를 사용합니다. 유일한 문제는 예측된 시계열에만 사용할 수 있다는 것입니다. 우리의 경우 모든 지표를 예측할 수 있는 것은 아닙니다. RNN LSTM을 시계열에 적용하려는 시도가 그림 4에 나와 있습니다.

그림 4. LSTM 메모리 셀을 사용한 순환 신경망의 예

그림 4에서 볼 수 있듯이 RNN LSTM은 이 기간 동안 이상 징후 검색에 대처할 수 있었습니다. 결과의 예측 오류(평균 오류)가 높은 경우 실제로 지표에 이상이 발생한 것입니다. 단일 RNN LSTM을 사용하는 것만으로는 충분하지 않습니다. 왜냐하면 소수의 메트릭에 적용 가능하기 때문입니다. 이상 현상을 검색하기 위한 보조 방법으로 사용할 수 있습니다.

고장 예측을 위한 오토인코더

오토인코더 – 본질적으로 인공 신경망. 입력 레이어는 인코더, 출력 레이어는 디코더입니다. 이러한 유형의 모든 신경망의 단점은 이상 현상을 잘 파악하지 못한다는 것입니다. 동기식 오토인코더 아키텍처가 선택되었습니다.

그림 5. 오토인코더 동작의 예

오토인코더는 일반 데이터로 훈련된 다음 모델에 입력된 데이터에서 비정상적인 것을 찾습니다. 이 작업에 필요한 것입니다. 남은 것은 이 작업에 적합한 오토인코더를 선택하는 것뿐입니다. 구조적으로 가장 단순한 형태의 오토인코더는 순방향, 비반환 신경망으로, 이는 다음과 매우 유사합니다. 다층 퍼셉트론 (다층 퍼셉트론, MLP), 입력 레이어, 출력 레이어 및 이들을 연결하는 하나 이상의 숨겨진 레이어가 있습니다.
그러나 오토인코더와 MLP의 차이점은 오토인코더에서는 출력 레이어가 입력 레이어와 동일한 수의 노드를 가지며, 입력 X에 의해 주어진 목표 값 Y를 예측하도록 학습되는 대신 오토인코더가 학습된다는 점입니다. 자체 X를 재구성합니다. 따라서 오토인코더는 비지도 학습 모델입니다.

오토인코더의 임무는 입력 벡터 X의 변칙 요소에 해당하는 시간 인덱스 r0 ... rn을 찾는 것입니다. 이 효과는 제곱 오차를 검색하여 달성됩니다.

그림 6. 동기식 오토인코더

오토인코더가 선택되었습니다 동기식 아키텍처. 장점: 스트리밍 처리 모드를 사용할 수 있고 다른 아키텍처에 비해 상대적으로 적은 수의 신경망 매개변수를 사용할 수 있다는 점입니다.

오탐을 최소화하는 메커니즘

개발 중인 이상 탐지 모델에 대해 다양한 비정상적인 상황이 발생하고 신경망의 훈련이 충분하지 않은 상황이 발생할 수 있으므로 오탐을 최소화하기 위한 메커니즘의 개발이 필요하다고 판단되었습니다. 이 메커니즘은 관리자가 분류한 템플릿 기반을 기반으로 합니다.

동적 타임라인 변환을 위한 알고리즘 (DTW 알고리즘, 영어 동적 시간 왜곡)을 사용하면 시간 순서 간의 최적 대응을 찾을 수 있습니다. 음성 인식에 처음 사용됨: 두 개의 음성 신호가 동일한 원래 음성 문구를 어떻게 나타내는지 결정하는 데 사용됩니다. 그 후 다른 분야에서도 적용이 발견되었습니다.

오탐을 최소화하는 주요 원칙은 신경망을 사용하여 탐지된 의심 사례를 분류하는 운영자의 도움을 받아 표준 데이터베이스를 수집하는 것입니다. 다음으로, 분류된 기준을 시스템이 탐지한 사례와 비교하여 해당 사례가 허위인지, 장애로 이어지는지에 대한 결론을 내린다. DTW 알고리즘은 두 시계열을 정확하게 비교하는 데 사용됩니다. 주요 최소화 도구는 여전히 분류입니다. 많은 수의 참조 사례를 수집한 후 시스템은 대부분의 사례의 유사성과 유사한 사례의 발생으로 인해 운영자에게 덜 묻기 시작할 것으로 예상됩니다.

결과적으로 위에서 설명한 신경망 방법을 기반으로 “Web-Consolidation” 시스템의 실패를 예측하기 위한 실험 프로그램을 구축했습니다. 이 프로그램의 목표는 기존의 모니터링 데이터 아카이브와 이전 오류에 대한 정보를 사용하여 소프트웨어 시스템에 대한 이 접근 방식의 역량을 평가하는 것이었습니다. 프로그램의 구성은 아래 그림 7에 나와 있습니다.

그림 7. 메트릭 공간 분석을 기반으로 한 고장 예측 기법

다이어그램에서는 모니터링 데이터 스트림(메트릭)에서 비정상적인 기간을 검색하는 것과 오탐을 최소화하는 메커니즘이라는 두 가지 주요 블록을 구분할 수 있습니다. 참고: 실험 목적으로 Graphite가 저장할 데이터베이스에서 JDBC 연결을 통해 데이터를 얻습니다.
다음은 개발 결과 얻은 모니터링 시스템의 인터페이스이다(그림 8).

그림 8. 실험 모니터링 시스템의 인터페이스

인터페이스는 수신된 측정항목을 기반으로 이상치 비율을 표시합니다. 우리의 경우 영수증이 시뮬레이션됩니다. 우리는 이미 몇 주 동안의 데이터를 모두 보유하고 있으며, 장애로 이어지는 이상 사례를 확인하기 위해 점진적으로 로드하고 있습니다. 아래쪽 상태 표시줄에는 특정 시간의 데이터 이상 현상의 전체 비율이 표시되며, 이는 오토인코더를 사용하여 결정됩니다. 또한 RNN LSTM에 의해 계산된 예측 지표에 대해 별도의 백분율이 표시됩니다.

RNN LSTM 신경망을 사용한 CPU 성능 기반 이상 탐지의 예(그림 9).

그림 9. RNN LSTM 발견

본질적으로 일반적인 이상값이지만 시스템 오류로 이어지는 상당히 간단한 사례가 RNN LSTM을 사용하여 성공적으로 계산되었습니다. 이 기간의 이상 징후는 85~95%이며, 80%(임계값은 실험적으로 결정됨)를 초과하는 모든 것은 이상으로 간주됩니다.
업데이트 후 시스템을 부팅할 수 없는 경우 이상 감지의 예입니다. 이 상황은 오토인코더에 의해 감지됩니다(그림 10).

그림 10. 오토인코더 감지의 예

그림에서 볼 수 있듯이 PermGen은 한 수준에 멈춰 있습니다. 오토인코더는 이전에 이와 같은 것을 본 적이 없었기 때문에 이것이 이상하다는 것을 알았습니다. 여기서 이상 현상은 시스템이 작동 상태로 돌아올 때까지 100% 유지됩니다. 모든 지표에 이상이 표시됩니다. 앞서 언급했듯이 오토인코더는 이상 현상을 현지화할 수 없습니다. 이러한 상황에서는 운영자가 이 기능을 수행해야 합니다.

결론

PC "웹 통합"은 수년 동안 개발되어 왔습니다. 시스템은 상당히 안정적인 상태이며, 기록된 사건의 수도 적습니다. 그러나 고장이 발생하기 5~10분 전에는 고장으로 이어지는 이상 징후를 발견하는 것이 가능했다. 어떤 경우에는 사전에 오류를 알리는 것이 "수리" 작업을 수행하는 데 할당된 예정된 시간을 절약하는 데 도움이 될 수 있습니다.

수행된 실험을 토대로 최종 결론을 내리기에는 아직 이르다. 지금까지 결과는 상충됩니다. 한편으로는 신경망을 기반으로 한 알고리즘이 "유용한" 이상 현상을 찾을 수 있다는 것이 분명합니다. 반면에 오탐(false positive) 비율이 여전히 높으며 자격을 갖춘 신경망 전문가가 감지한 모든 이상 현상을 감지할 수 있는 것은 아닙니다. 단점은 이제 신경망이 정상적으로 작동하려면 교사의 훈련이 필요하다는 사실입니다.

고장 예측 시스템을 더욱 발전시키고 만족스러운 상태로 만들기 위해서는 몇 가지 방법이 고려될 수 있습니다. 이는 시스템 상태에 큰 영향을 미치는 중요한 지표 목록에 추가되고 영향을 주지 않는 불필요한 지표는 삭제되므로 실패로 이어지는 이상 사례에 대한 보다 자세한 분석입니다. 또한 이 방향으로 나아가면 실패로 이어지는 변칙적인 사례에 맞게 알고리즘을 전문화하려는 시도를 할 수 있습니다. 또 다른 방법이 있습니다. 이는 신경망 아키텍처가 개선되어 훈련 시간이 단축되면서 탐지 정확도가 향상되는 것입니다.

이 기사를 작성하고 관련성을 유지하는 데 도움을 준 동료들에게 감사를 표합니다. 빅터 베르비츠키 그리고 세르게이 피노게노프.

출처 : habr.com