Elastic Stack(Elasticsearch라고도 함, ELK라고도 함)의 기계 학습 이해

Elastic Stack은 비관계형 Elasticsearch 데이터베이스, Kibana 웹 인터페이스, 데이터 수집기 ​​및 프로세서(가장 유명한 Logstash, 다양한 Beats, APM 등)를 기반으로 한다는 점을 상기해 보겠습니다. 나열된 전체 제품 스택에 추가된 유용한 기능 중 하나는 기계 학습 알고리즘을 사용한 데이터 분석입니다. 이 기사에서 우리는 이러한 알고리즘이 무엇인지 이해합니다. 고양이 밑으로 부탁드립니다.

기계 학습은 쉐어웨어 Elastic Stack의 유료 기능이며 X-Pack에 포함되어 있습니다. 사용을 시작하려면 설치 후 30일 평가판을 활성화하세요. 평가판 기간이 만료된 후 지원을 요청하여 연장하거나 구독을 구매할 수 있습니다. 구독 비용은 데이터 양이 아닌 사용된 노드 수를 기준으로 계산됩니다. 아니요, 물론 데이터의 양은 필요한 노드 수에 영향을 미치지만 여전히 회사 예산과 관련하여 이러한 라이센싱 접근 방식이 더 인도적입니다. 높은 생산성이 필요하지 않다면 비용을 절약할 수 있습니다.

Elastic Stack의 ML은 C++로 작성되었으며 Elasticsearch 자체가 실행되는 JVM 외부에서 실행됩니다. 즉, 프로세스(자동 감지라고 함)는 JVM이 삼키지 않는 모든 것을 소비합니다. 데모 스탠드에서는 이것이 그다지 중요하지 않지만 프로덕션 환경에서는 ML 작업을 위해 별도의 노드를 할당하는 것이 중요합니다.

기계 학습 알고리즘은 두 가지 범주로 나뉩니다. 선생님과 함께 и 선생님 없이. Elastic Stack에서 알고리즘은 “비지도” 범주에 속합니다. 에 의해 이 링크 머신러닝 알고리즘의 수학적 장치를 볼 수 있습니다.

분석을 수행하기 위해 기계 학습 알고리즘은 Elasticsearch 인덱스에 저장된 데이터를 사용합니다. Kibana 인터페이스와 API를 통해 분석용 작업을 생성할 수 있습니다. Kibana를 통해 이 작업을 수행하면 몇 가지 사항을 알 필요가 없습니다. 예를 들어 알고리즘이 작업 중에 사용하는 추가 인덱스입니다.

분석 과정에 사용되는 추가 지표.ml-state — 통계 모델에 대한 정보(분석 설정)
.ml-anomalies-* — ML 알고리즘의 결과.
.ml-notifications — 분석 결과에 따른 알림 설정입니다.

Elasticsearch 데이터베이스의 데이터 구조는 인덱스와 여기에 저장된 문서로 구성됩니다. 관계형 데이터베이스와 비교할 때 인덱스는 데이터베이스 스키마에, 문서는 테이블의 레코드에 비교할 수 있습니다. 이 비교는 조건부이며 Elasticsearch에 대해서만 들어본 사람들이 추가 자료를 쉽게 이해할 수 있도록 제공됩니다.

API를 통해서도 웹 인터페이스를 통해서와 동일한 기능을 사용할 수 있으므로 개념의 명확성과 이해를 위해 Kibana를 통해 구성하는 방법을 보여드리겠습니다. 왼쪽 메뉴에는 새 작업을 생성할 수 있는 기계 학습 섹션이 있습니다. Kibana 인터페이스에서는 아래 이미지와 같습니다. 이제 각 작업 유형을 분석하고 여기서 구성할 수 있는 분석 유형을 보여 드리겠습니다.

단일 지표 - 하나의 지표를 분석하고, 다중 지표 - 두 개 이상의 지표를 분석합니다. 두 경우 모두 각 지표는 격리된 환경에서 분석됩니다. 알고리즘은 다중 측정항목의 경우처럼 병렬로 분석된 측정항목의 동작을 고려하지 않습니다. 다양한 측정항목의 상관관계를 고려하여 계산을 수행하려면 모집단 분석을 사용할 수 있습니다. 그리고 Advanced는 특정 작업에 대한 추가 옵션을 사용하여 알고리즘을 미세 조정합니다.

단일 메트릭

여기서 수행할 수 있는 가장 간단한 작업은 단일 측정항목의 변경 사항을 분석하는 것입니다. 작업 생성을 클릭하면 알고리즘이 이상 항목을 찾습니다.

현장에서 집합 변칙 검색에 대한 접근 방식을 선택할 수 있습니다. 예를 들어, Min 일반적인 값보다 낮은 값은 비정상적인 것으로 간주됩니다. 먹다 최대, 높은 평균, 낮은, 평균, 고유 다른 사람. 모든 기능에 대한 설명을 확인할 수 있습니다. 링크.

현장에서 분야 분석을 수행할 문서의 숫자 필드를 나타냅니다.

현장에서 버킷 범위 — 분석이 수행되는 타임라인의 간격 세분성. 자동화를 신뢰하거나 수동으로 선택할 수 있습니다. 아래 이미지는 세분성이 너무 낮은 예입니다. 이상 현상을 놓칠 수 있습니다. 이 설정을 사용하면 알고리즘의 민감도를 이상 현상으로 변경할 수 있습니다.

수집된 데이터의 기간은 분석의 효율성에 영향을 미치는 핵심 요소입니다. 분석 중에 알고리즘은 반복 간격을 식별하고 신뢰 구간(기준선)을 계산하며 이상(메트릭의 일반적인 동작에서 비정형적인 편차)을 식별합니다. 예를 들면 다음과 같습니다.

작은 데이터 조각을 사용한 기준:

알고리즘에 학습할 내용이 있는 경우 기준선은 다음과 같습니다.

작업을 시작한 후 알고리즘은 표준과의 비정상적인 편차를 결정하고 이상이 있을 확률에 따라 순위를 매깁니다(해당 레이블의 색상은 괄호 안에 표시됨).

경고(파란색): 25 미만
마이너(노란색): 25-50
메이저(주황색): 50-75
심각(빨간색): 75-100

아래 그래프는 발견된 이상 현상의 예를 보여줍니다.

여기서는 변칙 가능성을 나타내는 숫자 94를 볼 수 있습니다. 값이 100에 가까우므로 이상이 있음을 의미하는 것이 분명합니다. 그래프 아래 열에는 메트릭 값이 나타날 확률이 0.000063634%라는 경멸적으로 작은 확률이 표시됩니다.

이상 징후를 검색하는 것 외에도 Kibana에서 예측을 실행할 수 있습니다. 이는 간단하게 이상 현상이 있는 동일한 보기에서 수행됩니다. - 버튼 예보 오른쪽 상단에 있습니다.

예측은 최대 8주 전에 이루어집니다. 정말로 원하더라도 설계 상으로는 더 이상 불가능합니다.

일부 상황에서는 예측이 매우 유용할 수 있습니다(예: 인프라에서 사용자 로드를 모니터링할 때).

다중 측정법

Elastic Stack의 다음 ML 기능인 여러 지표를 한 번에 일괄 분석하는 방법으로 넘어가겠습니다. 그러나 이것이 한 측정항목의 다른 측정항목에 대한 종속성을 분석한다는 의미는 아닙니다. 이는 단일 지표와 동일하지만 한 화면에 여러 지표가 있어 서로의 영향을 쉽게 비교할 수 있습니다. 인구 섹션에서 한 측정항목의 다른 측정항목에 대한 종속성을 분석하는 방법에 대해 설명하겠습니다.

Multi Metric으로 사각형을 클릭하면 설정 창이 나타납니다. 좀 더 자세히 살펴보겠습니다.

먼저 분석 및 데이터 집계를 위한 필드를 선택해야 합니다. 여기의 집계 옵션은 단일 측정항목(최대, 높은 평균, 낮은, 평균, 고유 다른 사람). 또한 원하는 경우 데이터는 필드(필드) 중 하나로 나뉩니다. 데이터 분할). 예에서는 필드별로 이 작업을 수행했습니다. 출발지 공항 ID. 이제 오른쪽의 측정항목 그래프가 여러 그래프로 표시됩니다.

분야 핵심분야(인플루언서) 감지된 이상 징후에 직접적인 영향을 미칩니다. 기본적으로 여기에는 항상 하나 이상의 값이 있으며 추가 값을 추가할 수 있습니다. 알고리즘은 가장 "영향력 있는" 값을 분석하고 표시할 때 이러한 필드의 영향을 고려합니다.

실행 후 Kibana 인터페이스에 이와 유사한 내용이 나타납니다.

이것이 소위 각 필드 값에 대한 이상치의 히트 맵 출발지 공항 ID, 우리는 데이터 분할. Single Metric과 마찬가지로 색상은 비정상적인 편차 수준을 나타냅니다. 예를 들어 워크스테이션에서 의심스러울 정도로 많은 권한이 있는 워크스테이션 등을 추적하기 위해 유사한 분석을 수행하는 것이 편리합니다. 우리는 이미 썼다 EventLog Windows의 의심스러운 이벤트에 대해, 여기에서 수집하고 분석할 수도 있습니다.

열 지도 아래에는 이상 항목 목록이 있으며, 각 항목에서 자세한 분석을 위해 단일 측정항목 보기로 전환할 수 있습니다.

인구

서로 다른 지표 간의 상관 관계에서 이상 현상을 찾기 위해 Elastic Stack에는 전문적인 인구 분석 기능이 있습니다. 예를 들어 대상 시스템에 대한 요청 수가 증가하는 경우 다른 서버와 비교하여 서버 성능의 비정상적인 값을 찾을 수 있습니다.

이 그림에서 인구 필드는 분석된 측정항목과 관련된 값을 나타냅니다. 이 경우에는 프로세스의 이름입니다. 결과적으로 각 프로세스의 프로세서 로드가 서로 어떤 영향을 미치는지 살펴보겠습니다.

분석된 데이터의 그래프는 Single Metric, Multi Metric의 경우와 다르기 때문에 주의하시기 바랍니다. 이는 분석된 데이터의 값 분포에 대한 인식을 향상시키기 위해 Kibana에서 설계적으로 수행되었습니다.

그래프는 프로세스가 비정상적으로 동작했음을 보여줍니다. 스트레스 (그런데 특수 유틸리티에 의해 생성됨) 서버에서 포이푸, 이 변칙 현상의 발생에 영향을 준 사람(또는 영향력 있는 것으로 밝혀진 사람)입니다.

Advnaced

미세 조정을 통한 분석. 고급 분석을 사용하면 Kibana에 추가 설정이 나타납니다. 생성 메뉴에서 고급 타일을 클릭하면 탭이 있는 창이 나타납니다. 탭 작업 세부 정보 일부러 건너뛰었는데, 분석 설정과 직접적인 관련이 없는 기본 설정이 있습니다.

В summary_count_field_name 선택적으로 집계된 값이 포함된 문서에서 필드 이름을 지정할 수 있습니다. 이 예에서는 분당 이벤트 수입니다. 안에 분류_필드_이름 일부 변수 값이 포함된 문서의 필드 이름과 값을 나타냅니다. 이 필드의 마스크를 사용하면 분석된 데이터를 하위 집합으로 분할할 수 있습니다. 버튼에 주목하세요 감지기 추가 이전 그림에서. 아래는 이 버튼을 클릭한 결과입니다.

다음은 특정 작업에 대한 이상 탐지기를 구성하기 위한 추가 설정 블록입니다. 다음 기사에서는 구체적인 사용 사례(특히 보안 사례)에 대해 논의할 계획입니다. 예를 들어, 모양 분해된 케이스 중 하나입니다. 드물게 나타나는 값을 검색하는 것과 연관되어 구현됩니다. 희귀한 기능.

현장에서 기능 특정 기능을 선택하여 이상 현상을 검색할 수 있습니다. 제외하고 드문, 몇 가지 더 흥미로운 기능이 있습니다. time_of_day и time_of_week. 이들은 하루 또는 일주일 동안 측정항목 동작의 이상 현상을 각각 식별합니다. 기타 분석 기능 문서에 있습니다.

В 분야 명 분석이 수행될 문서의 필드를 나타냅니다. By_field_name 여기에서 지정한 문서 필드의 개별 값별로 분석 결과를 구분하는 데 사용할 수 있습니다. 채우면 over_field_name 위에서 논의한 인구 분석을 얻을 수 있습니다. 값을 지정하면 partition_field_name, 그러면 문서의 이 필드에 대해 각 값에 대해 별도의 기준선이 계산됩니다(값은 예를 들어 서버의 이름 또는 서버의 프로세스일 수 있음). 안에 제외_자주 선택 할수있다 모든 또는 없음, 이는 자주 발생하는 문서 필드 값을 제외(또는 포함)한다는 의미입니다.

이 기사에서 우리는 Elastic Stack의 기계 학습 기능에 대해 가능한 한 간결한 아이디어를 제공하려고 노력했지만, 아직 이면에는 많은 세부 정보가 남아 있습니다. Elastic Stack을 사용하여 어떤 사례를 해결했는지, 어떤 작업에 사용했는지 댓글로 알려주세요. 저희에게 연락하시려면 Habré에서 개인 메시지를 사용하시거나 웹사이트의 피드백 양식.

출처 : habr.com