이상 탐지를 위한 9가지 접근 방식

В 이전 기사 우리는 시계열 예측에 대해 이야기했습니다. 논리적으로 계속하면 이상 현상을 식별하는 방법에 대한 기사가 될 것입니다.

신청

이상 감지는 다음과 같은 분야에서 사용됩니다.

1) 장비 고장 예측

예를 들어 2010년에 이란의 원심분리기가 스턱스넷 바이러스의 공격을 받았는데, 이로 인해 장비의 작동 모드가 최적이 아니게 설정되었고, 마모가 가속화되어 일부 장비가 작동하지 않게 되었습니다.

장비에 이상 감지 알고리즘을 사용했더라면, 이런 고장 상황은 피할 수 있었을 것입니다.

장비 작동의 이상을 찾는 것은 핵 산업뿐만 아니라 야금 및 항공기 터빈 작동에도 사용됩니다. 그리고 예측 불가능한 고장이 발생했을 때 발생할 수 있는 손실보다 예측 진단을 사용하는 것이 더 저렴한 경우도 있습니다.

2) 사기 행위 예측

알바니아 포돌스크에서 사용하는 카드에서 돈이 인출되는 경우, 거래에 대한 추가 확인이 필요할 수 있습니다.

3) 비정상적인 소비자 패턴 식별

고객 중 일부가 비정상적인 행동을 보이는 경우, 귀하가 모르는 문제가 있을 수 있습니다.

4) 비정상수요 및 부하 파악

FMCG 매장의 매출이 예상 신뢰 구간 아래로 떨어진 경우, 그 이유를 찾는 것이 좋습니다.

이상 감지 접근 방식

1) 단일 클래스 SVM

훈련 세트 데이터가 정규 분포를 따르는 반면, 테스트 세트에 이상치가 포함된 경우에 적합합니다.

1클래스 지원 벡터 머신은 원점을 중심으로 비선형 표면을 구성합니다. 비정상으로 간주되는 데이터에 대한 차단값을 설정할 수 있습니다.

DATA4 팀의 경험에 따르면, One-Class SVM은 이상 감지 문제를 해결하는 데 가장 일반적으로 사용되는 알고리즘입니다.

2) 숲을 분리하는 방법

"무작위" 방식으로 나무를 구성하면 배출물이 초기 단계(나무의 얕은 깊이)에 잎에 떨어지므로 배출물을 "격리"하기가 더 쉽습니다. 비정상적인 값의 선택은 알고리즘의 첫 번째 반복 중에 발생합니다.

3) 타원포락선과 통계적 방법

데이터가 정규적으로 분포될 때 사용됩니다. 측정값이 다양한 분포의 꼬리에 가까울수록 값의 변칙성이 커집니다.

다른 통계적 방법도 이 수업에 포함될 수 있습니다.

dyakonov.org의 이미지

4) 계량적 방법

이러한 방법에는 k 최근접 이웃, k번째 최근접 이웃, ABOD(각도 기반 이상치 탐지) 또는 LOF(지역적 이상치 요인)와 같은 알고리즘이 포함됩니다.

특성 값 사이의 거리가 동일하거나 표준화된 경우(앵무새에서 보아 뱀을 측정하지 않도록) 적합합니다.

k-최근접 이웃 알고리즘은 정상 값이 다차원 공간의 특정 영역에 위치하고, 이상 값까지의 거리가 분리 초평면까지의 거리보다 크다고 가정합니다.

5) 클러스터 방법

클러스터 방법의 핵심은 값이 클러스터 중심에서 특정 양 이상 제거되면 해당 값을 비정상으로 간주할 수 있다는 것입니다.

가장 중요한 것은 특정 작업에 따라 데이터를 올바르게 클러스터링하는 알고리즘을 사용하는 것입니다.

6) 주성분법

분산에서 가장 큰 변화 방향을 구별하는 데 적합합니다.

7) 시계열 예측 기반 알고리즘

값이 예측 신뢰 구간을 벗어나면 해당 값은 이상치로 간주된다는 아이디어입니다. 트리플 스무딩, S(ARIMA), 부스팅 등의 알고리즘이 시계열을 예측하는 데 사용됩니다.

시계열 예측 알고리즘은 이전 기사에서 논의되었습니다.

8) 지도학습(회귀, 분류)

데이터가 허락한다면 선형 회귀부터 순환 네트워크까지 다양한 알고리즘을 사용합니다. 예측값과 실제값의 차이를 측정하고, 데이터가 표준에서 얼마나 벗어나는지 결론을 도출해 보겠습니다. 알고리즘이 충분한 일반화 능력을 갖추고 훈련 샘플에 비정상적인 값이 포함되지 않는 것이 중요합니다.

9) 모델 테스트

이상 현상을 찾는 문제를 추천을 찾는 문제로 접근해 보겠습니다. 우리는 SVD 또는 인수분해 머신을 사용하여 특징 행렬을 분해할 것이고, 새로운 행렬에서 원래 값과 크게 다른 값은 비정상으로 간주될 것입니다.

dyakonov.org의 이미지

결론

이 글에서는 이상 감지에 대한 주요 접근 방식을 살펴보았습니다.

이상 현상을 발견하는 것은 여러 면에서 예술로 간주될 수 있습니다. 모든 문제를 해결할 수 있는 이상적인 알고리즘이나 접근 방식은 없습니다. 특정한 사건을 해결하기 위해 여러 가지 방법을 사용하는 경우가 더 많습니다. 이상 감지는 단일 클래스 지원 벡터 머신, 격리 포레스트, 측정 및 클러스터 방법을 사용하고, 주성분과 시계열 예측을 사용하여 수행됩니다.

다른 방법을 알고 계시다면 기사 댓글에 적어 주시기 바랍니다.

출처 : habr.com