🥇이상 현상을 탐지하는 9가지 접근 방식

В 이전 기사 우리는 시계열 예측에 대해 이야기했습니다. 논리적 연속은 이상 현상 식별에 관한 기사입니다.

신청

이상 탐지는 다음과 같은 영역에서 사용됩니다.

1) 장비고장 예측

따라서 2010년 이란의 원심분리기는 스턱스넷(Stuxnet) 바이러스의 공격을 받아 장비가 최적이 아닌 작동 상태로 설정되고 마모가 가속화되어 일부 장비가 작동하지 않게 되었습니다.

장비에 이상 감지 알고리즘을 사용했다면 오류 상황을 피할 수 있었을 것입니다.

장비 작동의 이상 현상 검색은 원자력 산업뿐만 아니라 야금 및 항공기 터빈 작동에도 사용됩니다. 그리고 예측 진단을 사용하는 것이 예측할 수 없는 고장으로 인해 발생할 수 있는 손실보다 더 저렴한 다른 영역에서도 마찬가지입니다.

2) 사기예측

알바니아 포돌스크에서 사용하는 카드에서 돈이 인출되는 경우 거래 내용을 추가로 확인해야 할 수도 있습니다.

3) 비정상적인 소비자 패턴 파악

일부 고객이 비정상적인 행동을 보이는 경우 귀하가 인지하지 못하는 문제가 있을 수 있습니다.

4) 이상수요 및 부하의 식별

FMCG 매장의 매출이 예측의 신뢰 구간 아래로 떨어졌다면 무슨 일이 일어나고 있는지 이유를 찾아볼 가치가 있습니다.

이상 징후 식별에 대한 접근 방식

1) 단일 클래스 단일 클래스 SVM을 사용한 지원 벡터 머신

훈련 세트의 데이터가 정규 분포를 따르지만 테스트 세트에 이상이 있는 경우에 적합합니다.

단일 클래스 서포트 벡터 머신은 원점 주위에 비선형 표면을 구성합니다. 데이터가 이상하다고 간주되는 기준 한계를 설정할 수 있습니다.

DATA4 팀의 경험을 바탕으로 One-Class SVM은 이상 현상 발견 문제를 해결하는 데 가장 일반적으로 사용되는 알고리즘입니다.

2) 숲을 분리하는 방법

나무를 만드는 "무작위" 방법을 사용하면 배출물이 초기 단계(나무의 얕은 깊이)에 나뭇잎에 유입됩니다. 배출물을 "격리"하기가 더 쉽습니다. 비정상적인 값의 격리는 알고리즘의 첫 번째 반복에서 발생합니다.

3) 타원 포락선 및 통계적 방법

데이터가 정규 분포를 따르는 경우에 사용됩니다. 측정값이 분포 혼합의 꼬리에 가까울수록 값의 변칙성이 커집니다.

다른 통계 방법도 이 클래스에 포함될 수 있습니다.

dyakonov.org의 이미지

4) 측정 방법

방법에는 k-최근접 이웃, k-최근접 이웃, ABOD(각도 기반 이상치 감지) 또는 LOF(국소 이상치 요인)와 같은 알고리즘이 포함됩니다.

특성 값 사이의 거리가 동일하거나 정규화된 경우 적합합니다(앵무새의 보아 뱀을 측정하지 않도록).

k-최근접 이웃 알고리즘은 정상 값이 다차원 공간의 특정 영역에 위치하고 이상치까지의 거리가 분리된 초평면보다 더 클 것이라고 가정합니다.

5) 클러스터 방법

군집 방법의 핵심은 값이 군집 중심에서 일정량 이상 벗어나면 그 값이 변칙적인 것으로 간주될 수 있다는 것입니다.

가장 중요한 것은 특정 작업에 따라 데이터를 올바르게 클러스터링하는 알고리즘을 사용하는 것입니다.

6) 주성분법

분산의 가장 큰 변화 방향이 강조되는 경우에 적합합니다.

7) 시계열 예측 기반 알고리즘

값이 예측 신뢰 구간을 벗어나면 해당 값은 비정상적인 것으로 간주됩니다. 시계열을 예측하기 위해서는 Triple Smoothing, S(ARIMA), Boosting 등의 알고리즘이 사용됩니다.

시계열 예측 알고리즘은 이전 기사에서 논의되었습니다.

8) 지도 학습(회귀, 분류)

데이터가 허용하는 경우 선형 회귀부터 순환 네트워크까지 다양한 알고리즘을 사용합니다. 예측값과 실제값의 차이를 측정하고, 데이터가 표준에서 어느 정도 벗어나는지 결론을 도출해 보겠습니다. 알고리즘의 일반화 능력이 충분하고 훈련 세트에 비정상적인 값이 포함되지 않는 것이 중요합니다.

9) 모델 테스트

이상치 검색 문제를 추천 검색 문제로 접근해보자. SVD 또는 인수분해 기계를 사용하여 특징 행렬을 분해하고, 원래 행렬과 크게 다른 새 행렬의 값을 비정상으로 간주해 보겠습니다.