9 pendekatan pikeun ngadeteksi anomali

В artikel saméméhna мы говорили о прогнозировании временных рядов. Логичным продолжением будет статья о выявлении аномалий.

aplikasi

Выявление аномалий используется в таких областях как:

1) Prediksi ngarecahna pakakas

Ku kituna, dina 2010, centrifuges Iran diserang ku virus Stuxnet, nu nyetel parabot pikeun operasi non-optimal sarta ditumpurkeun sababaraha parabot alatan maké gancangan.

Upami algoritma deteksi anomali parantos dianggo dina alat, kaayaan gagalna tiasa dihindari.

Pilarian pikeun anomali dina operasi pakakas dipaké teu ukur dina industri nuklir, tapi ogé dina metallurgy jeung operasi turbin pesawat. Sarta di wewengkon séjén dimana pamakéan diagnostics prediktif leuwih murah batan kamungkinan karugian alatan hiji ngarecahna unpredictable.

2) Предсказание мошеннических действий

Upami artos ditarik tina kartu anu anjeun anggo di Podolsk di Albania, transaksina panginten kedah dipariksa deui.

3) Выявление аномальных потребительских паттернов

Если часть клиентов демонстрирует аномальное поведение, возможно, есть проблема, о которой вы не знаете.

4) Выявление аномального спроса и нагрузки

Если продажи в магазине FMCG понизились ниже границы доверительного интервала прогноза, стоит найти причину происходящего.

Pendekatan pikeun ngaidentipikasi anomali

1) Rojongan Mesin Véktor jeung Hiji Kelas Hiji-Kelas SVM

Подходит, когда в обучающем наборе данные подчиняются нормальному распределению, а в тестовом содержат аномалии.

Mesin vektor rojongan hiji-kelas constructs permukaan nonlinier sabudeureun asal. Kasebut nyaéta dimungkinkeun pikeun nyetel wates cutoff nu data dianggap anomali.

Dumasar kana pangalaman tim DATA4 kami, One-Class SVM mangrupikeun algoritma anu paling sering dianggo pikeun ngarengsekeun masalah milarian anomali.

2) Métode leuweung isolasi

Kalayan metode "acak" ngawangun tangkal, émisi bakal asup kana daun dina tahap awal (dina jero tangkal anu deet), nyaéta. émisi langkung gampang "ngasingkeun". Isolasi nilai anomali lumangsung dina iterations mimiti algoritma.

3) Elliptic envelope и статистические методы

Используется, когда данные нормально распределены. Чем ближе измерение к хвосту смеси распределений, тем более аномально значение.

Métode statistik séjén ogé bisa diasupkeun kana kelas ieu.

Gambar tina dyakonov.org

4) Метрические методы

К методам относятся такие алгоритмы, как k ближайших соседей, k-го ближайшего соседа, ABOD (angle-based outlier detection) или LOF (local outlier factor).

Cocog upami jarak antara nilai-nilai dina karakteristik sarimbag atanapi dinormalisasi (supaya henteu ngukur boa dina manuk beo).

Algoritma k-pangcaketna tatangga nganggap yén nilai normal aya di wewengkon nu tangtu spasi multidimensional, sarta jarak ka anomali bakal leuwih gede dibandingkeun hyperplane misahkeun.

5) Кластерные методы

Суть кластерных методов заключается в том, что если значение удалено от центров кластеров более чем на определенную величину, значение можно считать аномальным.

Hal utama nyaéta ngagunakeun algoritma anu leres-leres ngumpulna data, anu gumantung kana tugas khusus.

6) Метод главных компонент

Cocog dimana arah parobahan pangbadagna dina dispersi disorot.

7) Algoritma dumasar kana ramalan runtuyan waktu

Ide nya éta lamun nilai ragrag di luar interval kapercayaan prediksi, nilai nu dianggap anomali. Pikeun ngaduga runtuyan waktu, algoritma saperti triple smoothing, S(ARIMA), boosting, jsb dipaké.

Algoritma ramalan séri waktos dibahas dina tulisan sateuacana.

8) Обучение с учителем (регрессия, классификация)

Lamun data ngamungkinkeun, urang ngagunakeun algoritma mimitian ti régrési linier ka jaringan ngulang. Hayu urang ngukur bédana antara prediksi jeung nilai sabenerna, sarta tarik kacindekan naon extent data nyimpang tina norma. Kadé algoritma boga kamampuh generalisasi cukup jeung set latihan teu ngandung nilai anomali.

9) Модельные тесты

Подойдем к задаче поиска аномалий как к задаче поиска рекомендаций. Разложим нашу матрицу признаков с помощью SVD или факторизационных машин, и значения в новой матрице, существенно отличающиеся от исходных, примем аномальными.

Gambar tina dyakonov.org

kacindekan

Dina artikel ieu, urang marios pendekatan utama pikeun deteksi anomali.

Поиск аномалий во многом можно назвать искусством. Нет идеального алгоритма или подхода, применение которого решает все задачи. Чаще используется комплекс методов для решения конкретного кейса. Поиск аномалий осуществляется с помощью одноклассового метода опорных векторов, изолирующего леса, метрических и кластерных методов, а также с использованием главных компонент и прогнозирования временных рядов.

Если вы знаете другие методы, напишите про них в комментарии к статье.

sumber: www.habr.com