9 метода за откриване на аномалии

В в предишната статия Говорили сме за прогнозиране на времеви редици. Логично продължение ще бъде статията за откритие на аномалии.

Приложение

Откритие на аномалии се използва в области като:

1) Предсказване на повреди на оборудването

През 2010 година иранските центрофуги бяха атакувани от вируса Stuxnet, който зададе неоптимален режим на работа на оборудването и извади част от него от строя поради ускорено износване.

Ако на оборудването бяха използвани алгоритми за откриване на аномалии, ситуацията с повредите можеше да бъде избегната.

Откритие на аномалии при работа на оборудването се използва не само в ядрената индустрия, но и в металургията и работа на авиационни турбини. И в други области, където използването на предсказателна диагностика е по-евтино от възможните загуби при непредвидима повреда.

2) Предсказване на измамни действия

Ако от картата ви, която използвате в Подолск, се изтеглят пари в Албания, е възможно транзакциите да изискват допълнителна проверка.

3) Откритие на аномални потребителски модели

Ако част от клиентите демонстрира аномално поведение, възможно е да има проблем, за който не знаете.

4) Откритие на аномален търсене и натоварване

Ако продажбите в магазина за бързооборотни стоки (FMCG) паднат под границата на доверителния интервал на прогнозата, струва си да се намери причината за случващото се.

Подходи за откритие на аномалии

1) Метод на опорни вектори с един клас (One-Class SVM)

Подходящ е, когато в обучаващия набор данните следват нормално разпределение, а в тестовия съдържат аномалии.

Методът на опорни вектори за един клас изгражда нелинейна повърхност около началото на координатната система. Може да се зададе граница за рязане, за да се определи кои данни да се считат за аномални.

На базата на опита на нашия екип DATA4, One-Class SVM е най-често използваният алгоритъм за решаване на задачата за откритие на аномалии.

2) Метод на изолиращата гора (isolate forest)

При „случайния“ начин на построяване на дърветата изключенията ще попаднат в листата на ранните етапи (на малка дълбочина на дървото), т.е. изключенията се изолират по-лесно. Откритие на аномалните стойности се извършва в ранните итерации на работата на алгоритъма.

3) Елиптичен обвив и статистически методи

Използва се, когато данните са нормално разпределени. Колкото по-близо е измерването до опашката на сместа от разпределения, толкова по-аномалната е стойността.

К този клас могат да се отнесат и други статистически методи.

Изображение от сайта dyakonov.org

4) Методи за метричен анализ

Методите включват алгоритми като k най-близки съседи, k-ми най-близък съсед, ABOD (детекция на аномалии на основата на ъгъла) или LOF (локален фактор на аномалия).

Подходящи са, ако разстоянието между стойностите по признаците е равнозначно или нормализирано (за да не се измерва удавът в папагали).

Алгоритъмът на k най-близките съседи предполага, че нормалните стойности са разположени в определена област на многомерното пространство, а разстоянието до аномалиите ще бъде по-голямо от това до разделящата хиперплоскост.

5) Клъстерни методи

Същността на клъстерните методи е, че ако стойността е отдалечена от центровете на клъстерите повече от определена величина, стойността може да се счита за аномална.

Важно е да се използва алгоритъм, който правилно клъстеризира данните, което зависи от конкретната задача.

6) Метод на главните компоненти

Подходящ е, когато се определят посоките на най-голямо изменение на дисперсията.

7) Алгоритми за прогнозиране на времеви серии

Идеята е, че ако стойността излиза извън доверителния интервал на прогнозата, стойността се счита за аномална. За прогнозиране на времеви серии се използват алгоритми като трикратно изглаждане, S(ARIMA), бустинг и др.

За алгоритмите за прогнозиране на времеви серии беше споменато в предишната статия.

8) Обучение с учител (регресия, класификация)

Ако данните позволяват, използваме алгоритми, започващи от линейна регресия до рецидивистки мрежи. Ще измерим разликата между прогнозата и реалната стойност и ще направим извода доколко данните излизат извън нормата. Важно е алгоритъмът да има достатъчна обобщаваща способност и обучаващият набор да не съдържа аномални стойности.

9) Моделни тестове

Ще подходим към задачата за откриване на аномалии като задача за търсене на препоръки. Ще разложим нашата матрица на признаци чрез SVD или факторизационни машини, а стойностите в новата матрица, които съществено се отличават от оригиналните, ще приемем за аномални.

Изображение от сайта dyakonov.org

Заключение

В тази статия разгледахме основните подходи за откриване на аномалии.

Търсенето на аномалии може да се нарече изкуство. Няма идеален алгоритъм или подход, който да решава всички задачи. Често се използва комплекс от методи за решаване на конкретен случай. Търсенето на аномалии се извършва с помощта на методи за опорни вектори, изолирани гори, метрични и клъстерни методи, както и с използване на главни компоненти и прогнозиране на времеви редици.

Ако знаете за други методи, моля, напишете ги в коментарите към статията.

Източник: habr.com