9 подхода за откриване на аномалии

В предишната статия Говорихме за прогнозиране на времеви редици. Логично продължение ще бъде статия за откриване на аномалии.

Приложение

Откритие на аномалии се използва в области като:

1) Прогнозиране на повреди на оборудването

Например, през 2010 година иранските центрифуги бяха атакувани от вируса Stuxnet, който зададе неоптимален режим на работа на оборудването и изведе от строя част от него поради ускорено износване.

Ако на оборудването бяха използвани алгоритми за търсене на аномалии, ситуации на излизане от строя можеше да се избегнат.

Търсенето на аномалии в работата на оборудването се използва не само в атомната индустрия, но и в металургията, и в работата на авиационни турбини. И в други области, където използването на предсказателна диагностика е по-евтино от възможните загуби при непредвидима повреда.

2) Прогнозиране на измамни действия

Ако от картата, която използвате в Подолск, се изтеглят пари в Албания, възможно е транзакцията да трябва да бъде допълнително проверена.

3) Откриване на аномални потребителски модели

Ако част от клиентите демонстрират аномално поведение, вероятно има проблем, за който не знаете.

4) Откритие на аномален търсене и натоварване

Ако продажбите в магазина за FMCG са паднали под границата на доверителния интервал на прогнозата, заслужава да се намери причината за това.

Подходи за откриване на аномалии

1) Метод на опорни вектори с един клас One-Class SVM

Подходящ е, когато в обучаващия набор данните подлежат на нормално разпределение, а в тестовия набор съдържат аномалии.

Методът на еднокласовите опорни вектори изгражда нелинейна повърхност около началото на координатната система. Може да се зададе граница на отсяването, какви данни да се считат за аномални.

Съдейки по опита на нашия екип DATA4, One-Class SVM е най-често използваният алгоритъм за решаване на задача за търсене на аномалии.

2) Метод на изолиращата гора - isolate forest

При "случайния" метод за изграждане на дървета, аномалиите ще попадат в листата рано (на малка дълбочина на дървото), т.е. аномалиите са по-лесни за "изолиране". Изолирането на аномални стойности става в ранните итерации на работата на алгоритма.

3) Elliptic envelope и статистически методи

Използва се, когато данните са нормално разпределени. Колкото по-близко е измерването до опашката на смесеното разпределение, толкова по-аномално е стойността.

К този клас могат да се отнесат и други статистически методи.

Изображение от сайта dyakonov.org

4) Метрични методи

Към методите спасяват и алгоритми като k най-близки съседи, k-ти най-близък съсед, ABOD (метод за откриване на аномалии на основата на ъглите) или LOF (локален фактор на аномалии).

Подходящи са, ако разстоянието между стойностите в признаците е равностойно или нормализирано (за да не измерваме удав в папагали).

Алгоритъмът k най-близки съседи предполага, че нормалните стойности са разположени в определена област на многомерното пространство, а разстоянието до аномалиите ще е по-голямо, отколкото до разделящата хиперплоскост.

5) Клъстерни методи

Същността на клъстерните методи е, че ако стойността е отдалечена от центровете на клъстерите с повече от определена величина, стойността може да се счита за аномална.

Важно е да се използва алгоритъм, който правилно клъстеризира данните, което зависи от конкретната задача.

6) Метод на главните компоненти

Подходящо е, когато се открояват посоките на най-голямо изменение на дисперсията.

7) Алгоритми, базирани на прогнози за времеви редици

Идеята е, че ако стойността е извън доверието на интервала на предсказание, стойността се счита за аномална. За прогнозиране на времеви редици се използват алгоритми като тройно изглаждане, S(ARIMA), бустинг и др.

За алгоритмите за прогнози на времеви редици беше говорено в предишната статия.

8) Учене с ръководство (регресия, класификация)

Ако данните позволяват, използваме алгоритми от линейна регресия до рекурентни мрежи. Ще измерим разликата между предсказанието и действителната стойност и ще направим извод за това, доколко данните се отклоняват от нормата. Важно е алгоритъмът да има достатъчна обобщаваща способност и обучаващата извадка да не съдържа аномални стойности.

9) Моделни тестове

Подходите към задачата за откриване на аномалии може да се разглеждат като задача за намиране на препоръки. Ще разложим нашата матрица от признаци с помощта на SVD или факторизационни машини и стойностите в новата матрица, които значително се различават от оригиналните, ще приемем за аномални.

Изображение от сайта dyakonov.org

Заключение

В тази статия разгледахме основните подходи към откриването на аномалии.

Търсенето на аномалии може да се нарече изкуство. Няма идеален алгоритъм или подход, който да решава всички задачи. Често се използва комплекс от методи за решаване на конкретен случай. Търсенето на аномалии се извършва с помощта на еднокласов метод на опорни вектори, изолирани гори, метрични и клъстерни методи, както и с използването на основни компоненти и прогнозиране на времеви редици.

Ако знаете за други методи, моля, споделете ги в коментарите под статията.

Източник: habr.com