9 подхода за откриване на аномалии

В предишна статия говорихме за прогнозиране на времеви редове. Логично продължение ще бъде статия за идентифициране на аномалии.

Прилагане

Откриването на аномалии се използва в области като:

1) Прогноза за повреда на оборудването

Така през 2010 г. иранските центрофуги бяха атакувани от вируса Stuxnet, който настрои оборудването на неоптимална работа и извади от строя част от оборудването поради ускорено износване.

Ако в оборудването бяха използвани алгоритми за откриване на аномалии, ситуацията на повреда можеше да бъде избегната.

Търсенето на аномалии в работата на оборудването се използва не само в ядрената индустрия, но и в металургията и работата на авиационни турбини. И в други области, където използването на предсказуема диагностика е по-евтино от възможните загуби поради непредсказуема повреда.

2) Прогноза за измами

Ако се изтеглят пари от картата, която използвате в Подолск в Албания, може да се наложи транзакциите да бъдат допълнително проверени.

3) Идентифициране на необичайни потребителски модели

Ако някои клиенти проявяват необичайно поведение, може да има проблем, за който не подозирате.

4) Идентифициране на необичайно търсене и натоварване

Ако продажбите в магазин за бързооборотни стоки са паднали под доверителния интервал на прогнозата, струва си да откриете причината за случващото се.

Подходи за идентифициране на аномалии

1) Поддръжка на векторна машина с One Class One-Class SVM

Подходящо, когато данните в набора за обучение следват нормално разпределение, но тестовият набор съдържа аномалии.

Еднокласовата опорна векторна машина изгражда нелинейна повърхност около началото. Възможно е да се зададе граница на прекъсване, за която данните се считат за аномални.

Въз основа на опита на нашия екип на DATA4, One-Class SVM е най-често използваният алгоритъм за решаване на проблема с намирането на аномалии.

2) Изолиран горски метод

При „случайния“ метод за изграждане на дървета емисиите ще навлязат в листата на ранни етапи (на малка дълбочина на дървото), т.е. емисиите са по-лесни за „изолиране“. Изолирането на аномални стойности се случва в първите повторения на алгоритъма.

3) Елиптична обвивка и статистически методи

Използва се, когато данните са нормално разпределени. Колкото по-близо е измерването до опашката на сместа от разпределения, толкова по-аномална е стойността.

В този клас могат да бъдат включени и други статистически методи.

Изображение от dyakonov.org

4) Метрични методи

Методите включват алгоритми като k-най-близки съседи, k-най-близки съседи, ABOD (базирано на ъгъл откриване на отклонение) или LOF (локален фактор на отклонение).

Подходящо, ако разстоянието между стойностите в характеристиките е еквивалентно или нормализирано (за да не се измерва боа констриктор в папагали).

Алгоритъмът на k-най-близките съседи предполага, че нормалните стойности са разположени в определена област на многомерно пространство и разстоянието до аномалиите ще бъде по-голямо, отколкото до разделящата хиперравнина.

5) Клъстерни методи

Същността на клъстерните методи е, че ако дадена стойност е повече от определено разстояние от центровете на клъстера, стойността може да се счита за аномална.

Основното нещо е да използвате алгоритъм, който правилно групира данните, което зависи от конкретната задача.

6) Метод на главния компонент

Подходящо, когато са подчертани посоките на най-голямата промяна в дисперсията.

7) Алгоритми, базирани на прогнозиране на времеви редове

Идеята е, че ако дадена стойност е извън доверителния интервал на прогнозата, стойността се счита за аномална. За прогнозиране на времева серия се използват алгоритми като тройно изглаждане, S(ARIMA), усилване и др.

Алгоритмите за прогнозиране на времеви редове бяха обсъдени в предишната статия.

8) Учене под наблюдение (регресия, класификация)

Ако данните позволяват, използваме алгоритми, вариращи от линейна регресия до повтарящи се мрежи. Нека измерим разликата между прогнозата и действителната стойност и да направим заключение до каква степен данните се отклоняват от нормата. Важно е алгоритъмът да има достатъчна способност за обобщение и наборът за обучение да не съдържа аномални стойности.

9) Моделни тестове

Нека подходим към проблема с търсенето на аномалии като проблем с търсенето на препоръки. Нека разложим нашата матрица на характеристиките с помощта на SVD или машини за факторизиране и да приемем стойностите в новата матрица, които са значително различни от оригиналните, като аномални.

Изображение от dyakonov.org

Заключение

В тази статия прегледахме основните подходи за откриване на аномалии.

Откриването на аномалии в много отношения може да се нарече изкуство. Няма идеален алгоритъм или подход, чието използване да решава всички проблеми. По-често се използва набор от методи за решаване на конкретен случай. Откриването на аномалии се извършва с помощта на еднокласови опорни векторни машини, изолиращи гори, метрични и клъстерни методи, както и с помощта на главни компоненти и прогнозиране на времеви редове.

Ако знаете други методи, пишете за тях в коментарите към статията.

Източник: www.habr.com