9 приступа за откривање аномалија

В претходни чланак разговарали смо о предвиђању временских серија. Логичан наставак би био чланак о идентификовању аномалија.

Апликација

Откривање аномалија се користи у областима као што су:

1) Предвиђање кварова опреме

Тако је 2010. године иранске центрифуге напао вирус Стукнет, који је опрему поставио у неоптималан рад и онеспособио део опреме због убрзаног хабања.

Да су алгоритми за откривање аномалија коришћени на опреми, ситуација квара би се могла избећи.

Потрага за аномалијама у раду опреме користи се не само у нуклеарној индустрији, већ и у металургији и раду авионских турбина. И у другим областима где је употреба предиктивне дијагностике јефтинија од могућих губитака услед непредвидивог квара.

2) Предвиђање преваре

Ако се новац повуче са картице коју користите у Подолску у Албанији, трансакције ће можда морати да се додатно провере.

3) Идентификација абнормалних потрошачких образаца

Ако неки купци покажу ненормално понашање, можда постоји проблем којег нисте свесни.

4) Идентификација ненормалне потражње и оптерећења

Ако је продаја у ФМЦГ продавници пала испод интервала поверења прогнозе, вреди пронаћи разлог за оно што се дешава.

Приступи идентификацији аномалија

1) Подршка векторска машина са једном класом СВМ-а једне класе

Погодно када подаци у скупу за обуку прате нормалну дистрибуцију, али тест скуп садржи аномалије.

Једнокласна машина вектора подршке конструише нелинеарну површину око почетка. Могуће је поставити граничну границу за коју се подаци сматрају аномалним.

На основу искуства нашег ДАТА4 тима, Оне-Цласс СВМ је најчешће коришћени алгоритам за решавање проблема проналажења аномалија.

2) Метода изолације шуме

Код „насумичне“ методе конструисања дрвећа, емисије ће ући у лишће у раним фазама (на малој дубини дрвета), тј. емисије је лакше „изоловати“. Изолација аномалних вредности се јавља у првим итерацијама алгоритма.

3) Елиптични омотач и статистичке методе

Користи се када се подаци нормално дистрибуирају. Што је мерење ближе репу мешавине дистрибуција, то је вредност аномалнија.

У ову класу могу се укључити и друге статистичке методе.

Слика са диаконов.орг

4) Метричке методе

Методе укључују алгоритме као што су к-најближи суседи, к-најближи суседи, АБОД (детекција одступања на основу угла) или ЛОФ (фактор локалног одступања).

Погодно ако је растојање између вредности у карактеристикама еквивалентно или нормализовано (како се не би мерио боа констриктор код папагаја).

Алгоритам к-најближих суседа претпоставља да се нормалне вредности налазе у одређеном региону вишедимензионалног простора, а растојање до аномалија ће бити веће него до хиперравне која раздваја.

5) Кластер методе

Суштина метода кластера је да ако је вредност више од одређеног износа удаљена од центара кластера, вредност се може сматрати аномалном.

Главна ствар је да користите алгоритам који исправно групише податке, што зависи од конкретног задатка.

6) Метода главне компоненте

Погодно тамо где су истакнути правци највеће промене дисперзије.

7) Алгоритми засновани на предвиђању временских серија

Идеја је да ако вредност падне ван интервала поузданости предвиђања, вредност се сматра аномалном. За предвиђање временске серије користе се алгоритми као што су троструко изглађивање, С(АРИМА), појачавање итд.

Алгоритми за предвиђање временских серија су разматрани у претходном чланку.

8) Учење под надзором (регресија, класификација)

Ако подаци дозвољавају, користимо алгоритме у распону од линеарне регресије до рекурентних мрежа. Хајде да измеримо разлику између предвиђања и стварне вредности, и извучемо закључак у којој мери подаци одступају од норме. Важно је да алгоритам има довољну способност генерализације и да скуп за обуку не садржи аномалне вредности.

9) Тестови модела

Приступимо проблему тражења аномалија као проблему тражења препорука. Хајде да декомпонујемо нашу матрицу карактеристика користећи СВД или машине за факторизацију, и узмимо вредности у новој матрици које се значајно разликују од оригиналних као аномалне.

Слика са диаконов.орг

Закључак

У овом чланку смо прегледали главне приступе откривању аномалија.

Проналажење аномалија се на много начина може назвати уметношћу. Не постоји идеалан алгоритам или приступ, чија употреба решава све проблеме. Чешће се користи скуп метода за решавање конкретног случаја. Детекција аномалија се врши коришћењем једнокласних машина за векторе подршке, изолационих шума, метричких и кластер метода, као и коришћењем главних компоненти и предвиђања временских серија.

Ако знате друге методе, пишите о њима у коментарима на чланак.

Извор: ввв.хабр.цом