V Hovořili jsme o predikci časových řad. Logickým pokračováním bude článek o detekci anomálií.
Použití
Detekce anomálií se využívá v oblastech jako jsou:
1) Predikce poruch zařízení
V roce 2010 byly íránské centrifugy napadeny virem Stuxnet, který nastavil suboptimální provozní režim a zničil část zařízení v důsledku urychleného opotřebení.
Kdyby na zařízení byly použity algoritmy pro detekci anomálií, této situaci by se dalo předejít.
Detekce anomálií v provozu zařízení se využívá nejen v jaderném průmyslu, ale také v metalurgii a v oblasti leteckých turbín. A v dalších oblastech, kde využití prediktivní diagnostiky je levnější než možné ztráty při nepředvídatelných poruchách.
2) Predikce podvodných činností
Pokud se z karty, kterou používáte v Podolsku, vybírají peníze v Albánii, možná by měly být transakce dodatečně prověřeny.
3) Detekce anomálních spotřebitelských vzorců
Pokud část zákazníků vykazuje anomální chování, možná je problém, o kterém nevíte.
4) Detekce anomální poptávky a zatížení
Pokud prodeje v obchodě FMCG klesly pod mez důvěryhodného intervalu predikce, je třeba zjistit příčinu tohoto dění.
Přístupy k detekci anomálií
1) Metoda podpůrných vektorů s jednou třídou One-Class SVM
Vhodná, když v tréninkovém souboru data podléhají normálnímu rozdělení, zatímco v testovacím souboru obsahují anomálie.
Jednoduchá metoda podpůrných vektorů staví nelineární plochu kolem počátku souřadnic. Je možné nastavit prahovou hodnotu pro to, jaké údaje považovat za anomální.
Na základě zkušeností našeho týmu DATA4 je One-Class SVM nejčastěji používaný algoritmus pro řešení úlohy detekce anomálií.
2) Metoda izolačního lesa – isolate forest
Při „náhodném“ způsobu stavby stromů budou odlehlé hodnoty spadat do listů na raných fázích (na malé hloubce stromu), tedy bude jednodušší tyto odlehlé hodnoty "izolovat". Oddělení anomálních hodnot probíhá v prvních iteracích práce algoritmu.
3) Elliptic envelope a statistické metody
Používá se, když jsou data normálně rozdělena. Čím blíže je měření k ocasu směsi rozdělení, tím více je hodnota anomální.
Tato třída zahrnuje i další statistické metody.
Obrázek z webu dyakonov.org
4) Metodické metody
Mezi metody patří algoritmy, jako jsou k nejbližších sousedů, k-tý nejbližší soused, ABOD (detekce odlehlých bodů na základě úhlu) nebo LOF (místní faktor odlehlosti).
Jsou vhodné, pokud je vzdálenost mezi hodnotami atributů ekvivalentní nebo normalizována (abychom neměřili hady v papoušcích).
Algoritmus k nejbližších sousedů předpokládá, že normální hodnoty jsou umístěny v určité oblasti vícerozměrného prostoru, zatímco vzdálenost k anomáliím bude větší než k dělící hyperrovnině.
5) Klastrické metody
Podstatou klastrických metod je, že pokud je hodnota vzdálená od center skupin více než určitou míru, může být považována za anomální.
Hlavní je používat algoritmus, který správně klastruje data, což závisí na konkrétní úloze.
6) Metoda hlavních komponent
Vhodné, kde se zdůrazňují směry s největší změnou rozptylu.
7) Algoritmy na základě predikce časových řad
Myšlenka spočívá v tom, že pokud hodnota vybočuje z intervalového odhadu, považuje se za anomální. Pro predikci časové řady se používají algoritmy jako trojité vyhlazování, S(ARIMA), boosting atd.
O algoritmech pro predikci časových řad se hovořilo v předchozím článku.
8) Učení se s učitelem (regrese, klasifikace)
Pokud to data dovolí, používáme algoritmy od lineární regrese po rekurentní sítě. Změříme rozdíl mezi odhadem a skutečnou hodnotou a určíme, jak moc data vybočují z normy. Důležité je, aby algoritmus měl dostatečné generalizační schopnosti a tréninková data neobsahovala anomální hodnoty.
9) Modelové testy
Přistoupíme k úloze detekce anomálií, jako bychom se zabývali doporučovacími systémy. Rozložíme naši matici atributů pomocí SVD nebo faktorizačních strojů a hodnoty v nové matici, které se podstatně liší od původních, považujeme za anomální.
Obrázek z webu dyakonov.org
Závěr
V tomto článku jsme prozkoumali hlavní přístupy k detekci anomálií.
Vyhledávání anomálií lze do značné míry nazvat uměním. Neexistuje ideální algoritmus nebo přístup, jehož použití by vyřešilo všechny úkoly. Častěji se používá komplex metod pro řešení konkrétního případu. Vyhledávání anomálií se provádí pomocí jednovrstvého metody podpůrných vektorů, izolačních lesů, metrických a klastrových metod, stejně jako s využitím hlavních komponent a predikce časových řad.
Pokud znáte další metody, napište o nich do komentářů k článku.
Zdroj: habr.com
