W Mówiliśmy o prognozowaniu szeregów czasowych. Logicznym przedłużeniem będzie artykuł o wykrywaniu anomalii.
Zastosowanie
Wykrywanie anomalii jest stosowane w takich dziedzinach jak:
1) Prognozowanie awarii sprzętu
W 2010 roku irańskie wirówki zostały zaatakowane przez wirusa Stuxnet, który wprowadził sprzęt w suboptymalny tryb pracy i doprowadził do uszkodzenia części sprzętu na skutek przyspieszonego zużycia.
Gdyby na sprzęcie zastosowano algorytmy wykrywania anomalii, można by było uniknąć sytuacji awarii.
Wykrywanie anomalii w pracy sprzętu stosowane jest nie tylko w przemyśle jądrowym, ale również w metalurgii oraz w pracy turbin lotniczych. I w innych dziedzinach, gdzie zastosowanie diagnostyki predykcyjnej jest tańsze niż możliwe straty związane z nieprzewidywalną awarią.
2) Prognozowanie działań oszukańczych
Jeśli z karty, której używasz w Podolskiem, wypłacane są pieniądze w Albanii, być może warto dodatkowo sprawdzić te transakcje.
3) Wykrywanie anormalnych wzorców zakupowych
Jeśli część klientów wykazuje anormalne zachowanie, być może istnieje problem, o którym nie wiesz.
4) Wykrywanie anormalnego popytu i obciążenia
Jeśli sprzedaż w sklepie FMCG spadła poniżej granicy przedziału ufności prognozy, warto znaleźć przyczynę tego zdarzenia.
Podejścia do wykrywania anomalii
1) Metoda wektorów nośnych z jednym klasą (One-Class SVM)
Nadaje się, gdy w zbiorze szkoleniowym dane podlegają normalnemu rozkładowi, a w teście zawierają anomalie.
Jednoklasowa metoda wektorów nośnych buduje nieliniową powierzchnię wokół początku układu współrzędnych. Można ustawić granicę odcięcia, jakie dane uznawać za anormalne.
Z doświadczeń naszego zespołu DATA4 wynika, że One-Class SVM jest najczęściej stosowanym algorytmem do problemów wykrywania anomalii.
2) Metoda izolującego lasu (isolate forest)
Podczas 'losowego' budowania drzew, odrzuty będą trafiać do liści na wcześniejszych etapach (na niewielkiej głębokości drzewa), tj. odrzuty łatwiej 'izolować'. Wydzielanie anormalnych wartości następuje na pierwszych iteracjach działania algorytmu.
3) Elliptic envelope i metody statystyczne
Stosowane, gdy dane są normalnie rozłożone. Im bliżej pomiaru do ogona mieszanki rozkładów, tym bardziej anomalia wartości.
Do tej klasy można zaliczyć także inne metody statystyczne.
Obraz z witryny dyakonov.org
4) Metody metryczne
Metody te obejmują algorytmy takie jak k najbliższych sąsiadów, k-tego najbliższego sąsiada, ABOD (wykrywanie anomalii oparte na kącie) lub LOF (lokalny czynnik anomalii).
Nadają się, jeśli odległość między wartościami w cechach jest równoważna lub znormalizowana (aby nie mierzyć węża w papugach).
Algorytm k najbliższych sąsiadów zakłada, że normalne wartości znajdują się w określonym obszarze wielowymiarowej przestrzeni, a odległość do anomalii będzie większa niż do hiperpłaszczyzny dzielącej.
5) Metody klasteryzacji
Istota metod klasteryzacji polega na tym, że jeśli wartość jest oddalona od centrów klastrów o więcej niż określoną wielkość, można ją uznać za anomalię.
Najważniejsze jest zastosowanie algorytmu, który poprawnie klasteryzują dane, co zależy od konkretnego zadania.
6) Metoda głównych składowych
Nadaje się, kiedy wyróżniają się kierunki największej zmiany wariancji.
7) Algorytmy oparte na prognozowaniu szeregów czasowych
Idea polega na tym, że jeśli wartość odbiega od przedziału ufności prognozy, wartość jest uważana za anomalię. Do prognozowania szeregów czasowych wykorzystuje się takie algorytmy jak potrójne wygładzanie, S(ARIMA), boosting itp.
O algorytmach prognozowania szeregów czasowych mówiono w poprzednim artykule.
8) Uczenie nadzorowane (regresja, klasyfikacja)
Jeśli dane na to pozwalają, stosujemy algorytmy od regresji liniowej po sieci rekurencyjne. Zmierzymy różnicę między prognozą a rzeczywistą wartością i wyciągniemy wnioski, jak bardzo dane odbiegają od normy. Ważne, aby algorytm miał wystarczającą zdolność generalizacji, a zestaw treningowy nie zawierał anomalii.
9) Testy modelowe
Podejdźmy do problemu wykrywania anomalii jak do problemu rekomendacji. Rozłożymy naszą macierz cech za pomocą SVD lub maszyn faktoryzacyjnych, a wartości w nowej macierzy, które znacznie różnią się od oryginalnych, uznamy za anomalia.
Obraz z witryny dyakonov.org
Podsumowanie
W tym artykule omówiliśmy podstawowe podejścia do wykrywania anomalii.
Wyszukiwanie anomalii można w dużej mierze nazwać sztuką. Nie ma idealnego algorytmu ani podejścia, które rozwiązuje wszystkie problemy. Częściej stosuje się zestaw metod do rozwiązania konkretnego przypadku. Wyszukiwanie anomalii odbywa się z wykorzystaniem jednosklasowej metody wektorów nośnych, lasu izolacyjnego, metod metrycznych i klastrowych, a także z użyciem analizy głównych składowych i prognozowania szeregów czasowych.
Jeśli znasz inne metody, napisz o nich w komentarzu do artykułu.
Źródło: habr.com
