{"id":53278,"date":"2019-11-28T00:00:00","date_gmt":"2019-11-27T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/9-podhodov-dlya-vyyavleniya-anomalij"},"modified":"2020-02-18T14:01:10","modified_gmt":"2020-02-18T11:01:10","slug":"9-podhodov-dlya-vyyavleniya-anomalij","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","title":{"rendered":"9 podej\u015b\u0107 do wykrywania anomalii","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

W poprzedniej artykule<\/a><\/noindex> M\u00f3wili\u015bmy o prognozowaniu szereg\u00f3w czasowych. Logicznym przed\u0142u\u017ceniem b\u0119dzie artyku\u0142 o wykrywaniu anomalii. <\/p>\n

Zastosowanie<\/h3>\n

\nWykrywanie anomalii jest stosowane w takich dziedzinach jak: <\/p>\n

1) Prognozowanie awarii sprz\u0119tu<\/h3>\n

\nW 2010 roku ira\u0144skie wir\u00f3wki zosta\u0142y zaatakowane przez wirusa Stuxnet, kt\u00f3ry wprowadzi\u0142 sprz\u0119t w suboptymalny tryb pracy i doprowadzi\u0142 do uszkodzenia cz\u0119\u015bci sprz\u0119tu na skutek przyspieszonego zu\u017cycia. <\/p>\n

Gdyby na sprz\u0119cie zastosowano algorytmy wykrywania anomalii, mo\u017cna by by\u0142o unikn\u0105\u0107 sytuacji awarii. <\/p>\n

\"9
\n<\/a><\/noindex>
\nWykrywanie anomalii w pracy sprz\u0119tu stosowane jest nie tylko w przemy\u015ble j\u0105drowym, ale r\u00f3wnie\u017c w metalurgii oraz w pracy turbin lotniczych. I w innych dziedzinach, gdzie zastosowanie diagnostyki predykcyjnej jest ta\u0144sze ni\u017c mo\u017cliwe straty zwi\u0105zane z nieprzewidywaln\u0105 awari\u0105.<\/p>\n

2) Prognozowanie dzia\u0142a\u0144 oszuka\u0144czych<\/h3>\n

\nJe\u015bli z karty, kt\u00f3rej u\u017cywasz w Podolskiem, wyp\u0142acane s\u0105 pieni\u0105dze w Albanii, by\u0107 mo\u017ce warto dodatkowo sprawdzi\u0107 te transakcje.<\/p>\n

3) Wykrywanie anormalnych wzorc\u00f3w zakupowych<\/h3>\n

\nJe\u015bli cz\u0119\u015b\u0107 klient\u00f3w wykazuje anormalne zachowanie, by\u0107 mo\u017ce istnieje problem, o kt\u00f3rym nie wiesz.<\/p>\n

4) Wykrywanie anormalnego popytu i obci\u0105\u017cenia<\/h3>\n

\nJe\u015bli sprzeda\u017c w sklepie FMCG spad\u0142a poni\u017cej granicy przedzia\u0142u ufno\u015bci prognozy, warto znale\u017a\u0107 przyczyn\u0119 tego zdarzenia.<\/p>\n

Podej\u015bcia do wykrywania anomalii<\/h2>\n

<\/p>\n

1) Metoda wektor\u00f3w no\u015bnych z jednym klas\u0105 (One-Class SVM)<\/h3>\n

\nNadaje si\u0119, gdy w zbiorze szkoleniowym dane podlegaj\u0105 normalnemu rozk\u0142adowi, a w te\u015bcie zawieraj\u0105 anomalie.<\/p>\n

Jednoklasowa metoda wektor\u00f3w no\u015bnych buduje nieliniow\u0105 powierzchni\u0119 wok\u00f3\u0142 pocz\u0105tku uk\u0142adu wsp\u00f3\u0142rz\u0119dnych. Mo\u017cna ustawi\u0107 granic\u0119 odci\u0119cia, jakie dane uznawa\u0107 za anormalne.<\/p>\n

Z do\u015bwiadcze\u0144 naszego zespo\u0142u DATA4 wynika, \u017ce One-Class SVM jest najcz\u0119\u015bciej stosowanym algorytmem do problem\u00f3w wykrywania anomalii. <\/p>\n

\"9
\n<\/p>\n

2) Metoda izoluj\u0105cego lasu (isolate forest)<\/h3>\n

\nPodczas 'losowego' budowania drzew, odrzuty b\u0119d\u0105 trafia\u0107 do li\u015bci na wcze\u015bniejszych etapach (na niewielkiej g\u0142\u0119boko\u015bci drzewa), tj. odrzuty \u0142atwiej 'izolowa\u0107'. Wydzielanie anormalnych warto\u015bci nast\u0119puje na pierwszych iteracjach dzia\u0142ania algorytmu.<\/p>\n

\"9
\n<\/p>\n

3) Elliptic envelope i metody statystyczne<\/h3>\n

\nStosowane, gdy dane s\u0105 normalnie roz\u0142o\u017cone. Im bli\u017cej pomiaru do ogona mieszanki rozk\u0142ad\u00f3w, tym bardziej anomalia warto\u015bci.<\/p>\n

Do tej klasy mo\u017cna zaliczy\u0107 tak\u017ce inne metody statystyczne.<\/p>\n

\"9
\n
\n\"9
\nObraz z witryny dyakonov.org<\/i><\/p>\n

4) Metody metryczne<\/h3>\n

\nMetody te obejmuj\u0105 algorytmy takie jak k najbli\u017cszych s\u0105siad\u00f3w, k-tego najbli\u017cszego s\u0105siada, ABOD (wykrywanie anomalii oparte na k\u0105cie) lub LOF (lokalny czynnik anomalii).<\/p>\n

Nadaj\u0105 si\u0119, je\u015bli odleg\u0142o\u015b\u0107 mi\u0119dzy warto\u015bciami w cechach jest r\u00f3wnowa\u017cna lub znormalizowana (aby nie mierzy\u0107 w\u0119\u017ca w papugach). <\/p>\n

Algorytm k najbli\u017cszych s\u0105siad\u00f3w zak\u0142ada, \u017ce normalne warto\u015bci znajduj\u0105 si\u0119 w okre\u015blonym obszarze wielowymiarowej przestrzeni, a odleg\u0142o\u015b\u0107 do anomalii b\u0119dzie wi\u0119ksza ni\u017c do hiperp\u0142aszczyzny dziel\u0105cej. <\/p>\n

\"9
\n<\/p>\n

5) Metody klasteryzacji<\/h3>\n

\nIstota metod klasteryzacji polega na tym, \u017ce je\u015bli warto\u015b\u0107 jest oddalona od centr\u00f3w klastr\u00f3w o wi\u0119cej ni\u017c okre\u015blon\u0105 wielko\u015b\u0107, mo\u017cna j\u0105 uzna\u0107 za anomali\u0119. <\/p>\n

Najwa\u017cniejsze jest zastosowanie algorytmu, kt\u00f3ry poprawnie klasteryzuj\u0105 dane, co zale\u017cy od konkretnego zadania. <\/p>\n

\"9
\n<\/p>\n

6) Metoda g\u0142\u00f3wnych sk\u0142adowych<\/h3>\n

\nNadaje si\u0119, kiedy wyr\u00f3\u017cniaj\u0105 si\u0119 kierunki najwi\u0119kszej zmiany wariancji.<\/p>\n

7) Algorytmy oparte na prognozowaniu szereg\u00f3w czasowych<\/h3>\n

\nIdea polega na tym, \u017ce je\u015bli warto\u015b\u0107 odbiega od przedzia\u0142u ufno\u015bci prognozy, warto\u015b\u0107 jest uwa\u017cana za anomali\u0119. Do prognozowania szereg\u00f3w czasowych wykorzystuje si\u0119 takie algorytmy jak potr\u00f3jne wyg\u0142adzanie, S(ARIMA), boosting itp.<\/p>\n

O algorytmach prognozowania szereg\u00f3w czasowych m\u00f3wiono w poprzednim artykule.<\/p>\n

\"9
\n<\/p>\n

8) Uczenie nadzorowane (regresja, klasyfikacja)<\/h3>\n

\nJe\u015bli dane na to pozwalaj\u0105, stosujemy algorytmy od regresji liniowej po sieci rekurencyjne. Zmierzymy r\u00f3\u017cnic\u0119 mi\u0119dzy prognoz\u0105 a rzeczywist\u0105 warto\u015bci\u0105 i wyci\u0105gniemy wnioski, jak bardzo dane odbiegaj\u0105 od normy. Wa\u017cne, aby algorytm mia\u0142 wystarczaj\u0105c\u0105 zdolno\u015b\u0107 generalizacji, a zestaw treningowy nie zawiera\u0142 anomalii.<\/p>\n

9) Testy modelowe<\/h3>\n

\nPodejd\u017amy do problemu wykrywania anomalii jak do problemu rekomendacji. Roz\u0142o\u017cymy nasz\u0105 macierz cech za pomoc\u0105 SVD lub maszyn faktoryzacyjnych, a warto\u015bci w nowej macierzy, kt\u00f3re znacznie r\u00f3\u017cni\u0105 si\u0119 od oryginalnych, uznamy za anomalia. <\/p>\n

\"9
\n
\nObraz z witryny dyakonov.org<\/i><\/p>\n

Podsumowanie<\/h3>\n

\nW tym artykule om\u00f3wili\u015bmy podstawowe podej\u015bcia do wykrywania anomalii. <\/p>\n

Wyszukiwanie anomalii mo\u017cna w du\u017cej mierze nazwa\u0107 sztuk\u0105. Nie ma idealnego algorytmu ani podej\u015bcia, kt\u00f3re rozwi\u0105zuje wszystkie problemy. Cz\u0119\u015bciej stosuje si\u0119 zestaw metod do rozwi\u0105zania konkretnego przypadku. Wyszukiwanie anomalii odbywa si\u0119 z wykorzystaniem jednosklasowej metody wektor\u00f3w no\u015bnych, lasu izolacyjnego, metod metrycznych i klastrowych, a tak\u017ce z u\u017cyciem analizy g\u0142\u00f3wnych sk\u0142adowych i prognozowania szereg\u00f3w czasowych.<\/p>\n

Je\u015bli znasz inne metody, napisz o nich w komentarzu do artyku\u0142u.
\n
\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0412\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043a\u0430\u043a: 1) \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u043c\u043e\u043a \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0422\u0430\u043a, \u0432 2010 \u0433\u043e\u0434\u0443 \u0418\u0440\u0430\u043d\u0441\u043a\u0438\u0435 \u0446\u0435\u043d\u0442\u0440\u0438\u0444\u0443\u0433\u0438 \u0431\u044b\u043b\u0438 \u0430\u0442\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432\u0438\u0440\u0443\u0441\u043e\u043c Stuxnet, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u043b \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u0437\u043d\u043e\u0441\u0430. \u0415\u0441\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-53278","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd479 podej\u015b\u0107 do wykrywania anomalii | ProHoster","description":"W poprzednim artykule omawiali\u015bmy prognozowanie szereg\u00f3w czasowych. Logicznym kontynuacj\u0105 b\u0119dzie artyku\u0142 o wykrywaniu anomalii.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd479 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 | ProHoster","og:description":"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-27T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:10+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53278","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:46:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:28:47","updated":"2026-01-24 06:46:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/53278","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=53278"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/53278\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=53278"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=53278"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=53278"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}