{"id":53278,"date":"2019-11-28T00:00:00","date_gmt":"2019-11-27T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/9-podhodov-dlya-vyyavleniya-anomalij"},"modified":"2020-02-18T14:01:10","modified_gmt":"2020-02-18T11:01:10","slug":"9-podhodov-dlya-vyyavleniya-anomalij","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","title":{"rendered":"9 pristopov za odkrivanje anomalij","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

V prej\u0161njem \u010dlanku<\/a><\/noindex> Govorili smo o napovedovanju \u010dasovnih vrst. Logi\u010dna nadaljevanja bo \u010dlanek o odkrivanju anomalij. <\/p>\n

Uporaba<\/h3>\n

\nOdkrivanje anomalij se uporablja na podro\u010djih, kot so: <\/p>\n

1) Napovedovanje okvar opreme<\/h3>\n

\nTako je leta 2010 iranske centrifuge napadel virus Stuxnet, ki je uvedel suboptimalne delovne razmere in povzro\u010dil okvare dela opreme zaradi pospe\u0161enega obrabe. <\/p>\n

\u010ce bi na opremi uporabljali algoritme za iskanje anomalij, bi lahko prepre\u010dili situacije s okvarami. <\/p>\n

\"9
\n<\/a><\/noindex>
\nIskanje anomalij v delovanju opreme se uporablja ne le v jedrski industriji, temve\u010d tudi v metalurgiji in pri delovanju letalskih turbin. In v drugih podro\u010djih, kjer je uporaba napovedne diagnostike cenej\u0161a od mo\u017enih izgub zaradi nepredvidenih okvar.<\/p>\n

2) Napovedovanje goljufij<\/h3>\n

\n\u010ce se z va\u0161e kartice, ki jo uporabljate v Podolsku, dvigujejo denar v Albaniji, je morda potrebno dodatno preveriti transakcije.<\/p>\n

3) Odkrivanje nenormalnih potro\u0161ni\u0161kih vzorcev<\/h3>\n

\n\u010ce del kupcev ka\u017ee nenormalno vedenje, je morda te\u017eava, o kateri ne veste.<\/p>\n

4) Odkrivanje nenormalnega povpra\u0161evanja in obremenitve<\/h3>\n

\n\u010ce so prodaje v trgovini FMCG padle pod mejo zaupanja napovedi, je smiselno poiskati vzrok za to.<\/p>\n

Pristopi k odkrivanju anomalij<\/h2>\n

<\/p>\n

1) Metoda podpornih vektorjev z enim razredom One-Class SVM<\/h3>\n

\nPrimerna je, ko podatki v u\u010dni mno\u017eici sledijo normalni porazdelitvi, podatki v testni mno\u017eici pa vsebujejo anomalije.<\/p>\n

Metoda enega razreda podpornih vektorjev gradi nelinearno povr\u0161ino okoli izhodi\u0161\u010da. Dolo\u010diti je mo\u017eno meje, katere podatke \u0161teti za anomalne.<\/p>\n

Glede na izku\u0161nje na\u0161e ekipe DATA4 je One-Class SVM najpogosteje uporabljeni algoritem za re\u0161evanje problema iskanja anomalij. <\/p>\n

\"9
\n<\/p>\n

2) Metoda izolacijskega gozda \u2013 isolate forest<\/h3>\n

\nPri 'naklju\u010dnem' na\u010dinu gradnje dreves bodo odpadne vrednosti padle v liste na zgodnjih stopnjah (na majhni globini drevesa), torej je la\u017eje 'izolirati' odpadne vrednosti. Izlo\u010danje anomalnih vrednosti poteka v prvih iteracijah delovanja algoritma.<\/p>\n

\"9
\n<\/p>\n

3) Elipti\u010dna ovojnica in statisti\u010dne metode<\/h3>\n

\nUporablja se, kadar so podatki normalno porazdeljeni. Bolj ko se meritev pribli\u017ea repu me\u0161anice porazdelitev, bolj nenormalna je vrednost.<\/p>\n

V to skupino se uvr\u0161\u010dajo tudi druge statisti\u010dne metode.<\/p>\n

\"9
\n
\n\"9
\nSlika s spletne strani dyakonov.org<\/i><\/p>\n

4) Metri\u010dne metode<\/h3>\n

\nMed metode spadajo algoritmi, kot so k najbli\u017ejih sosedov, k-ti najbli\u017eji sosed, ABOD (odkrivanje odstopajo\u010dih vrednosti na osnovi kotov) ali LOF (faktor lokalnih odstopajo\u010dih vrednosti).<\/p>\n

Primerni so, \u010de so razdalje med vrednostmi v spremenljivkah enakovredne ali normalizirane (da ne merimo pi\u0161\u010dancev v meta). <\/p>\n

Algoritem k najbli\u017ejih sosedov domneva, da so normalne vrednosti razporejene v dolo\u010denem obmo\u010dju ve\u010ddimenzionalnega prostora, razdalja do odstopajo\u010dih vrednosti pa bo ve\u010dja kot do lo\u010dilne hiperplo\u0161\u010de. <\/p>\n

\"9
\n<\/p>\n

5) Kluster metode<\/h3>\n

\nBistvo kluster metod je, da \u010de je vrednost oddaljena od centrov klustrov ve\u010d kot za dolo\u010deno koli\u010dino, jo lahko \u0161tejemo za odstopajo\u010do. <\/p>\n

Najpomembnej\u0161e je uporabiti algoritem, ki pravilno klusterizira podatke, kar je odvisno od specifi\u010dne naloge. <\/p>\n

\"9
\n<\/p>\n

6) Metoda glavnih komponent<\/h3>\n

\nPrimerno je, kjer se poudarijo smeri najve\u010djih sprememb varianc.<\/p>\n

7) Algoritmi na osnovi napovedovanja \u010dasovnih serij<\/h3>\n

\nIdeja je, da \u010de vrednost odstopa od zaupanja intervala napovedi, jo obravnavamo kot odstopajo\u010do. Za napovedovanje \u010dasovne serije se uporabljajo algoritmi, kot so trojno gladjenje, S(ARIMA), boosting itd.<\/p>\n

O algoritmih napovedovanja \u010dasovne serije smo govorili v prej\u0161njem \u010dlanku.<\/p>\n

\"9
\n<\/p>\n

8) U\u010denje s supervizijo (regresija, klasifikacija)<\/h3>\n

\n\u010ce podatki to omogo\u010dajo, uporabljamo algoritme od linearne regresije do rekuren\u010dnih mre\u017e. Izmerili bomo razliko med napovedjo in dejansko vrednostjo ter ugotovili, kako zelo odstopajo podatki od norme. Pomembno je, da ima algoritem dovolj dobro generalizacijsko sposobnost in da u\u010dna vzor\u010dna skupina ne vsebuje odstopajo\u010dih vrednosti.<\/p>\n

9) Modelski testi<\/h3>\n

\nK nalogi iskanja odstopajo\u010dih vrednosti se bomo lotili kot k nalogi iskanja priporo\u010dil. Na\u0161o matriko lastnosti bomo razlo\u017eili z uporabo SVD ali faktorizacijskih strojev, ter vrednosti v novi matriki, ki se znatno razlikujejo od izvornih, sprejeli kot odstopajo\u010de. <\/p>\n

\"9
\n
\nSlika s spletne strani dyakonov.org<\/i><\/p>\n

Zaklju\u010dek<\/h3>\n

\nV tem \u010dlanku smo obravnavali glavne pristope k odkrivanju odstopajo\u010dih vrednosti. <\/p>\n

Iskanje anomalij lahko v veliki meri imenujemo umetnost. Ni idealnega algoritma ali pristopa, katerega uporaba bi re\u0161ila vse naloge. Pogosteje se uporablja kompleks metod za re\u0161evanje konkretnega primera. Iskanje anomalij poteka s pomo\u010djo enoklasnih metod podpornih vektorjev, izolacijskih gozdov, metr\u010dnih in klaster metod, prav tako pa se uporabljajo glavne komponente in napovedovanje \u010dasovnih vrst.<\/p>\n

\u010ce poznate druge metode, jih prosimo delite v komentarjih pod \u010dlankom.
\n
Izvor: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0412\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043a\u0430\u043a: 1) \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u043c\u043e\u043a \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0422\u0430\u043a, \u0432 2010 \u0433\u043e\u0434\u0443 \u0418\u0440\u0430\u043d\u0441\u043a\u0438\u0435 \u0446\u0435\u043d\u0442\u0440\u0438\u0444\u0443\u0433\u0438 \u0431\u044b\u043b\u0438 \u0430\u0442\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432\u0438\u0440\u0443\u0441\u043e\u043c Stuxnet, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u043b \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u0437\u043d\u043e\u0441\u0430. \u0415\u0441\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-53278","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd479 pristopov za odkrivanje anomalij | ProHoster","description":"V prej\u0161njem \u010dlanku smo govorili o napovedovanju \u010dasovnih vrst. Logi\u010dni naslednji korak bi bil \u010dlanek o odkrivanju anomalij.","canonical_url":"https:\/\/prohoster.info\/sl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sl_SI","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd479 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 | ProHoster","og:description":"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439.","og:url":"https:\/\/prohoster.info\/sl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-27T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:10+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53278","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:46:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:28:47","updated":"2026-01-24 06:46:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/53278","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/comments?post=53278"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/posts\/53278\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/media?parent=53278"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/categories?post=53278"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sl\/wp-json\/wp\/v2\/tags?post=53278"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}