{"id":53278,"date":"2019-11-28T00:00:00","date_gmt":"2019-11-27T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/9-podhodov-dlya-vyyavleniya-anomalij"},"modified":"2020-02-18T14:01:10","modified_gmt":"2020-02-18T11:01:10","slug":"9-podhodov-dlya-vyyavleniya-anomalij","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","title":{"rendered":"9 manieren om anomalie\u00ebn te identificeren","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

In vorig artikel<\/a><\/noindex> we hebben gesproken over tijdreeksvoorspellingen. Een logische vervolgstap is een artikel over het identificeren van anomalie\u00ebn. <\/p>\n

Toepassing<\/h3>\n

\nHet identificeren van anomalie\u00ebn wordt gebruikt in gebieden zoals: <\/p>\n

1) Voorspelling van apparatuurstoringen<\/h3>\n

\nZo werden in 2010 de Iraanse centrifuges aangevallen door het Stuxnet-virus, dat een suboptimale werkwijze induceerde en een deel van de apparatuur onklaar maakte door versnelde slijtage. <\/p>\n

Als er op de apparatuur anomaliedetectie-algoritmes waren gebruikt, had de storing mogelijk kunnen worden voorkomen. <\/p>\n

\"9
\n<\/a><\/noindex>
\nAnomaliedetectie in apparatuur wordt niet alleen in de nucleaire industrie gebruikt, maar ook in de metallurgie en bij luchtgasturbines. En in andere gebieden waar voorspellende diagnose goedkoper is dan de mogelijke verliezen bij onvoorspelbare storingen.<\/p>\n

2) Voorspelling van frauduleuze activiteiten<\/h3>\n

\nAls er geld van uw kaart in Podolsk wordt afgeschreven terwijl het in Albani\u00eb is gedaan, kan het nodig zijn om de transacties extra te controleren.<\/p>\n

3) Identificatie van afwijkende consumentenpatronen<\/h3>\n

\nAls een deel van de klanten afwijkend gedrag vertoont, kan er een probleem zijn waarvan u zich niet bewust bent.<\/p>\n

4) Identificatie van afwijkende vraag en belasting<\/h3>\n

\nAls de verkopen in de FMCG-winkel onder de ondergrens van het vertrouwensinterval van de voorspelling dalen, is het de moeite waard om de oorzaak van het gebeuren te achterhalen.<\/p>\n

Benaderingen voor het identificeren van anomalie\u00ebn<\/h2>\n

<\/p>\n

1) One-Class SVM-methode<\/h3>\n

\nGeschikt voor situaties waarin de gegevens in de trainingsset normaal verdeeld zijn en de testgegevens anomalie\u00ebn bevatten.<\/p>\n

De One-Class SVM-methode bouwt een niet-lineair oppervlak rond de oorsprong. Er kan een snijgrens worden ingesteld om te bepalen welke data als anomalie\u00ebn worden beschouwd.<\/p>\n

Op basis van de ervaring van ons team DATA4 is One-Class SVM het meest gebruikte algoritme voor het oplossen van de anomaliedetectietaak. <\/p>\n

\"9
\n<\/p>\n

2) Isolate forest-methode<\/h3>\n

\nBij de 'willekeurige' manier van het bouwen van bomen zullen uitschieters vroeg in het proces (op een ondiepe diepte van de boom) in bladeren vallen, wat betekent dat uitschieters gemakkelijker te 'isoleren' zijn. Het isoleren van anomalie\u00ebn gebeurt in de eerste iteraties van het algoritme.<\/p>\n

\"9
\n<\/p>\n

3) Elliptische envelop en statistische methoden<\/h3>\n

\nWordt gebruikt wanneer de gegevens normaal verdeeld zijn. Hoe dichter de meting bij de staart van de mix van verdelingen ligt, hoe meer afwijkend de waarde is.<\/p>\n

Bij deze klasse kunnen ook andere statistische methoden worden gerekend.<\/p>\n

\"9
\n
\n\"9
\nAfbeelding van de website dyakonov.org<\/i><\/p>\n

4) Metrische methoden<\/h3>\n

\nDe methoden omvatten algoritmes zoals k dichtstbijzijnde buren, k-nabijgelegen buur, ABOD (angle-based outlier detection) of LOF (local outlier factor).<\/p>\n

Geschikt als de afstand tussen waarden in de kenmerken gelijkwaardig of genormaliseerd is (om bijvoorbeeld niet de slang in papegaaien te meten). <\/p>\n

Het k-dichtstbijzijnde buren-algoritme gaat ervan uit dat normale waarden zich binnen een bepaald gebied van de multidimensionale ruimte bevinden, en dat de afstand tot anomalie\u00ebn groter zal zijn dan tot de scheidende hypervlak. <\/p>\n

\"9
\n<\/p>\n

5) Clustering-methoden<\/h3>\n

\nDe essentie van clustering-methoden is dat als een waarde verder van de centra van clusters is dan een bepaalde hoeveelheid, de waarde als anomalie kan worden beschouwd. <\/p>\n

Het belangrijkste is om een algoritme te gebruiken dat de gegevens correct clustert, wat afhangt van de specifieke taak. <\/p>\n

\"9
\n<\/p>\n

6) Hoofdcomponentenanalyse<\/h3>\n

\nGeschikt voor situaties waarin richtingen van de grootste veranderingen in variantie worden benadrukt.<\/p>\n

7) Algoritmen voor tijdreeksvoorspelling<\/h3>\n

\nHet idee is dat als een waarde uit het betrouwbaarheidsinterval van de voorspelling valt, de waarde als anomalie wordt beschouwd. Voor tijdreeksvoorspellingen worden dergelijke algoritmen gebruikt, zoals drievoudige gladmaking, S(ARIMA), boosting enzovoort.<\/p>\n

Over algoritmen voor tijdreeksvoorspelling werd in het vorige artikel gesproken.<\/p>\n

\"9
\n<\/p>\n

8) Leiding met een leraar (regressie, classificatie)<\/h3>\n

\nAls de gegevens het toelaten, gebruiken we algoritmen van lineaire regressie tot recurrente netwerken. We meten het verschil tussen de voorspelling en de werkelijke waarde en trekken de conclusie over hoezeer de gegevens afwijken van de norm. Het is belangrijk dat het algoritme voldoende generaliserend vermogen heeft, en dat de trainingsset geen anomalie\u00ebn bevat.<\/p>\n

9) Modeltests<\/h3>\n

\nWe benaderen de anomaliedetectietaak als een aanbevelingsprobleem. We ontleden onze functie-matrix met behulp van SVD of factorisatiemachines, en de waarden in de nieuwe matrix die significant afwijken van de oorspronkelijke, beschouwen we als anomalie\u00ebn. <\/p>\n

\"9
\n
\nAfbeelding van de website dyakonov.org<\/i><\/p>\n

Conclusie<\/h3>\n

\nIn dit artikel hebben we de belangrijkste benaderingen voor anomaliedetectie besproken. <\/p>\n

Het zoeken naar anomalie\u00ebn kan in veel opzichten als kunst worden beschouwd. Er is geen ideaal algoritme of benadering die alle problemen oplost. Vaak wordt een combinatie van methoden gebruikt om een specifieke case op te lossen. Anomaliedetectie gebeurt met behulp van \u00e9\u00e9nklasse methoden voor ondersteuningvectoren, isolerende bossen, metrische en cluster methoden, evenals met gebruik van hoofdcomponenten en tijdreeksvoorspelling.<\/p>\n

Als u andere methoden kent, schrijf deze dan in de opmerkingen onder het artikel.
\n
Bron: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0412\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043a\u0430\u043a: 1) \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u043c\u043e\u043a \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0422\u0430\u043a, \u0432 2010 \u0433\u043e\u0434\u0443 \u0418\u0440\u0430\u043d\u0441\u043a\u0438\u0435 \u0446\u0435\u043d\u0442\u0440\u0438\u0444\u0443\u0433\u0438 \u0431\u044b\u043b\u0438 \u0430\u0442\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432\u0438\u0440\u0443\u0441\u043e\u043c Stuxnet, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u043b \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u0437\u043d\u043e\u0441\u0430. \u0415\u0441\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-53278","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd479 benaderingen voor het identificeren van anomalie\u00ebn | ProHoster","description":"In het vorige artikel hebben we het gehad over tijdreeksvoorspelling. Een logische voortzetting zou een artikel zijn over het identificeren van anomalie\u00ebn.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd479 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 | ProHoster","og:description":"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439.","og:url":"https:\/\/prohoster.info\/nl\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-27T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:10+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53278","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:46:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:28:47","updated":"2026-01-24 06:46:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/53278","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=53278"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/53278\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=53278"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=53278"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=53278"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}