{"id":53278,"date":"2019-11-28T00:00:00","date_gmt":"2019-11-27T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/9-podhodov-dlya-vyyavleniya-anomalij"},"modified":"2020-02-18T14:01:10","modified_gmt":"2020-02-18T11:01:10","slug":"9-podhodov-dlya-vyyavleniya-anomalij","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","title":{"rendered":"9 metoder til at identificere anomalier","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

I i den foreg\u00e5ende artikel<\/a><\/noindex> Vi har talt om prognoser for tidsserier. En logisk forts\u00e6ttelse vil v\u00e6re en artikel om detektion af anomalier. <\/p>\n

Anvendelse<\/h3>\n

\nDetektion af anomalier anvendes i omr\u00e5der som: <\/p>\n

1) Forudsigelse af udstyrsfejl<\/h3>\n

\nI 2010 blev iranske centrifuger angrebet af virusen Stuxnet, som indf\u00f8rte en suboptimal driftsmode og medf\u00f8rte, at dele af udstyret blev beskadiget p\u00e5 grund af accelereret slid. <\/p>\n

Hvis der var blevet anvendt algoritmer til detektion af anomalier p\u00e5 udstyret, kunne situationer med nedbrud v\u00e6re blevet undg\u00e5et. <\/p>\n

\"9
\n<\/a><\/noindex>
\nDetektion af anomalier i udstyrets drift anvendes ikke kun i atomindustrien, men ogs\u00e5 i metalarbejdning og drift af flyveturbiner. Og i andre omr\u00e5der, hvor anvendelsen af pr\u00e6diktiv diagnose er billigere end de mulige tab ved uforudsigelige nedbrud.<\/p>\n

2) Forudsigelse af svindelaktiviteter<\/h3>\n

\nHvis der tages penge fra kortet, du bruger i Podolsk, mens der foretages transaktioner i Albanien, b\u00f8r de muligvis kontrolleres n\u00e6rmere.<\/p>\n

3) Identifikation af unormale forbrugsm\u00f8nstre<\/h3>\n

\nHvis en del af kunderne viser unormad adf\u00e6rd, kan der v\u00e6re et problem, som du ikke kender til.<\/p>\n

4) Identifikation af unormal eftersp\u00f8rgsel og belastning<\/h3>\n

\nHvis salget i en FMCG-butik falder under konfidensintervallets nedre gr\u00e6nse i prognosen, kan det v\u00e6re n\u00f8dvendigt at finde \u00e5rsagen.<\/p>\n

Metoder til identifikation af anomalier<\/h2>\n

<\/p>\n

1) Enkeltklasse st\u00f8ttende vektorer One-Class SVM<\/h3>\n

\nVelegnet n\u00e5r data i tr\u00e6ningss\u00e6ttet f\u00f8lger en normal fordeling, mens testen indeholder anomalier.<\/p>\n

One-Class SVM opbygger en ikke-line\u00e6r overflade omkring koordinatsystemets oprindelse. Der kan angives en gr\u00e6nse for, hvilke data der betragtes som anomalier.<\/p>\n

Baseret p\u00e5 erfaringen fra vores team hos DATA4 er One-Class SVM den mest anvendte algoritme til at l\u00f8se arbejdsopgaven med at opdage anomalier. <\/p>\n

\"9
\n<\/p>\n

2) Isoleringsskovmetoden \u2013 isolate forest<\/h3>\n

\nVed en \"tilf\u00e6ldig\" metode til opbygning af tr\u00e6er vil outliers lande i bladene tidligt (ved lav dybde i tr\u00e6et), dvs. outliers er lettere at \"isolere\". Identifikationen af anomal\u00f8se v\u00e6rdier finder sted i de tidlige iterationer af algoritmens arbejde.<\/p>\n

\"9
\n<\/p>\n

3) Elliptisk kuvert og statistiske metoder<\/h3>\n

\nAnvendes, n\u00e5r data er normalt fordelte. Jo t\u00e6ttere m\u00e5lingen er p\u00e5 halerne af blandingen af fordelinger, desto mere anomal v\u00e6rdien.<\/p>\n

Denne klasse inkluderer ogs\u00e5 andre statistiske metoder.<\/p>\n

\"9
\n
\n\"9
\nBillede fra dyakonov.org<\/i><\/p>\n

4) Metriske metoder<\/h3>\n

\nMetoderne inkluderer algoritmer som k n\u00e6rmeste naboer, k'te n\u00e6rmeste nabo, ABOD (angle-based outlier detection) eller LOF (local outlier factor).<\/p>\n

De er passende, hvis afstanden mellem v\u00e6rdierne i funktionerne er ligeligt fordelt eller normaliseret (for ikke at m\u00e5le en python i papeg\u00f8jer). <\/p>\n

K n\u00e6rmeste nabo-algoritmen antager, at normale v\u00e6rdier er placeret inden for et bestemt omr\u00e5de af det multidimensionale rum, og at afstanden til anomalier vil v\u00e6re st\u00f8rre end til den adskillende hyperplan. <\/p>\n

\"9
\n<\/p>\n

5) Klyngemetoder<\/h3>\n

\nEssensen af klyngemetoder er, at hvis en v\u00e6rdi er mere end en bestemt st\u00f8rrelse v\u00e6k fra klyngecentrene, kan v\u00e6rdien betragtes som anomali. <\/p>\n

Det vigtigste er at bruge en algoritme, der korrekt klynger data, hvilket afh\u00e6nger af den specifikke opgave. <\/p>\n

\"9
\n<\/p>\n

6) Principal component method<\/h3>\n

\nEgnet, hvor retningerne med den st\u00f8rste \u00e6ndring i varians identificeres.<\/p>\n

7) Algoritmer baseret p\u00e5 tidsserieprognoser<\/h3>\n

\nIdeen er, at hvis en v\u00e6rdi falder uden for konfidensintervallet for prognosen, betragtes v\u00e6rdien som anomali. Til tidsserieprognoser anvendes algoritmer som triple smoothing, S(ARIMA), boosting osv.<\/p>\n

Algoritmer til tidsserieprognoser blev n\u00e6vnt i den tidligere artikel.<\/p>\n

\"9
\n<\/p>\n

8) L\u00e6ring med vejledning (regression, klassifikation)<\/h3>\n

\nHvis dataene tillader det, bruger vi algoritmer fra line\u00e6r regression til rekursive netv\u00e6rk. Vi m\u00e5ler forskellen mellem pr\u00e6diktions- og faktiske v\u00e6rdier, og drager konklusioner om, hvor meget dataene afviger fra normen. Det er vigtigt, at algoritmen har tilstr\u00e6kkelig generaliseringsevne, og at tr\u00e6ningss\u00e6ttet ikke indeholder anomalier.<\/p>\n

9) Modelleringstests<\/h3>\n

\nVi vil n\u00e6rme os problemet med at finde anomalier som et problem med at lave anbefalinger. Vi nedbryder vores funktionsmatrix ved hj\u00e6lp af SVD eller faktorisationsmaskiner, og v\u00e6rdierne i den nye matrix, der v\u00e6sentligt afviger fra de oprindelige, betragtes som anomale. <\/p>\n

\"9
\n
\nBillede fra dyakonov.org<\/i><\/p>\n

Konklusion<\/h3>\n

\nI denne artikel har vi set p\u00e5 de grundl\u00e6ggende tilgange til anomali-detektering. <\/p>\n

At finde anomalier kan i h\u00f8j grad betragtes som en kunst. Der er ingen perfekt algoritme eller tilgang, hvis anvendelse l\u00f8ser alle opgaver. Ofte anvendes et kompleks af metoder til at h\u00e5ndtere specifikke tilf\u00e6lde. Anomalifinding udf\u00f8res ved hj\u00e6lp af metoder som st\u00f8ttende vektormaskiner, isoleringsskove, metriske og klyngemetoder samt ved anvendelse af hovedkomponenter og tidsserieprognoser.<\/p>\n

Hvis du kender andre metoder, s\u00e5 skriv om dem i kommentarerne til artiklen.
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0412\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043a\u0430\u043a: 1) \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u043c\u043e\u043a \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0422\u0430\u043a, \u0432 2010 \u0433\u043e\u0434\u0443 \u0418\u0440\u0430\u043d\u0441\u043a\u0438\u0435 \u0446\u0435\u043d\u0442\u0440\u0438\u0444\u0443\u0433\u0438 \u0431\u044b\u043b\u0438 \u0430\u0442\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432\u0438\u0440\u0443\u0441\u043e\u043c Stuxnet, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u043b \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u0437\u043d\u043e\u0441\u0430. \u0415\u0441\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-53278","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd479 tilgange til identifikation af anomalier | ProHoster","description":"I den tidligere artikel talte vi om tidsserieprognoser. En logisk forts\u00e6ttelse vil v\u00e6re en artikel om at identificere anomalier.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd479 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 | ProHoster","og:description":"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439.","og:url":"https:\/\/prohoster.info\/da\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-27T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:10+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53278","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:46:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:28:47","updated":"2026-01-24 06:46:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/53278","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=53278"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/53278\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=53278"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=53278"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=53278"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}