{"id":53278,"date":"2019-11-28T00:00:00","date_gmt":"2019-11-27T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/9-podhodov-dlya-vyyavleniya-anomalij"},"modified":"2020-02-18T14:01:10","modified_gmt":"2020-02-18T11:01:10","slug":"9-podhodov-dlya-vyyavleniya-anomalij","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","title":{"rendered":"9 approcci per identificare anomalie","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

In articolo precedente<\/a><\/noindex> Abbiamo parlato della previsione delle serie temporali. Un seguito logico sarebbe un articolo sull'individuazione delle anomalie. <\/p>\n

Applicazione<\/h3>\n

\nL'individuazione delle anomalie viene utilizzata in campi come: <\/p>\n

1) Previsione dei guasti delle attrezzature<\/h3>\n

\nNel 2010, le centrifughe iraniane sono state attaccate dal virus Stuxnet, che ha impostato una modalit\u00e0 di funzionamento non ottimale per l'attrezzatura e ha danneggiato parte dell'operato a causa dell'usura accelerata. <\/p>\n

Se sull'attrezzatura fossero stati utilizzati algoritmi di rilevamento delle anomalie, si sarebbero potute evitare situazioni di guasto. <\/p>\n

\"9
\n<\/a><\/noindex>
\nLa ricerca di anomalie nel funzionamento delle attrezzature viene utilizzata non solo nell'industria nucleare, ma anche nella metallurgia e nel funzionamento delle turbine aeree. E in altri settori in cui l'uso della diagnostica predittiva \u00e8 pi\u00f9 economico rispetto alle possibili perdite causate da guasti imprevisti.<\/p>\n

2) Previsione di attivit\u00e0 fraudolente<\/h3>\n

\nSe dal tuo conto, che usi a Podol'sk, vengono prelevati soldi in Albania, \u00e8 possibile che le transazioni debbano essere verificate ulteriormente.<\/p>\n

3) Individuazione di schemi di consumo anomali<\/h3>\n

\nSe parte dei clienti mostra comportamenti anomali, \u00e8 possibile che ci sia un problema di cui non sei a conoscenza.<\/p>\n

4) Individuazione di domanda e carico anomali<\/h3>\n

\nSe le vendite nel negozio FMCG sono scese al di sotto del limite dell'intervallo di fiducia della previsione, vale la pena ricercare la causa di quanto sta accadendo.<\/p>\n

Approcci all'individuazione delle anomalie<\/h2>\n

<\/p>\n

1) Metodo dei vettori di supporto a classe singola One-Class SVM<\/h3>\n

\nAdatto quando nel set di addestramento i dati seguono una distribuzione normale, mentre in quello di test contengono anomalie.<\/p>\n

Il metodo dei vettori di supporto a classe singola costruisce una superficie non lineare attorno all'origine. \u00c8 possibile impostare un limite di soglia su quali dati considerare anomali.<\/p>\n

Sulla base dell'esperienza del nostro team DATA4, One-Class SVM \u00e8 l'algoritmo pi\u00f9 frequentemente utilizzato per risolvere il problema del rilevamento delle anomalie. <\/p>\n

\"9
\n<\/p>\n

2) Metodo della foresta isolante \u2013 isolate forest<\/h3>\n

\nCon il metodo \"casuale\" di costruzione degli alberi, i valori anomali entreranno nelle foglie nelle prime fasi (a bassa profondit\u00e0 dell'albero), quindi gli outlier sono pi\u00f9 facili da \"isolare\". L'evidenziazione dei valori anomali avviene nelle prime iterazioni dell'algoritmo.<\/p>\n

\"9
\n<\/p>\n

3) Elliptic envelope e metodi statistici<\/h3>\n

\nUtilizzato quando i dati sono distribuiti normalmente. Pi\u00f9 un'osservazione \u00e8 vicina alla coda della miscela di distribuzioni, pi\u00f9 il valore \u00e8 considerato anomalo.<\/p>\n

A questa classe si possono attribuire anche altri metodi statistici.<\/p>\n

\"9
\n
\n\"9
\nImmagine dal sito dyakonov.org<\/i><\/p>\n

4) Metodi metrici<\/h3>\n

\nTra i metodi rientrano algoritmi come k nearest neighbors, nearest neighbor, ABOD (angle-based outlier detection) o LOF (local outlier factor).<\/p>\n

Sono adatti se la distanza tra i valori delle caratteristiche \u00e8 equivalente o normalizzata (per non misurare un boa in pappagalli). <\/p>\n

L'algoritmo k nearest neighbors presuppone che i valori normali siano localizzati in un'area specifica dello spazio multidimensionale, e che la distanza dalle anomalie sia maggiore rispetto a quella della hyperplane di separazione. <\/p>\n

\"9
\n<\/p>\n

5) Metodi di clustering<\/h3>\n

\nL'essenza dei metodi di clustering \u00e8 che se un valore \u00e8 distante dai centri dei cluster oltre una certa soglia, quel valore pu\u00f2 essere considerato anomalo. <\/p>\n

\u00c8 fondamentale utilizzare un algoritmo che clusterizza correttamente i dati, il che dipende dal compito specifico. <\/p>\n

\"9
\n<\/p>\n

6) Metodo delle componenti principali<\/h3>\n

\nAdatto dove vengono evidenziate le direzioni di maggiore variazione della varianza.<\/p>\n

7) Algoritmi basati sulla previsione di serie temporali<\/h3>\n

\nL'idea \u00e8 che se un valore si discosta dall'intervallo di confidenza della previsione, quel valore \u00e8 considerato anomalo. Per la previsione delle serie temporali si usano algoritmi come il smoothing triplo, S(ARIMA), boosting, ecc.<\/p>\n

Di algoritmi per la previsione di serie temporali si \u00e8 parlato nell'articolo precedente.<\/p>\n

\"9
\n<\/p>\n

8) Apprendimento supervisionato (regressione, classificazione)<\/h3>\n

\nSe i dati lo consentono, utilizziamo algoritmi che spaziano dalla regressione lineare fino alle reti ricorrenti. Misureremo la differenza tra la previsione e il valore reale, e valuteremo quanto i dati si discostano dalla norma. \u00c8 importante che l'algoritmo abbia una capacit\u00e0 di generalizzazione sufficiente e che il set di addestramento non contenga valori anomali.<\/p>\n

9) Test di modello<\/h3>\n

\nApproachiamo il compito di rilevamento delle anomalie come un problema di raccomandazione. Scomponiamo la nostra matrice di caratteristiche utilizzando SVD o macchine di fattorizzazione, e i valori nella nuova matrice, sostanzialmente diversi da quelli originali, vengono considerati anomali. <\/p>\n

\"9
\n
\nImmagine dal sito dyakonov.org<\/i><\/p>\n

Conclusione<\/h3>\n

\nIn questo articolo abbiamo esaminato gli approcci principali alla rilevazione delle anomalie. <\/p>\n

La ricerca di anomalie pu\u00f2 essere considerata in molti modi un'arte. Non esiste un algoritmo o un approccio perfetto in grado di risolvere tutte le problematiche. \u00c8 pi\u00f9 comune l'uso di un insieme di metodi per affrontare casi specifici. La ricerca delle anomalie avviene tramite metodi come Support Vector Machine, Foreste Isolanti, metodi metrici e di clustering, oltre all'uso di componenti principali e previsioni di serie temporali.<\/p>\n

Se conosci altri metodi, scrivili nei commenti all'articolo.
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439. \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0412\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u043a\u0430\u043a: 1) \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u043c\u043e\u043a \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0422\u0430\u043a, \u0432 2010 \u0433\u043e\u0434\u0443 \u0418\u0440\u0430\u043d\u0441\u043a\u0438\u0435 \u0446\u0435\u043d\u0442\u0440\u0438\u0444\u0443\u0433\u0438 \u0431\u044b\u043b\u0438 \u0430\u0442\u0430\u043a\u043e\u0432\u0430\u043d\u044b \u0432\u0438\u0440\u0443\u0441\u043e\u043c Stuxnet, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0434\u0430\u043b \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u043b \u0438\u0437 \u0441\u0442\u0440\u043e\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430 \u0441\u0447\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u0437\u043d\u043e\u0441\u0430. \u0415\u0441\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-53278","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd479 metodi per la rilevazione delle anomalie | ProHoster","description":"Nell'articolo precedente abbiamo parlato delle previsioni delle serie temporali. Un seguito logico sarebbe un articolo sulla rilevazione delle anomalie.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd479 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439 | ProHoster","og:description":"\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u044b\u043c \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0430\u0442\u044c\u044f \u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u0438\u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439.","og:url":"https:\/\/prohoster.info\/it\/blog\/news\/9-podhodov-dlya-vyyavleniya-anomalij","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-11-27T21:00:00+00:00","article:modified_time":"2020-02-18T11:01:10+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"53278","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 06:46:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 20:28:47","updated":"2026-01-24 06:46:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/53278","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=53278"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/53278\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=53278"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=53278"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=53278"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}