В zaman seriyalarının proqnozlaşdırılmasından danışdıq. Məntiqi davamı anomaliyaların müəyyən edilməsinə dair məqalə olardı.
Tətbiq
Anomaliya aşkarlanması aşağıdakı kimi sahələrdə istifadə olunur:
1) Avadanlıqların nasazlığının proqnozlaşdırılması
Belə ki, 2010-cu ildə İran sentrifuqaları Stuxnet virusunun hücumuna məruz qalıb, bu virus avadanlığı qeyri-optimal işə salıb və sürətlənmiş aşınma səbəbindən bəzi avadanlıqları sıradan çıxarıb.
Avadanlıqda anomaliyaların aşkarlanması alqoritmlərindən istifadə edilsəydi, nasazlığın qarşısını almaq olardı.
Avadanlıqların işində anomaliyaların axtarışı təkcə nüvə sənayesində deyil, həm də metallurgiyada və təyyarə turbinlərinin istismarında istifadə olunur. Və proqnozlaşdırıla bilən diaqnostikadan istifadənin gözlənilməz bir qəza nəticəsində mümkün itkilərdən daha ucuz olduğu digər sahələrdə.
2) Fırıldaqçılıq proqnozu
Albaniyanın Podolsk şəhərində istifadə etdiyiniz kartdan pul çıxarılarsa, əməliyyatların əlavə yoxlanılması tələb oluna bilər.
3) Qeyri-normal istehlakçı nümunələrinin müəyyən edilməsi
Bəzi müştərilər anormal davranış nümayiş etdirirsə, sizin fərqində olmadığınız problem ola bilər.
4) Anormal tələbin və yükün müəyyən edilməsi
FMCG mağazasında satışlar proqnozun inam intervalından aşağı düşübsə, baş verənlərin səbəbini tapmağa dəyər.
Anomaliyaların müəyyənləşdirilməsinə yanaşmalar
1) Bir Sinif Bir Sinif SVM ilə Vektor Maşını dəstəkləyin
Təlim dəstindəki məlumatlar normal paylanmaya uyğun olduqda uyğundur, lakin test dəstində anomaliyalar var.
Bir sinif dəstək vektor maşını mənşənin ətrafında qeyri-xətti səth qurur. Məlumatın anomal sayıldığı kəsmə limiti təyin etmək mümkündür.
DATA4 komandamızın təcrübəsinə əsaslanaraq, One-Class SVM anomaliyaların tapılması probleminin həlli üçün ən çox istifadə edilən alqoritmdir.
2) Meşə üsulunu təcrid edin
Ağacların qurulmasının "təsadüfi" üsulu ilə emissiyalar erkən mərhələlərdə (ağacın dayaz dərinliyində) yarpaqlara daxil olacaq, yəni. emissiyaları "təcrid etmək" daha asandır. Anormal dəyərlərin izolyasiyası alqoritmin ilk iterasiyalarında baş verir.
3) Elliptik zərf və statistik üsullar
Məlumatlar normal şəkildə paylandıqda istifadə olunur. Ölçmə paylanma qarışığının quyruğuna nə qədər yaxındırsa, dəyər bir o qədər anormaldır.
Digər statistik metodlar da bu sinfə daxil edilə bilər.
Şəkil dyakonov.org saytından
4) Metrik üsullar
Metodlara k-ən yaxın qonşular, k-ən yaxın qonşu, ABOD (bucaq əsaslı kənar göstəricilərin aşkarlanması) və ya LOF (yerli kənar faktor) kimi alqoritmlər daxildir.
Xüsusiyyətlərdəki dəyərlər arasındakı məsafə ekvivalent olduqda və ya normallaşdırıldıqda uyğundur (tutuquşularda bir boa konstriktorunu ölçməmək üçün).
K-ən yaxın qonşular alqoritmi, normal dəyərlərin çoxölçülü məkanın müəyyən bir bölgəsində yerləşdiyini və anomaliyalara olan məsafənin ayıran hipertəpədən daha çox olacağını nəzərdə tutur.
5) Klaster metodları
Klaster metodlarının mahiyyəti ondan ibarətdir ki, əgər dəyər klaster mərkəzlərindən müəyyən miqdardan çox uzaqdadırsa, dəyəri anomal hesab etmək olar.
Əsas odur ki, konkret tapşırıqdan asılı olan məlumatları düzgün qruplaşdıran alqoritmdən istifadə edin.
6) Əsas komponent metodu
Dispersiyada ən böyük dəyişiklik istiqamətlərinin vurğulandığı yerlərdə uyğundur.
7) Zaman sıralarının proqnozlaşdırılmasına əsaslanan alqoritmlər
İdeya ondan ibarətdir ki, əgər dəyər proqnozlaşdırılan etimad intervalından kənara düşərsə, dəyər anomal hesab olunur. Zaman seriyasını proqnozlaşdırmaq üçün üçlü hamarlaşdırma, S(ARIMA), gücləndirmə və s. kimi alqoritmlərdən istifadə olunur.
Zaman sıralarının proqnozlaşdırılması alqoritmləri əvvəlki məqalədə müzakirə edilmişdir.
8) Nəzarət olunan öyrənmə (reqressiya, təsnifat)
Məlumatlar imkan verirsə, xətti reqressiyadan tutmuş təkrarlanan şəbəkələrə qədər alqoritmlərdən istifadə edirik. Proqnozla faktiki dəyər arasındakı fərqi ölçək və məlumatların normadan nə dərəcədə kənara çıxdığına dair nəticə çıxaraq. Alqoritmin kifayət qədər ümumiləşdirmə qabiliyyətinə malik olması və təlim toplusunda anomal dəyərlərin olmaması vacibdir.
9) Model testləri
Anomaliyaların axtarışı probleminə tövsiyələrin axtarışı problemi kimi yanaşaq. SVD və ya faktorizasiya maşınlarından istifadə edərək xüsusiyyət matrisimizi parçalayaq və yeni matrisdə orijinaldan əhəmiyyətli dərəcədə fərqli olan dəyərləri anormal kimi qəbul edək.
Şəkil dyakonov.org saytından
Nəticə
Bu yazıda anomaliyaların aşkarlanması üçün əsas yanaşmaları nəzərdən keçirdik.
Anomaliyaları tapmaq bir çox cəhətdən sənət adlandırıla bilər. İstifadəsi bütün problemləri həll edən ideal bir alqoritm və ya yanaşma yoxdur. Daha tez-tez müəyyən bir işi həll etmək üçün bir sıra üsullardan istifadə olunur. Anomaliyaların aşkarlanması bir sinifli dəstək vektor maşınları, meşələri təcrid edən, metrik və klaster metodlarından, həmçinin əsas komponentlərdən və zaman sıralarının proqnozlaşdırılmasından istifadə etməklə həyata keçirilir.
Digər üsulları bilirsinizsə, məqalənin şərhlərində onlar haqqında yazın.
Mənbə: www.habr.com