İ Biz zaman keçid ardıcıllığının proqnozlaşdırılmasını müzakirə etdik. Məntiqi davamı anomaliyanın aşkar edilməsi ilə bağlı bir məqalə olacaq.
İstifadə
Anomaliyanın aşkar edilməsi aşağıdakı sahələrdə istifadə olunur:
1) Avadanlığın nasazlıqlarının proqnozlaşdırılması
Belə ki, 2010-cu ildə İrandakı mərkəzlərin centrifuqaları Stuxnet virusu tərəfindən hücuma məruz qaldı, bu da avadanlığın qeyri-optimal iş rejimini ortaya çıxardı və sürətlə aşınmış avadanlığın bir hissəsini sıradan çıxardı.
Əgər avadanlıqda anomaliyanın aşkar edilməsi algoritmləri istifadə olunsaydı, nasazlıq vəziyyətlərinin yaranmasının qarşısını almaq mümkün olardı.
Avadanlığın işində anomaliyanın aşkar edilməsi yalnız atom sənayesində deyil, metallurgiyada, hava turbinalarının işində də istifadə olunur. Həmçinin, proqnozlaşdırıla bilməyən nasazlıqlar zamanı mümkün itkilərin daha ucuz olduğu digər sahələrdə.
2) Fırıldaqçılıq fəaliyyətinin proqnozlaşdırılması
Əgər siz Podolskda istifadə etdiyiniz kartdan Albaniyada pul çıxarılırsa, yəqin ki, əməliyyatları əlavə yoxlamaq lazımdır.
3) Anomal istehlakçı nümunələrinin aşkar edilməsi
Əgər müştərilərin bir hissəsi anormal davranış göstərirsə, ehtimal olunur ki, gündəlik işinizdə bilmədiyiniz bir problem var.
4) Anormal tələb və yükün aşkar edilməsi
Əgər FMCG mağazasında satışlar proqnozun etimad intervallarından aşağı düşərsə, baş verən hadisənin səbəbini tapmaq lazımdır.
Anomaliyanın aşkar edilməsi yanaşmaları
1) Tək sinifli Dəstək Vektor Metodu - One-Class SVM
Bu metod normal paylanma ilə olan təlim dəstinə uyğun gələndə və test dəstində anomaliyalara sahib olduqda uyğundur.
Tək sinifli dəstək vektoru metodu koordinatların başlanğıc ətrafında qeyri-xətti bir səthi qurur. Anomaliyalı hesab edilən məlumatların kəsici sərhədini təyin etmək mümkündür.
DATA4 komandamızın təcrübəsinə əsaslanaraq, One-Class SVM anomaliyaların aşkar edilməsi üçün ən çox istifadə olunan algoritmdir.
2) İzolyasiya meşəsi metodu - isolate forest
“Təsadüfi” ağacların qurulma üsulu ilə, çıxıntılar erkən mərhələlərdə (ağacın az dərinliyində) yarpaqlara düşəcək, yəni çıxıntıları “izolyasiya” etmək daha asan olacaq. Anomaliyalı dəyərlərin müəyyən edilməsi algoritmanın ilk iterasiyalarında baş verir.
3) Elliptik qapaq və statistik metodlar
Məlumatlar normal paylanma olduqda istifadə olunub. Ölçmələr paylanmaların quyruğuna daha yaxın olduqda, dəyər o qədər anormaldır.
Bu sinfə digər statistik metodlar da daxildir.
dyakonov.org saytından şəkil
4) Metrik metodlar
Metodlara k ən yaxın qonşu, ABOD (bucaq əsasında çıxıntı aşkar edilməsi) və ya LOF (lokal çıxıntı faktoru) kimi algoritmları daxildir.
Uygun gələndə, xüsusiyyətlər arasındakı dəyərlər arasındakı məsafələr bərabərdir yaxud normallaşdırılmışdır (yəni boa ilə papaq saymaq istəməsin).
K ən yaxın qonşular alqoritmi normal dəyərlərin çoxlu ölçülü müyəssəustun bir sahəsində yerləşdiyini, anomaliyaların içəriyyə cədvəlinə olan məsafənin isə ayırıcı hiperplandan daha böyük olduğunu nəzərdə tutur.
5) Klaster metodları
Klaster metodlarının mahiyyəti ondan ibarətdir ki, əgər dəyər klaster mərkəzlərindən müəyyən bir məsafədən daha uzaqdadırsa, bu dəyər anomaliya kimi qəbul edilməlidir.
Əsas məsələ, verilənlərin düzgün klasterləşdirilməsini təmin edən alqoritmdən istifadə etməkdir, bu isə konkret tapşırıqdan asılıdır.
6) Əsas komponentlərin metodu
Varyansın ən yüksək dəyişmə istiqamətlərini ayırd edən yerlərdə uyğundur.
7) Vaxt seriyalarının proqnozlaşdırılması əsasında alqoritmlər
İdeya ondadır ki, əgər dəyər proqnozlaşdırma güvən intervallarından kənara çıxırsa, bu dəyər anomaliya hesab olunur. Vaxt seriyası üçün proqnozlaşdırma alqoritmləri kimi üçqat yumşatma, S(ARIMA), boosting və s. istifadə olunur.
Vaxt seriyasının proqnozlaşdırılması alqoritmləri əvvəlki məqalədə müzakirə olunmuşdur.
8) Müəllimlə öyrənmə (regressiya, təsnifat)
Əgər verilənlər imkan verirsə, xətti regressiyadan başlayaraq rekurent şəbəkələrə qədər alqoritmlərdən istifadə edirik. Proqnoz və faktiki dəyər arasındakı fərqi ölçəcəyik və verilənlərin normadan nə qədər kənara çıxdığını müəyyən edəcəyik. Alqoritmin kifayət qədər ümumiləşmə qabiliyyətinə malik olması, öyrənmə dəstinin anomaliyalı dəyərlərdən ayırd edilməsi vacibdir.
9) Model testləri
Anomaliyaları tapma məsələsinə tövsiyə axtarışı kimi yanaşacağıq. Xüsusiyyətlər matrisimizi SVD və ya faktorlaşdırma maşınları ilə parçalayacağıq, yeni matrisdəki dəyərlər əhəmiyyətli dərəcədə orijinaldan fərqləndikdə anomaliyalı kimi qəbul edəcəyik.
dyakonov.org saytından şəkil
Nəticə
Bu məqalədə anomaliyaların aşkarlanması üçün əsas yanaşmaları müzakirə etdik.
Anomaliyaların aşkar edilməsi çoxluqla bir sənət kimi qəbul edilə bilər. Bütün məsələləri həll edən ideal alqoritm və ya yanaşma yoxdur. Müvəqqəti metodların bir kombinasiyası daha çox spesifik hal üçün istifadə olunur. Anomaliyaların aşkarlanması tək sinifli podpor vektorları, izolyasiya meşəsi, metrik və klaster metodları, əsas komponentlər və vaxt seriyalarının proqnozlaşdırılması ilə həyata keçirilir.
Əgər digər metodları bilirsinizsə, məqaləyə şərh yazın.
Mənbə: habr.com
