Π Biz vaqt seriyalarini prognozlash haqida gaplashdik. Mantiqiy davomi anomaliyalarni aniqlash bo'yicha maqola bo'ladi.
ariza
Anomaliyalarni aniqlash quyidagi sohalarda qo'llaniladi:
1) Uskunaning buzilishini bashorat qilish
Shunday qilib, 2010 yilda Eron sentrifugalari Stuxnet virusi tomonidan hujumga uchradi, bu uskunani optimal bo'lmagan ishlashga o'rnatdi va tezlashtirilgan eskirish tufayli jihozlarning bir qismini o'chirib qo'ydi.
Agar uskunada anomaliyalarni aniqlash algoritmlari qo'llanilganda, nosozlik holatining oldini olish mumkin edi.
Uskunalarning ishlashidagi anomaliyalarni izlash nafaqat atom sanoatida, balki metallurgiya va samolyot turbinalarini ishlatishda ham qo'llaniladi. Va bashoratli diagnostikadan foydalanish oldindan aytib bo'lmaydigan buzilish tufayli mumkin bo'lgan yo'qotishlardan arzonroq bo'lgan boshqa sohalarda.
2) Firibgarlikni bashorat qilish
Agar Albaniyaning Podolsk shahrida foydalanayotgan kartangizdan pul yechib olinsa, tranzaktsiyalarni qo'shimcha tekshirish kerak bo'lishi mumkin.
3) g'ayritabiiy iste'molchi naqshlarini aniqlash
Agar ba'zi mijozlar g'ayritabiiy xatti-harakatlarni namoyon qilsa, siz bilmagan muammo bo'lishi mumkin.
4) Anormal talab va yukni aniqlash
Agar FMCG do'konidagi sotuvlar prognozning ishonch oralig'idan pastga tushgan bo'lsa, nima sodir bo'layotganining sababini topishga arziydi.
Anomaliyalarni aniqlashga yondashuvlar
1) Vektorli mashinani bitta sinfli bir sinfli SVM bilan qo'llab-quvvatlash
O'quv to'plamidagi ma'lumotlar normal taqsimotga rioya qilganda mos keladi, ammo testlar to'plamida anomaliyalar mavjud.
Bir sinfli qo'llab-quvvatlovchi vektor mashinasi boshlang'ich atrofida chiziqli bo'lmagan sirtni quradi. Ma'lumotlar anomal deb hisoblangan chegara chegarasini belgilash mumkin.
Bizning DATA4 jamoamiz tajribasiga asoslanib, One-Class SVM anomaliyalarni topish muammosini hal qilish uchun eng ko'p ishlatiladigan algoritmdir.
2) Izolyatsiya o'rmon usuli
Daraxtlarni qurishning "tasodifiy" usuli bilan emissiya erta bosqichlarda (daraxtning sayoz chuqurligida) barglarga kiradi, ya'ni. emissiyalarni "izolyatsiya qilish" osonroq. Anormal qiymatlarni izolyatsiya qilish algoritmning birinchi iteratsiyasida sodir bo'ladi.
3) Elliptik konvert va statistik usullar
Ma'lumotlar normal taqsimlanganda ishlatiladi. O'lchov taqsimotlar aralashmasining dumiga qanchalik yaqin bo'lsa, qiymat shunchalik anomal bo'ladi.
Bu sinfga boshqa statistik usullarni ham kiritish mumkin.
Rasm dyakonov.org dan
4) Metrik usullar
Usullarga k-eng yaqin qo'shnilar, k-eng yaqin qo'shnilar, ABOD (burchak asosidagi chetni aniqlash) yoki LOF (mahalliy chetlanish omili) kabi algoritmlar kiradi.
Xususiyatlardagi qiymatlar orasidagi masofa ekvivalent yoki normallashtirilgan bo'lsa (to'tiqushlarda boa konstriktorini o'lchamaslik uchun) mos keladi.
K-eng yaqin qo'shnilar algoritmi normal qiymatlar ko'p o'lchovli makonning ma'lum bir hududida joylashganligini va anomaliyalargacha bo'lgan masofa ajratuvchi giperplandan kattaroq bo'lishini taxmin qiladi.
5) Klaster usullari
Klaster usullarining mohiyati shundan iboratki, agar qiymat klaster markazlaridan ma'lum miqdordan uzoqroqda bo'lsa, qiymat anomal deb hisoblanishi mumkin.
Asosiysi, aniq vazifaga bog'liq bo'lgan ma'lumotlarni to'g'ri klasterlash algoritmidan foydalanish.
6) Asosiy komponent usuli
Dispersiyaning eng katta o'zgarishi yo'nalishlari ta'kidlangan joyda mos keladi.
7) Vaqtli qatorlarni bashorat qilishga asoslangan algoritmlar
G'oya shundan iboratki, agar qiymat bashorat qilingan ishonch oralig'idan tashqariga chiqsa, qiymat anormal deb hisoblanadi. Vaqt seriyasini bashorat qilish uchun uch marta tekislash, S(ARIMA), kuchaytirish va boshqalar kabi algoritmlardan foydalaniladi.
Vaqt seriyalarini prognozlash algoritmlari oldingi maqolada muhokama qilingan.
8) nazorat ostida o'rganish (regressiya, tasnif)
Agar ma'lumotlar imkon bersa, biz chiziqli regressiyadan takroriy tarmoqlargacha bo'lgan algoritmlardan foydalanamiz. Keling, bashorat va haqiqiy qiymat o'rtasidagi farqni o'lchaymiz va ma'lumotlar normadan qanchalik og'ishganligi haqida xulosa chiqaramiz. Algoritmning etarli darajada umumlashtirish qobiliyatiga ega bo'lishi va o'quv majmuasida anomal qiymatlar mavjud emasligi muhimdir.
9) Model testlari
Keling, anomaliyalarni qidirish muammosiga tavsiyalarni qidirish muammosi sifatida yondashamiz. Keling, SVD yoki faktorizatsiya mashinalari yordamida xususiyat matritsamizni ajratamiz va yangi matritsadagi asl qiymatlardan sezilarli darajada farq qiladigan qiymatlarni anomaliya sifatida qabul qilamiz.
Rasm dyakonov.org dan
xulosa
Ushbu maqolada biz anomaliyalarni aniqlashning asosiy usullarini ko'rib chiqdik.
Anomaliyalarni topishni ko'p jihatdan san'at deb atash mumkin. Hech qanday ideal algoritm yoki yondashuv mavjud emas, ulardan foydalanish barcha muammolarni hal qiladi. Ko'pincha muayyan ishni hal qilish uchun bir qator usullar qo'llaniladi. Anomaliyalarni aniqlash bir toifali qo'llab-quvvatlovchi vektor mashinalari, o'rmonlarni izolyatsiyalash, metrik va klaster usullari, shuningdek, asosiy komponentlar va vaqt seriyalarini prognozlash yordamida amalga oshiriladi.
Agar siz boshqa usullarni bilsangiz, ular haqida maqolaga sharhlarda yozing.
Manba: www.habr.com