В біз уақыттық қатарларды болжау туралы айттық. Логикалық жалғасы аномалияларды анықтау туралы мақала болар еді.
Қолданба
Аномалияны анықтау келесі салаларда қолданылады:
1) Жабдықтардың істен шығуын болжау
Осылайша, 2010 жылы ирандық центрифугалар Stuxnet вирусының шабуылына ұшырады, бұл жабдықты оңтайлы емес жұмыс режиміне қойды және жеделдетілген тозуға байланысты кейбір жабдықты істен шығарды.
Егер жабдықта аномалияны анықтау алгоритмдері қолданылған болса, ақаулық жағдайын болдырмауға болар еді.
Жабдықтардың жұмысындағы ауытқуларды іздеу тек атом өнеркәсібінде ғана емес, сонымен қатар металлургияда және ұшақ турбиналарын пайдалануда қолданылады. Ал болжамды диагностиканы пайдалану болжамсыз бұзылу салдарынан ықтимал шығындардан арзанырақ болатын басқа салаларда.
2) Алаяқтықты болжау
Албанияның Подольск қаласында пайдаланатын картаңыздан ақша алынса, транзакцияларды қосымша тексеру қажет болуы мүмкін.
3) Қалыпты емес тұтынушылық үлгілерді анықтау
Кейбір тұтынушылар әдеттен тыс әрекетті көрсетсе, сіз білмейтін мәселе болуы мүмкін.
4) Қалыпты емес сұраныс пен жүктемені анықтау
Егер FMCG дүкеніндегі сатылымдар болжамның сенімділік интервалынан төмен түссе, не болып жатқанының себебін табу керек.
Аномалияларды анықтау тәсілдері
1) Бір класты бір класты SVM бар векторлық машинаны қолдау
Жаттығу жиынындағы деректер қалыпты таралудан кейін болған кезде қолайлы, бірақ сынақ жиынында ауытқулар бар.
Бір класты тірек векторлық машина координаттың айналасында сызықты емес бетті құрастырады. Деректер аномальды деп саналатын шекті шектеуді орнатуға болады.
Біздің DATA4 командасының тәжірибесіне сүйене отырып, One-Class SVM аномалияларды табу мәселесін шешу үшін ең жиі қолданылатын алгоритм болып табылады.
2) Орманды оқшаулау әдісі
Ағаштарды салудың «кездейсоқ» әдісімен шығарындылар жапырақтарға ерте кезеңде түседі (ағаштың таяз тереңдігінде), яғни. шығарындыларды «оқшаулау» оңайырақ. Аномальды мәндердің оқшаулануы алгоритмнің бірінші итерациясында орын алады.
3) Эллиптикалық конверт және статистикалық әдістер
Деректер қалыпты түрде таратылған кезде пайдаланылады. Өлшеу таралу қоспасының құйрығына неғұрлым жақын болса, соғұрлым мән аномальды болады.
Бұл сыныпқа басқа статистикалық әдістерді де қосуға болады.
Сурет dyakonov.org сайтынан алынды
4) Метрикалық әдістер
Әдістерге k-ең жақын көрші, k-ең жақын көрші, ABOD (бұрышқа негізделген шектен шығуды анықтау) немесе LOF (жергілікті шектен шығу факторы) сияқты алгоритмдер кіреді.
Сипаттамалардағы мәндер арасындағы қашықтық эквивалентті немесе нормаланған болса (попугаялардағы боа контрикторын өлшемеу үшін) қолайлы.
k-ең жақын көршілер алгоритмі қалыпты мәндер көпөлшемді кеңістіктің белгілі бір аймағында орналасқанын болжайды, ал аномалияларға дейінгі қашықтық бөлуші гипержазықтыққа қарағанда үлкен болады.
5) Кластерлік әдістер
Кластерлік әдістердің мәні мынада, егер мән кластер орталықтарынан белгілі бір мөлшерден алыс болса, мәнді аномальды деп санауға болады.
Ең бастысы - нақты тапсырмаға байланысты деректерді дұрыс кластерлеу алгоритмін пайдалану.
6) Негізгі компонент әдісі
Дисперсиядағы ең үлкен өзгерістердің бағыттары бөлектелген жерде қолайлы.
7) Уақыттық қатарларды болжауға негізделген алгоритмдер
Идея мынада: егер мән болжамдық сенімділік интервалынан тыс түссе, мән аномальды болып саналады. Уақыт қатарын болжау үшін үш еселік тегістеу, S(ARIMA), күшейту және т.б. сияқты алгоритмдер қолданылады.
Уақыт қатарларын болжау алгоритмдері алдыңғы мақалада талқыланды.
8) Бақыланатын оқыту (регрессия, классификация)
Деректер мүмкіндік берсе, біз сызықтық регрессиядан қайталанатын желілерге дейінгі алгоритмдерді қолданамыз. Болжам мен нақты мән арасындағы айырмашылықты өлшеп, деректердің нормадан қаншалықты ауытқығанына қорытынды жасайық. Алгоритмнің жеткілікті жалпылау мүмкіндігінің болуы және жаттығу жиынында аномальды мәндердің болмауы маңызды.
9) Үлгілік сынақтар
Аномалияларды іздеу мәселесіне ұсыныстарды іздеу мәселесі ретінде қарайық. SVD немесе факторизация машиналары арқылы мүмкіндіктер матрицасын ыдыратайық және жаңа матрицадағы бастапқыдан айтарлықтай ерекшеленетін мәндерді аномальды деп алайық.
Сурет dyakonov.org сайтынан алынды
қорытынды
Бұл мақалада біз аномалияны анықтаудың негізгі тәсілдерін қарастырдық.
Аномалияларды табуды көптеген жолдармен өнер деп атауға болады. Қолдану барлық мәселелерді шешетін идеалды алгоритм немесе тәсіл жоқ. Көбінесе белгілі бір істі шешу үшін әдістер жиынтығы қолданылады. Аномалияларды анықтау бір класты тірек векторлық машиналарды, ормандарды оқшаулауды, метрикалық және кластерлік әдістерді, сондай-ақ негізгі компоненттерді және уақыттық қатарларды болжауды қолдану арқылы жүзеге асырылады.
Егер сіз басқа әдістерді білсеңіз, олар туралы мақалаға түсініктемелерде жазыңыз.
Ақпарат көзі: www.habr.com