В биз убакыт серияларын болжолдоо жөнүндө сүйлөштүк. Логикалык уландысы аномалияларды аныктоо боюнча макала болмок.
арыз
Аномалияны аныктоо төмөнкүдөй тармактарда колдонулат:
1) Жабдуулардын бузулушун болжолдоо
Ошентип, 2010-жылы ирандык центрифугалар Stuxnet вирусунун чабуулуна кабылган, ал жабдууларды оптималдуу эмес иштөөгө орноткон жана тез эскирүүнүн айынан кээ бир жабдууларды иштен чыгарган.
Эгерде жабдууларда аномалияны аныктоо алгоритмдери колдонулса, катачылыктын алдын алса болмок.
Жабдууларды эксплуатациялоодогу аномалияларды издөө атомдук өнөр жайда гана эмес, металлургияда жана учак турбиналарын иштетүүдө да колдонулат. Ал эми алдын ала диагностиканы колдонуу күтүүсүз бузулуудан мүмкүн болгон жоготуулардан арзаныраак болгон башка аймактарда.
2) Алдамчылыкты болжолдоо
Албаниянын Подольск шаарында сиз колдонгон картадан акча алынса, транзакциялар дагы текшерилиши керек болушу мүмкүн.
3) керектөөчүлөрдүн анормалдуу үлгүлөрүн аныктоо
Кээ бир кардарлар анормалдуу жүрүм-турум көрсөтсө, анда сиз билбеген көйгөй болушу мүмкүн.
4) Нормалдуу эмес суроо-талапты жана жүктү аныктоо
Эгерде FMCG дүкөнүндө сатуу болжолдонгон ишеним интервалынан төмөн түшүп кетсе, эмне болуп жатканынын себебин табуу керек.
Аномалияларды аныктоо ыкмалары
1) Бир класстагы бир класстык SVM менен вектордук машинаны колдоо
Тренинг топтомундагы маалыматтар нормалдуу бөлүштүрүүдө ылайыктуу, бирок тест топтомунда аномалиялар бар.
Бир класстагы колдоочу вектордук машина координациянын айланасында сызыктуу эмес бетти курат. Берилиштер аномалдуу деп эсептелген чекти коюуга болот.
Биздин DATA4 командасынын тажрыйбасынын негизинде, One-Class SVM аномалияларды табуу маселесин чечүү үчүн эң көп колдонулган алгоритм болуп саналат.
2) Токой ыкмасын изоляциялоо
Бак-дарактарды куруунун "кокустук" ыкмасы менен эмиссиялар жалбырактарга алгачкы этапта (дарактын тайыз тереңдигинде), б.а. эмиссияларды "обочолонтуу" оңой. Аномалдуу маанилердин изоляциясы алгоритмдин биринчи итерацияларында пайда болот.
3) Эллиптикалык конверт жана статистикалык ыкмалар
Маалыматтар кадимкидей бөлүштүрүлгөндө колдонулат. Өлчөө бөлүштүрүүнүн аралашмасынын куйругуна канчалык жакын болсо, ошончолук аномалдуу мааниге ээ болот.
Бул класска башка статистикалык ыкмаларды да кошууга болот.
Сүрөт dyakonov.org сайтынан алынды
4) Метрикалык методдор
Методдор к-эң жакынкы кошуналар, k-жакынкы кошуна, ABOD (бурчка негизделген четтөөлөрдү аныктоо) же LOF (жергиликтүү чектен чыгуу фактору) сыяктуу алгоритмдерди камтыйт.
Эгерде мүнөздөмөлөрдөгү маанилердин ортосундагы аралык эквиваленттүү же нормалдаштырылган болсо ылайыктуу (тоту куштарда боа конструкторун өлчөө үчүн).
k-жакынкы кошуналар алгоритми нормалдуу маанилер көп өлчөмдүү мейкиндиктин белгилүү бир аймагында жайгашкан деп болжолдойт жана аномалияларга чейинки аралык бөлүп турган гиперпланга караганда көбүрөөк болот.
5) Кластердик методдор
Кластердик методдордун маңызы, эгерде маани кластердик борборлордон белгилүү бир өлчөмдөн алыс болсо, маани аномалдуу деп эсептелинет.
Эң негизгиси, конкреттүү тапшырмадан көз каранды болгон маалыматтарды туура топтогон алгоритмди колдонуу.
6) Негизги компонент ыкмасы
Дисперсиянын эң чоң өзгөрүү багыттары белгиленген жерде ылайыктуу.
7) Убакыт катарларын болжолдоого негизделген алгоритмдер
Идея, эгерде маани болжолдоо ишеним аралыгынан тышкары калса, маани аномалдуу деп эсептелет. Убакыт катарларын болжолдоо үчүн үч эселенген тегиздөө, S(ARIMA), күчөтүү ж.б. сыяктуу алгоритмдер колдонулат.
Убакыт катарларын болжолдоо алгоритмдери мурунку макалада талкууланган.
8) Көзөмөлгө алынган окутуу (регрессия, классификация)
Эгер маалыматтар уруксат берсе, биз сызыктуу регрессиядан кайталануучу тармактарга чейинки алгоритмдерди колдонобуз. Келгиле, болжолдоо менен иш жүзүндөгү маанинин ортосундагы айырманы өлчөп, маалыматтар нормадан канчалык четтеп кеткендигинен жыйынтык чыгаралы. Алгоритмдин жетиштүү жалпылоо жөндөмүнө ээ болушу жана окутуу топтомунда аномалдык маанилердин болбошу маанилүү.
9) Моделдик тесттер
Аномалияларды издөө маселесине сунуштарды издөө маселеси катары карайлы. Келгиле, SVD же факторизация машиналары аркылуу өзгөчөлүк матрицабызды бөлүп алалы жана жаңы матрицадагы баштапкыдан бир топ айырмаланган маанилерди аномалдуу деп алалы.
Сүрөт dyakonov.org сайтынан алынды
жыйынтыктоо
Бул макалада биз аномалияларды аныктоонун негизги ыкмаларын карап чыктык.
Аномалияларды табуу көп жагынан искусство деп атоого болот. Эч кандай идеалдуу алгоритм же ыкма жок, аны колдонуу бардык маселелерди чечет. Көбүнчө белгилүү бир ишти чечүү үчүн ыкмалардын комплекси колдонулат. Аномалияларды аныктоо бир класстагы колдоочу вектордук машиналарды, токойлорду изоляциялоону, метрикалык жана кластердик методдорду, ошондой эле негизги компоненттерди жана убакыттык катарларды болжолдоону колдонуу менен жүргүзүлөт.
Эгерде сиз башка ыкмаларды билсеңиз, алар жөнүндө макалага комментарийлерде жазыңыз.
Source: www.habr.com