В Бид цаг хугацааны цуврал таамаглалын талаар ярилцсан. Логик үргэлжлэл нь гажуудлыг тодорхойлох нийтлэл байх болно.
Програмын
Аномалийн илрүүлэлтийг дараахь чиглэлээр ашигладаг.
1) Тоног төхөөрөмжийн эвдрэлийг урьдчилан таамаглах
Ийнхүү 2010 онд Ираны центрифугүүд Stuxnet вирусын халдлагад өртөж, тоног төхөөрөмжийг оновчтой бус ажиллуулж, хурдасгасан элэгдлээс болж зарим тоног төхөөрөмжийг идэвхгүй болгосон.
Хэрэв төхөөрөмж дээр гажиг илрүүлэх алгоритмыг ашигласан бол эвдрэл гарахаас зайлсхийх боломжтой байсан.
Тоног төхөөрөмжийн үйл ажиллагааны гажиг хайх нь зөвхөн цөмийн үйлдвэрлэлд төдийгүй металлурги, нисэх онгоцны турбиныг ажиллуулахад ашиглагддаг. Урьдчилан таамаглах оношлогооны хэрэглээ нь урьдчилан таамаглах боломжгүй эвдрэлээс болж болзошгүй алдагдлаас хямд байдаг бусад газруудад.
2) Луйврыг урьдчилан таамаглах
Хэрэв Албани улсын Подольск хотод таны ашигладаг картаас мөнгө авсан бол гүйлгээг цаашид шалгах шаардлагатай байж магадгүй юм.
3) Хэрэглэгчийн хэвийн бус хэв маягийг тодорхойлох
Хэрэв зарим үйлчлүүлэгч хэвийн бус зан авир гаргавал таны мэдэхгүй асуудал гарч болзошгүй.
4) Хэвийн бус эрэлт, ачааллыг тодорхойлох
Хэрэв FMCG дэлгүүрийн борлуулалт таамагласан итгэлийн интервалаас доогуур буурсан бол юу болж байгааг олж мэдэх нь зүйтэй.
Гаж эмгэгийг тодорхойлох арга
1) Нэг ангиллын нэг ангиллын SVM бүхий вектор машиныг дэмжих
Сургалтын багц дахь өгөгдөл хэвийн тархалтыг дагаж мөрдвөл тохиромжтой, гэхдээ тестийн багц нь гажиг агуулсан.
Нэг ангиллын тулгуур вектор машин нь эхийн эргэн тойронд шугаман бус гадаргууг бүтээдэг. Өгөгдлийг хэвийн бус гэж үзэх хязгаарын хязгаарыг тогтоох боломжтой.
Манай DATA4 багийн туршлага дээр үндэслэн One-Class SVM нь гажиг олох асуудлыг шийдвэрлэхэд хамгийн түгээмэл хэрэглэгддэг алгоритм юм.
2) Ойн аргыг тусгаарлах
Мод барих "санамсаргүй" аргын тусламжтайгаар ялгаруулалтыг эхний үе шатанд (модны гүехэн гүнд) навч руу оруулна. ялгаруулалтыг "тусгаарлах" нь илүү хялбар байдаг. Алгоритмын эхний давталтуудад хэвийн бус утгыг тусгаарлах нь тохиолддог.
3) Зууван дугтуй ба статистикийн аргууд
Өгөгдөл хэвийн тархсан үед ашиглагддаг. Хэмжилт нь тархалтын хольцын сүүл рүү ойртох тусам утга нь хэвийн бус байна.
Статистикийн бусад аргуудыг мөн энэ ангид оруулж болно.
dyakonov.org сайтаас авсан зураг
4) Метрийн аргууд
Аргад k-хамгийн ойрын хөрш, k-хамгийн ойрын хөрш, ABOD (өнцөгт суурилсан хэтийн илрүүлэлт) эсвэл LOF (орон нутгийн хэтийн хүчин зүйл) зэрэг алгоритмууд орно.
Шинж чанар дахь утгуудын хоорондох зай нь тэнцүү эсвэл хэвийн бол (тоть дахь боа хутгыг хэмжихгүйн тулд) тохиромжтой.
K-хамгийн ойрын хөршүүдийн алгоритм нь хэвийн утгууд нь олон хэмжээст орон зайн тодорхой бүсэд байрладаг бөгөөд аномали хүртэлх зай нь тусгаарлах гипер хавтгайгаас их байх болно гэж үздэг.
5) Кластерын аргууд
Кластерийн аргын мөн чанар нь хэрэв утга нь кластерын төвүүдээс тодорхой хэмжээнээс их зайд байвал уг утгыг хэвийн бус гэж үзэж болно.
Хамгийн гол нь тодорхой даалгавраас хамаардаг өгөгдлийг зөв кластерлах алгоритмыг ашиглах явдал юм.
6) Үндсэн бүрэлдэхүүн хэсгийн арга
Тархалтын хамгийн их өөрчлөлтийн чиглэлийг тодруулсан тохиолдолд тохиромжтой.
7) Хугацааны цувааны таамаглалд суурилсан алгоритмууд
Гол санаа нь хэрэв үнэ цэнэ нь таамаглах итгэлийн интервалаас гадуур байвал утгыг хэвийн бус гэж үзнэ. Цагийн цувааг урьдчилан таамаглахын тулд гурвалсан тэгшитгэх, S(ARIMA), нэмэгдүүлэх гэх мэт алгоритмуудыг ашигладаг.
Хугацааны цувааг урьдчилан таамаглах алгоритмуудыг өмнөх нийтлэлд авч үзсэн.
8) Хяналттай суралцах (регресс, ангилал)
Хэрэв өгөгдөл зөвшөөрвөл бид шугаман регрессээс эхлээд давтагдах сүлжээ хүртэл алгоритмуудыг ашигладаг. Урьдчилан таамагласан бодит үнэ цэнийн зөрүүг хэмжиж, өгөгдөл нь нормоос хэр зэрэг гажсан талаар дүгнэлт хийцгээе. Алгоритм нь хангалттай ерөнхийлэх чадвартай, сургалтын багц нь хэвийн бус утгыг агуулаагүй байх нь чухал юм.
9) Загварын туршилтууд
Аномали хайх асуудлыг зөвлөмж хайх асуудал болгон авч үзье. SVD эсвэл хүчин зүйлчлэлийн машин ашиглан онцлог матрицаа задалж, шинэ матриц дахь анхныхаас эрс ялгаатай утгуудыг хэвийн бус гэж авцгаая.
dyakonov.org сайтаас авсан зураг
дүгнэлт
Энэ нийтлэлд бид гажиг илрүүлэх үндсэн аргуудыг авч үзсэн.
Аномали олохыг олон талаар урлаг гэж нэрлэж болно. Бүх асуудлыг шийддэг хамгийн тохиромжтой алгоритм, арга барил байдаггүй. Ихэнхдээ тодорхой хэргийг шийдвэрлэхийн тулд багц аргыг ашигладаг. Аномали илрүүлэх нь нэг ангиллын туслах вектор машин, ойг тусгаарлах, метрик болон кластерийн аргууд, түүнчлэн үндсэн бүрэлдэхүүн хэсгүүд, цаг хугацааны цувралын таамаглалыг ашиглан хийгддэг.
Хэрэв та бусад аргуудыг мэддэг бол нийтлэлийн сэтгэгдэл дээр тэдгээрийн талаар бичээрэй.
Эх сурвалж: www.habr.com