Անոմալիաները հայտնաբերելու 9 մոտեցում

В նախորդ հոդվածը մենք խոսեցինք ժամանակային շարքերի կանխատեսման մասին։ Տրամաբանական շարունակությունը կլինի անոմալիաների բացահայտման հոդվածը:

Դիմում

Անոմալիաների հայտնաբերումն օգտագործվում է այնպիսի ոլորտներում, ինչպիսիք են.

1) սարքավորումների խափանումների կանխատեսում

Այսպիսով, 2010 թվականին իրանական ցենտրիֆուգները ենթարկվեցին հարձակման Stuxnet վիրուսով, որը սարքավորումը դրեց ոչ օպտիմալ աշխատանքի և արագացված մաշվածության պատճառով անջատեց սարքավորումների մի մասը:

Եթե ​​սարքավորման վրա կիրառվեին անոմալիաների հայտնաբերման ալգորիթմներ, ապա հնարավոր կլիներ խուսափել ձախողման իրավիճակից:

Սարքավորումների շահագործման մեջ անոմալիաների որոնումն օգտագործվում է ոչ միայն միջուկային արդյունաբերության մեջ, այլ նաև մետաղագործության և օդանավերի տուրբինների շահագործման մեջ: Իսկ այլ ոլորտներում, որտեղ կանխատեսող ախտորոշման օգտագործումն ավելի էժան է, քան անկանխատեսելի անսարքության պատճառով հնարավոր կորուստները:

2) խարդախության կանխատեսում

Եթե ​​գումարը հանվում է այն քարտից, որը դուք օգտագործում եք Ալբանիայի Պոդոլսկում, հնարավոր է, որ գործարքները լրացուցիչ ստուգման կարիք ունենան:

3) սպառողական աննորմալ օրինաչափությունների բացահայտում

Եթե ​​որոշ հաճախորդներ դրսևորում են աննորմալ վարք, կարող է լինել խնդիր, որի մասին դուք տեղյակ չեք:

4) աննորմալ պահանջարկի և ծանրաբեռնվածության հայտնաբերում

Եթե ​​FMCG խանութում վաճառքը իջել է կանխատեսված վստահության միջակայքից ցածր, արժե գտնել տեղի ունեցածի պատճառը:

Անոմալիաների բացահայտման մոտեցումներ

1) Աջակցող վեկտորային մեքենա մեկ դասի մեկ դասի SVM-ով

Հարմար է, երբ ուսուցման հավաքածուի տվյալները հետևում են նորմալ բաշխմանը, բայց թեստային հավաքածուն պարունակում է անոմալիաներ:

Մեկ դասի աջակցության վեկտորային մեքենան կառուցում է ոչ գծային մակերես ծագման շուրջ: Հնարավոր է սահմանել սահմանաչափ, որի համար տվյալները համարվում են անոմալ:

Հիմնվելով մեր DATA4 թիմի փորձի վրա՝ One-Class SVM-ն անոմալիաներ գտնելու խնդրի լուծման համար ամենաշատ օգտագործվող ալգորիթմն է:

2) Մեկուսացնել անտառային մեթոդը

Ծառերի կառուցման «պատահական» մեթոդով արտանետումները տերևների մեջ կմտնեն վաղ փուլերում (ծառի փոքր խորության վրա), այսինքն. արտանետումները ավելի հեշտ է «մեկուսացնել»: Անոմալ արժեքների մեկուսացումը տեղի է ունենում ալգորիթմի առաջին կրկնություններում:

3) Էլիպսային ծրար և վիճակագրական մեթոդներ

Օգտագործվում է, երբ տվյալները սովորաբար բաշխվում են: Որքան մոտ է չափումը բաշխումների խառնուրդի պոչին, այնքան ավելի անկանոն է արժեքը:

Այս դասում կարող են ներառվել նաև այլ վիճակագրական մեթոդներ:

Լուսանկարը՝ dyakonov.org-ից

4) մետրային մեթոդներ

Մեթոդները ներառում են այնպիսի ալգորիթմներ, ինչպիսիք են k-մոտակա հարևանները, k-մոտակա հարևանները, ABOD (անկյան վրա հիմնված արտաքին հայտնաբերումը) կամ LOF (տեղական արտաքին գործոնը):

Հարմար է, եթե բնութագրերի արժեքների միջև հեռավորությունը համարժեք կամ նորմալացված է (որպեսզի թութակների մեջ չչափվի բոա նեղացնողը):

K-մոտակա հարևանների ալգորիթմը ենթադրում է, որ նորմալ արժեքները գտնվում են բազմաչափ տարածության որոշակի շրջանում, և անոմալիաների հեռավորությունը ավելի մեծ կլինի, քան բաժանող հիպերպլանին:

5) Կլաստերային մեթոդներ

Կլաստերային մեթոդների էությունն այն է, որ եթե արժեքը որոշակի քանակից ավելի հեռու է կլաստերի կենտրոններից, արժեքը կարող է անոմալ համարվել:

Հիմնական բանն այն է, որ օգտագործվի ալգորիթմ, որը ճիշտ կլաստերավորում է տվյալները, ինչը կախված է կոնկրետ առաջադրանքից:

6) Հիմնական բաղադրիչի մեթոդ

Հարմար է այնտեղ, որտեղ ընդգծված են ցրվածության ամենամեծ փոփոխության ուղղությունները:

7) ժամանակային շարքերի կանխատեսման վրա հիմնված ալգորիթմներ

Գաղափարն այն է, որ եթե արժեքը դուրս է գալիս կանխատեսման վստահության միջակայքից, արժեքը համարվում է անոմալ: Ժամանակային շարքը կանխատեսելու համար օգտագործվում են այնպիսի ալգորիթմներ, ինչպիսիք են եռակի հարթեցումը, S(ARIMA), խթանումը և այլն։

Ժամանակային շարքերի կանխատեսման ալգորիթմները քննարկվել են նախորդ հոդվածում։

8) վերահսկվող ուսուցում (ռեգեսիա, դասակարգում).

Եթե ​​տվյալները թույլ են տալիս, մենք օգտագործում ենք ալգորիթմներ՝ սկսած գծային ռեգրեսիայից մինչև պարբերական ցանցեր: Եկեք չափենք կանխատեսման և իրական արժեքի տարբերությունը և եզրակացնենք, թե որքանով են տվյալները շեղվում նորմայից։ Կարևոր է, որ ալգորիթմն ունենա բավարար ընդհանրացման հնարավորություն, և որ ուսուցման հավաքածուն չպարունակի անոմալ արժեքներ:

9) մոդելային թեստեր

Անոմալիաների որոնման խնդրին մոտենանք որպես առաջարկությունների որոնման խնդրի։ Եկեք քայքայենք մեր առանձնահատկությունների մատրիցը SVD-ի կամ ֆակտորիզացիայի մեքենաների միջոցով և նոր մատրիցում այն ​​արժեքները, որոնք էականորեն տարբերվում են սկզբնականներից, որպես անոմալ ընդունենք:

Լուսանկարը՝ dyakonov.org-ից

Ամփոփում

Այս հոդվածում մենք վերանայեցինք անոմալիաների հայտնաբերման հիմնական մոտեցումները:

Անոմալիաներ գտնելը շատ առումներով կարելի է անվանել արվեստ: Չկա իդեալական ալգորիթմ կամ մոտեցում, որի կիրառումը լուծի բոլոր խնդիրները։ Ավելի հաճախ օգտագործվում են մեթոդների մի շարք կոնկրետ դեպք լուծելու համար։ Անոմալիաների հայտնաբերումն իրականացվում է մեկ դասի աջակցության վեկտոր մեքենաների, անտառների մեկուսացման, մետրային և կլաստերային մեթոդների, ինչպես նաև հիմնական բաղադրիչների և ժամանակային շարքերի կանխատեսման միջոցով:

Եթե ​​գիտեք այլ մեթոդներ, գրեք դրանց մասին հոդվածի մեկնաբանություններում:

Source: www.habr.com