9 մոտեցում անոմալիաներ հայտնաբերման համար

Մեույն ցերեկից Մենք խոսել ենք ժամանակային շարքերի կանխատեսման մասին: Լավ տարբերակ կլիքում լինի անոմալիաների հայտնաբերման գրառում:

Պատասխանատվություն

Անոմալիաների հայտնաբերում օգտագործվում է հետևյալ ոլորտներում:

1) Նավթի հագուստի արդյունաբերության կանխատեսում

Այդկերպ, 2010 թվականին Իրանի կենտրոնախույս սարքեր ստիպվեցին Stuxnet վիրուսի կողմից, որը ստեղծեց ոչ օպտիմալ աշխատանքային ռեժիմ ու վնասեց սարքեր, արագ սպառման արդյունքում:

Եթե սարքերում օգտագործվեին անոմալիաների հայտնաբերման ալգորիթմներ, հնարավոր կլիներ խուսափել շարքից դուրս գալու իրավիճակներից:

Սարքերի աշխատանքի անոմալիաների հայտնաբերում օգտագործվում է ոչ միայն ատոմային արդյունաբերությունում, այլ նաև մեթալուրգիայում և ավիացիոն գազային տուրբինների աշխատանքի մեջ: Եվ այլ ոլորտներում, որտեղ կանխողական ախտորոշման օգտագործումը էժան է, համեմատած կանխատեսվող անկառավարելի անբարենպաստության:

2) Թմրամիջոցների կանխատեսում

Եթե քո քարտով, որն օգտագործում ես Փոդոլսկում, գումար է հանվում Ալբանիայում, հնարավոր է, որ գործարքները լրացուցիչ պետք է ստուգվեն:

3) Անոմալ սպառողական հետքերերի հայտնաբերում

Եթե որոշ հաճախորդներ ցույց են տալիս անոմալ վարք, հնարավոր է, որ կա խնդիր, որի մասին դու չգիտես:

4) Անոմալ պահանջարկի և ծանրաբեռնվածության հայտնաբերում

Եթե FMCG խանութում վաճառքները նվազել են կանխատեսման վստահության ինտերվալի ներքևում, արժե գտնել տեղի ունեցողի պատճառը:

Անոմալիաների հայտնաբերման մոտեցումներ

1) Միակ դասի աջակցման վեկտորների մեթոդ One-Class SVM

Հաճախորդի պարագաներում այս մեթոդը նախապատրաստվում է սովորական բաշխման, իսկ փորձարկումն ունի անոմալիաներ:

Միակ դասի աջակցման վեկտորների մեթոդը կառուցում է հարթություն շուրջkoordinate: Կարելի է սահմանել կտրելու սահման, թե ինչպես տվյալները համարվում են անոմալ:

DATA4 թիմի փորձից պարզվում է, որ One-Class SVM չեմ օգտագործվող ալգորիթմ է անոմալիաների հայտնաբերման խնդիրը լուծելու:

2) Հետաքրքրական անտառի մեթոդ – isolate forest

«Համակարգային» եղանակով ծառերը կառուցելով, ընկերժւները կտրվում են երթուղիների առաջին կարգերում (փոքր խորության ծառ), դից, ընկերջները հեշտ կլինի «իրազեկել»: Անոմալ արժեքների առանձնացումը տեղի է ունենում ալգորիթմի աշխատանքային առաջին փուլերում:

3) Վերահսկողության տուփի Էլիպսիկ ծավալ և վիճակագրական մեթոդներ

Օգտագործվում է, երբ տվյալները սովորաբար բաշխվում են: Ինչպես մոտավոր չափման կետը մնում է խառնակման բաշխումների վառերի մոտ, այնպես էլ ավելի անկանոն է արժեքը:

Այս դասին կարելի է դասակարգել նաև այլ վիճակագրական մեթոդներ:

Պատկեր dyakonov.org կայքից

4) Մետրիկական մեթոդներ

Մեթոդների թվում ընդգրկված են այնպիսի ալգորիթմներ, ինչպիսիք են k ամենամոտ հարևանները, k-ի ближайшего соседа, ABOD (angle-based outlier detection) կամ LOF (local outlier factor):

Հարմարեցված են, եթե նշանների միջև արժեքները հավասար են կամ նորմավորումներ, (որպեսզի մուրացին չհամեմատես բարիքների մեջ):

k ближайших соседей ալգորիթմը ենթադրում է, որ սովորական արժեքները գտնվում են բազմաչափ տարածության որոշակի շրջանում, իսկ անոմալիաների հեռավորությունը կլինի մեծ ՀՀ-երից, քան հատումային հիպերպլանէն:

5) Կլաստերային մեթոդներ

Կլաստերային մեթոդների իմաստը կայ նրանում, որ եթե արժեքը հեռու է կլաստերների կենտրոններից որոշակի չափով, ապա այն կարելի է համարել անոմալ:

Դա կարևոր է, որպեսզի ալգորիթմը ճիշտ կլաստերացնի տվյալները, ինչը կախված է կոնկրետ խնդրից:

6) Գլխավոր բաղադրիչների մեթոդ

Հարմար է այն դեպքում, երբ առանձնացվում են առավելագույն փոփոխության ուղղությունները:

7) Ժամանակային շարքերի կանխատեսման վրա հիմնված ալգորիթմներ

Հիմնական գաղափարն այն է, որ եթե արժեքը դուրս է գալիս կանխատեսման վստահելի միջակայքից, ապա այն համարվում է անոմալ: Ժամանակային շարքերի կանխատեսման համար օգտագործվում են այնպիսի ալգորիթմներ, ինչպիսիք են երեքակի մեղմացումը, S(ARIMA), բուստինգ և այլն:

Ժամանակային շարքերի կանխատեսման ալգորիթմների մասին խոսվել է նախորդ հոդվածում:

8) Մասնագիտական ուսուցում (գերազանցություն, դասակարգություն)

Եթե տվյալները թույլ են տալիս, օգտագործում ենք ալգորիթմներ, սկսած գծային գերազանցությունից և վերջացրած կրկնվող ցանցերով: Չափում ենք կանխատեսման և իրական արժեքի տարբերությունը և կատարում եզրակացություն, թե որքան տվյալները դուրս են գալիս նորմայից: Կարևոր է, որպեսզի ալգորիթմը ունենա բավարար ընդհանրացման կարողություն, և ուսուցման շատվածքը չպիտի պարունակեր անոմալ արժեքներ:

9) Մոդելի թեստեր

Եկեք մոտեցնենք անոմալիաների ճգնաժամի խնդրին, ինչպես առաջարկությունների գտնելու խնդիր: Մենք կլվենք մեր հատկանիշների մաթրիցը SVD-ով կամ ֆակտորային մեքենաներով, և նոր մաթրիցայում արժեքները, որոնք զգալիորեն տարբերվում են սկզբնականից, կընդունեն անոմալ:

Պատկեր dyakonov.org կայքից

Ավարտ

Այս հոդվածում մենք քննարկեցինք անոմալիաների հայտնաբերման հիմնական մոտեցումները:

Անոմալիաների որոնումը մեծ մասամբ կարելի է անվանել արվեստ: Չկա իդեալ ալգորիթմ կամ մոտեցում, որի կիրառումը լուծում է բոլոր խնդիրները: Երբեք չի օգտագործվում հատուկ մեթոդների համալիրվածք կոնկրետ դեպքի լուծման համար: Անոմալիաների որոնումը իրականացվում է միակ դասի աջակցության վեկտորային մեթոդի, մեկուսացնող անտառի, մետրիկական և կլաստերային մեթոդների միջոցով, ինչպես նաև գլխավոր բաղադրիչների և ժամանակային շարքերի կանխատեսման միջոցով:

Եթե դուք գիտեք այլ մեթոդներ, խնդրում ենք գրել դրանց մասին հոդվածին մեջբերումների մեկնաբանություններում:

Ընտանիք: habr.com