Në Kemi folur për parashikimin e radhëve temporale. Një vazhdim logjik do të ishte një artikull për identifikimin e anomalive.
PĂ«rdorimi
Identifikimi i anomalive përdoret në fusha të tilla si:
1) Parashikimi i defekteve në pajisje
Për shembull, në vitin 2010, centrifugat e Iranit u sulmuan nga virusi Stuxnet, i cili vendosi një mod të papërshtatshëm të punës për pajisjet dhe shkatërroi një pjesë të pajisjeve për shkak të konsumit të përshpejtuar.
Nëse në pajisje do të përdorej algoritme për gjetjen e anomalive, situatat e prishjes mund të ishin evituar.
Gjetja e anomalive në funksionimin e pajisjeve përdoret jo vetëm në industrinë bërthamore, por edhe në metalurgji dhe në punën e turbinave avjative. Edhe në fusha të tjera ku përdorimi i diagnostikës parashikuese është më i lirë se humbjet e mundshme nga prishjet e paparashikuara.
2) Parashikimi i veprimeve mashtruese
Nëse paraja nga karta që po përdorni në Podolsk po hiqet në Shqipëri, ndoshta duhet verifikuar më tej transaksioni.
3) Identifikimi i modeleve anomale të konsumit
Nëse disa klientë tregojnë sjellje anomale, ndoshta ka një problem që nuk e dini.
4) Identifikimi i kërkesës dhe ngarkesës anomale
Nëse shitjet në një dyqan FMCG bien nën kufirin e intervalit besueshmërisë të parashikimit, vlen të gjeni shkakun e ndodhisë.
Qasjet për identifikimin e anomalive
1) Metoda e vektorëve mbështetës me një klasë One-Class SVM
Përputhet kur të dhënat në setin e trajnimit i përkasin shpërndarjes normale, ndërsa ato në testim përmbajnë anomali.
Metoda e një klasë të vektorëve mbështetës ndryn një sipërfaqe jo linjare rreth origjinës. Mund të caktohet një kufi prerës për të caktuar cilat të dhëna konsiderohen anomale.
Sipas përvojës së ekipit tonë DATA4, One-Class SVM është algoritmi më i përdorur për zgjidhjen e problemit të gjetjes së anomalive.
2) Metoda e pyllit izoluese â isolate forest
Me mënyrën "rastësore" të ndërtimit të pemëve, jashtëzakonisht do të bien në gjethe në fazat e hershme (në thellësi të vogël të pemës), dmth. jashtëzakonisht është më e lehtë "të izolohet". Identifikimi i vlerave anomale ndodhi në iteracionet e para të punës së algoritmit.
3) Mbulesa eliptike dhe metodat statistike
Përdoret kur të dhënat janë të shpërndara normalisht. Sa më afër që është matja te bishti i kombinimit të shpërndarjeve, aq më anomale është vlera.
Ky këtij klasi i përkasin edhe metoda të tjera statistike.
Imazhi nga faqja dyakonov.org
4) Metodat metrikë
Metodat përfshijnë algoritme si k fqinjët më të afërt, k fqinjët më të afërt, ABOD (detectimi i anomalisë me kënd) ose LOF (faktori lokal i anomalisë).
Janë të përshtatshme, nëse distanca midis vlerave në karakteristika është e barabartë ose e normalizuar (për të mos e matur pitonin në papagajë).
Algoritmi i k fqinjëve më të afërt supozon se vlerat normale ndodhen në një zonë të caktuar të hapësirës shumë dimensional, dhe distanca deri te anomali do të jetë më e madhe se distanca deri te hiperpanta ndarëse.
5) Metodat e grumbullimit
Thelbi i metodave të grumbullimit është se nëse një vlerë është e larguar nga qendrat e grumbujve në një masë të caktuar, ajo konsiderohet si anomali.
E rëndësishme është të përdorim algoritmin që grumbullon të dhënat në mënyrë të saktë, e cila varet nga detyra specifike.
6) Metoda e komponenteve kryesore
Përshtatet aty ku identifikohen drejtime të ndryshimeve më të mëdha të dispersisë.
7) Algoritmet e bazuara në parashikimin e serive temporale
Ideja është se, nëse një vlerë del nga intervali i besueshmërisë së parashikimit, ajo konsiderohet anomali. Për parashikimin e serisë temporale përdoren algoritme si zbutja e trefishtë, S(ARIMA), boosting etj.
Për algoritmet e parashikimit të serive temporale është folur në artikullin e mëparshëm.
8) Mësim me mbikëqyrje (regresioni, klasifikimi)
Nëse të dhënat lejojnë, përdorim algoritme nga regresioni linear deri te rrjetet rekurrente. Do të masim diferencën midis parashikimit dhe vlerës aktuale dhe do të nxjerrim përfundimin se sa të dhënat dalin nga norma. E rëndësishme është që algoritmi të ketë kapacitet të mjaftueshëm për t'u përgjigjur dhe që përzgjedhja e të dhënave për trajnim të mos përmbajë vlera anomali.
9) Testet modeluese
Të drejtohemi në problemin e gjetjes së anomalisë si në kërkimin e rekomandimeve. Të shpërndajmë matricën tonë të karakteristikave me SVD ose makinat e faktorëve, dhe vlerat në matricën e re, që ndryshojnë ndjeshëm nga ato fillestare, t'i pranojmë si anomali.
Imazhi nga faqja dyakonov.org
PĂ«rfundim
Në këtë artikull shqyrtuam qasjet kryesore për zbrazjen e anomalisë.
Kërkimi i anomalisë mund të quhet një art. Nuk ka një algoritëm të përsosur ose qasje që zgjidh të gjitha problemet. Më së shpeshti përdoren komplekse metodash për të zgjidhur raste specifike. Kërkimi i anomalisë realizohet përmes metodave të mbështetjes unike, pyllit izoluese, metodave metrikore dhe klasifikatore, si dhe duke përdorur komponentët kryesorë dhe parashikimin e serive temporale.
Nëse dini metoda të tjera, ju lutemi shkruani për to në komentet e artikullit.
Burimi: habr.com
