Në Kemi folur për parashikimin e serive kohore. Një vazhdim logjik do të ishte një artikull mbi identifikimin e anomalive.
Aplikimi
Identifikimi i anomalive përdoret në fushat si:
1) Parashikimi i dështimeve të pajisjeve
Kështu, në vitin 2010, centrifugat e Iranit u sulmuan nga virusi Stuxnet, i cili vendosi një regjim jo optimal të punës dhe shkatërroi një pjesë të pajisjeve për shkak të konsumit të përshpejtuar.
Nëse në pajisje do të ishin përdorur algoritme për gjetjen e anomalive, situatat e dështimit do të ishin evituar.
Kërkimi i anomalive në punën e pajisjeve përdoret jo vetëm në industrinë bërthamore, por gjithashtu në metalurgji dhe në punën e turbinave avioni. Po ashtu, në fusha të tjera ku përdorimi i diagnostikës parashikuese është më i lirë se humbjet e mundshme nga dështimi i paparashikueshëm.
2) Parashikimi i veprimeve mashtruese
Nëse nga kartela me të cilën po përdorni në Podolsk, hiqen para në Shqipëri, ndoshta transaksionet duhet të verifikohen më tej.
3) Identifikimi i modeleve të çuditshme të konsumatorëve
Nëse një pjesë e klientëve tregon sjellje anomale, mund të ketë një problem për të cilin nuk jeni i vetëdijshëm.
4) Identifikimi i kërkesës dhe ngarkesës anomale
Nëse shitjet në dyqanin FMCG kanë rënë nën kufirin e intervalit të besimit të parashikimit, është e rëndësishme të gjejmë shkakun e kësaj.
Qasje për identifikimin e anomali
1) Metoda e mbështetjes së vektorëve me një klasë One-Class SVM
Përgjegjshme kur në grupin e trajnimit të dhënat i përkasin shpërndarjes normale, ndërsa në testim përmbajnë anomali.
Metoda njëklasëshe e mbështetjes së vektorëve ndryn një sipërfaqe jo-lineare rreth fillimit të koordinatave. Mund të vendosni një kufi ndarës, për të përcaktuar cilat të dhëna të merren si anomali.
Përvoja e ekipit tonë DATA4 tregon se One-Class SVM është algoritmi më i përdorur për zgjidhjen e problemit të kërkimit të anomali.
2) Metoda e pyjeve izoluese â isolate forest
Me metodën 'rastësore' të ndërtimit të pemëve, përjashtimet do të bien në gjethet në etapa të hershme (në thellësi të vogël të pemës), dmth. përjashtimet janë më të lehta për t'u 'izoluar'. Ndryshimi i vlerave anomale ndodh në iteracionet e para të funksionimit të algoritmit.
3) Elliptic envelope dhe metoda statistike
Përdoret kur të dhënat janë normalisht të shpërndara. Sa më afër të jetë masa me bishtin e përzierjes së shpërndarjeve, aq më anomale është vlera.
Këtij klasi i përkasin edhe metoda të tjera statistikore.
Figura nga faqja dyakonov.org
4) Metodat metrikë
Metodat përfshijnë algoritme si k fqinjët e afërt, fqinjët e afërt k, ABOD (në bazë të këndit për identifikimin e anomalisë) ose LOF (faktori lokal i anomalisë).
Janë të përshtatshme, nëse distanca mes vlerave në karakteristika është e barabartë ose e normalizuar (për të mos i matur gjarpërin me papagajë).
Algoritmi i k fqinjëve të afërt supozon se vlerat normale janë të pozicionuara në një zonë të caktuar të hapësirës shumëdimensionale, dhe distanca deri te anomali do të jetë më e madhe se deri te hipoiplani ndarës.
5) Metodat e klastrave
Thelbi i metodave të klastrave është se nëse një vlerë është e largët nga qendrat e klastrave më shumë se një sasi e caktuar, ajo mund të konsiderohet anomale.
E rëndësishme është të përdoret algoritmi që klasifikon të dhënat në mënyrë korrekte, çka varet nga detyra specifike.
6) Metoda e komponenteve kryesore
Përshtatshme, ku identifikohen drejtimet e ndryshimit më të madh të variancës.
7) Algoritmet e bazuara në parashikimin e serive të kohës
Ideja është se nëse një vlerë del jashtë intervalit të besueshmërisë së parashikimit, ajo konsiderohet anomale. Për parashikimin e një serie kohore përdoren algoritme të tilla si glatimi i trefishtë, S(ARIMA), boosting, etj.
Për algoritmet e parashikimit të serive të kohës u fol në artikullin e mëparshëm.
8) Mësimi me mbikëqyrje (regresioni, klasifikimi)
NĂ«se tĂ« dhĂ«nat lejojnĂ«, ne pĂ«rdorim algoritme qĂ« variojnĂ« nga regresioni linear deri te rrjetet rekurrente. Do tĂ« matim diferencĂ«n midis parashikimeve dhe vlerĂ«s reale, dhe do tĂ« nxjerrim pĂ«rfundimin se sa tĂ« dhĂ«nat shkojnĂ« pĂ«rtej normĂ«s. ĂshtĂ« e rĂ«ndĂ«sishme qĂ« algoritmi tĂ« ketĂ« aftĂ«si tĂ« mjaftueshme pĂ«r tĂ« pĂ«rgjithĂ«suar, dhe grupi i trajnimit tĂ« mos pĂ«rmbajĂ« vlera anomale.
9) Testet e modeleve
Të afrojmë problemin e identifikimit të anomaleve si një problem rekomandimi. Të shpërndajmë matricën tonë të karakteristikave duke përdorur SVD ose makinat e faktorizimit, dhe vlerat në matricën e re, që dallohet ndjeshëm nga origjinali, të pranohen si anomale.
Figura nga faqja dyakonov.org
PĂ«rfundimi
Në këtë artikull kemi shqyrtuar qasjet kryesore për identifikimin e anomaleve.
Kërkimi i anomaliëve mund të quhet në shumë aspekte një art. Nuk ka një algoritëm ose qasje perfekte që zgjidh të gjitha problemet. Shpesh përdoren një kompleks metodash për të zgjidhur një rast specifik. Kërkimi i anomaliëve realizohet me ndihmën e metodës së vetme të klasifikuesve të vektorëve, pyllit izolues, metodave metrikë dhe klasterë, si dhe përdorimin e komponentëve kryesorë dhe parashikimin e serive temporale.
Nëse dini metoda të tjera, ju lutem shkruani për to në komentet e artikullit.
Burimi: habr.com
