В folëm për parashikimin e serive kohore. Një vazhdim logjik do të ishte një artikull për identifikimin e anomalive.
Aplikim
Zbulimi i anomalive përdoret në fusha të tilla si:
1) Parashikimi i prishjeve të pajisjeve
Kështu, në vitin 2010, centrifugat iraniane u sulmuan nga virusi Stuxnet, i cili vendosi pajisjet në funksionim jo optimal dhe çaktivizoi disa nga pajisjet për shkak të konsumit të përshpejtuar.
Nëse në pajisje do të ishin përdorur algoritme për zbulimin e anomalive, situata e dështimit mund të ishte shmangur.
Kërkimi i anomalive në funksionimin e pajisjeve përdoret jo vetëm në industrinë bërthamore, por edhe në metalurgji dhe funksionimin e turbinave të avionëve. Dhe në zona të tjera ku përdorimi i diagnostifikimit parashikues është më i lirë se humbjet e mundshme për shkak të një avarie të paparashikueshme.
2) Parashikimi i mashtrimit
Nëse tërhiqen para nga karta që përdorni në Podolsk në Shqipëri, transaksionet mund të kenë nevojë të kontrollohen më tej.
3) Identifikimi i modeleve jonormale të konsumatorit
Nëse disa klientë shfaqin sjellje jonormale, mund të ketë një problem për të cilin nuk jeni në dijeni.
4) Identifikimi i kërkesës dhe ngarkesës jonormale
Nëse shitjet në një dyqan FMCG kanë rënë nën intervalin e besimit të parashikimit, ia vlen të gjesh arsyen për atë që po ndodh.
Qasje për identifikimin e anomalive
1) Mbështetja e makinës vektoriale me SVM të një klase një klasë
I përshtatshëm kur të dhënat në grupin e trajnimit ndjekin një shpërndarje normale, por grupi i testimit përmban anomali.
Makina me vektor mbështetës me një klasë ndërton një sipërfaqe jolineare rreth origjinës. Është e mundur të vendoset një kufi për të cilin të dhënat konsiderohen anormale.
Bazuar në përvojën e ekipit tonë DATA4, One-Class SVM është algoritmi më i përdorur për zgjidhjen e problemit të zbulimit të anomalive.
2) Metoda e izolimit të pyjeve
Me metodën "të rastësishme" të ndërtimit të pemëve, emetimet do të hyjnë në gjethe në fazat e hershme (në një thellësi të cekët të pemës), d.m.th. emetimet janë më të lehta për t'u "izoluar". Izolimi i vlerave anormale ndodh në përsëritjet e para të algoritmit.
3) Zarfi eliptik dhe metodat statistikore
Përdoret kur të dhënat shpërndahen normalisht. Sa më afër të jetë matja me bishtin e përzierjes së shpërndarjeve, aq më anormale është vlera.
Në këtë klasë mund të përfshihen edhe metoda të tjera statistikore.
Imazhi nga dyakonov.org
4) Metodat metrike
Metodat përfshijnë algoritme të tilla si k-fqinjët më të afërt, k-fqinjët më të afërt, ABOD (zbulimi i jashtëm i bazuar në kënd) ose LOF (faktori lokal i jashtëm).
I përshtatshëm nëse distanca midis vlerave në karakteristika janë ekuivalente ose të normalizuara (në mënyrë që të mos matet një shtrëngues boa në papagall).
Algoritmi k-fqinjët më të afërt supozon se vlerat normale janë të vendosura në një rajon të caktuar të hapësirës shumëdimensionale dhe distanca nga anomalitë do të jetë më e madhe se sa në hiperplanin ndarës.
5) Metodat e grupimit
Thelbi i metodave të grupimit është se nëse një vlerë është më shumë se një sasi e caktuar larg qendrave të grupimit, vlera mund të konsiderohet anormale.
Gjëja kryesore është të përdorni një algoritëm që grupon saktë të dhënat, gjë që varet nga detyra specifike.
6) Metoda e komponentit kryesor
I përshtatshëm aty ku theksohen drejtimet e ndryshimit më të madh në dispersion.
7) Algoritme të bazuara në parashikimin e serive kohore
Ideja është që nëse një vlerë bie jashtë intervalit të besimit të parashikimit, vlera konsiderohet anormale. Për të parashikuar një seri kohore, përdoren algoritme të tilla si zbutja e trefishtë, S(ARIMA), rritja, etj.
Algoritmet e parashikimit të serive kohore u diskutuan në artikullin e mëparshëm.
8) Të nxënit e mbikëqyrur (regresioni, klasifikimi)
Nëse të dhënat lejojnë, ne përdorim algoritme që variojnë nga regresioni linear deri te rrjetet periodike. Le të matim ndryshimin midis parashikimit dhe vlerës aktuale dhe të nxjerrim një përfundim se në çfarë mase të dhënat devijojnë nga norma. Është e rëndësishme që algoritmi të ketë aftësi të mjaftueshme përgjithësime dhe që grupi i trajnimit të mos përmbajë vlera anormale.
9) Testet model
Le t'i qasemi problemit të kërkimit të anomalive si problem i kërkimit të rekomandimeve. Le të zbërthejmë matricën tonë të veçorive duke përdorur makina SVD ose faktorizimi dhe t'i marrim vlerat në matricën e re që janë dukshëm të ndryshme nga ato origjinale si anormale.
Imazhi nga dyakonov.org
Përfundim
Në këtë artikull, ne shqyrtuam qasjet kryesore për zbulimin e anomalive.
Gjetja e anomalive në shumë mënyra mund të quhet art. Nuk ka asnjë algoritëm apo qasje ideale, përdorimi i të cilave zgjidh të gjitha problemet. Më shpesh, një grup metodash përdoret për të zgjidhur një rast specifik. Zbulimi i anomalive kryhet duke përdorur makina vektoriale mbështetëse me një klasë, duke izoluar pyjet, metodat metrike dhe grupore, si dhe duke përdorur komponentët kryesorë dhe parashikimin e serive kohore.
Nëse dini metoda të tjera, shkruani rreth tyre në komentet e artikullit.
Burimi: www.habr.com