Š mÄs runÄjÄm par laika rindu prognozÄÅ”anu. LoÄ£isks turpinÄjums bÅ«tu raksts par anomÄliju noteikÅ”anu.
iesniegums
AnomÄliju noteikÅ”ana tiek izmantota tÄdÄs jomÄs kÄ:
1) IekÄrtu bojÄjumu prognozÄÅ”ana
TÄdÄjÄdi 2010. gadÄ IrÄnas centrifÅ«gÄm uzbruka Stuxnet vÄ«russ, kas iestatÄ«ja iekÄrtas neoptimÄlÄ režīmÄ un atspÄjoja dažas iekÄrtas paÄtrinÄta nolietojuma dÄļ.
Ja iekÄrtÄ bÅ«tu izmantoti anomÄliju noteikÅ”anas algoritmi, atteices situÄciju varÄtu izvairÄ«ties.
IekÄrtu darbÄ«bas anomÄliju meklÄÅ”ana tiek izmantota ne tikai kodolrÅ«pniecÄ«bÄ, bet arÄ« metalurÄ£ijÄ un lidmaŔīnu turbÄ«nu darbÄ«bÄ. Un citÄs jomÄs, kur paredzamÄs diagnostikas izmantoÅ”ana ir lÄtÄka nekÄ iespÄjamie zaudÄjumi neparedzama bojÄjuma dÄļ.
2) KrÄpÅ”anas prognozÄÅ”ana
Ja nauda tiek izÅemta no kartes, kuru izmantojat PodoļskÄ AlbÄnijÄ, iespÄjams, bÅ«s jÄveic papildu pÄrbaude.
3) NenormÄlu patÄrÄtÄju modeļu identificÄÅ”ana
Ja daži klienti uzvedas neparasti, iespÄjams, ir radusies problÄma, par kuru jÅ«s nezinÄt.
4) NenormÄla pieprasÄ«juma un slodzes identificÄÅ”ana
Ja FMCG veikalÄ pÄrdoÅ”anas apjomi ir noslÄ«dÄjuÅ”i zem prognozes ticamÄ«bas intervÄla, ir vÄrts atrast notikuÅ”Ä iemeslu.
Pieejas anomÄliju noteikÅ”anai
1) Atbalstiet vektora maŔīnu ar vienas klases vienas klases SVM
PiemÄrots, ja dati treniÅu komplektÄ atbilst normÄlam sadalÄ«jumam, bet testa komplektÄ ir anomÄlijas.
Vienas klases atbalsta vektora maŔīna konstruÄ nelineÄru virsmu ap sÄkumu. Ir iespÄjams iestatÄ«t robežvÄrtÄ«bu, par kuru dati tiek uzskatÄ«ti par anomÄliem.
Balstoties uz mÅ«su DATA4 komandas pieredzi, One-Class SVM ir visbiežÄk izmantotais algoritms anomÄliju atraÅ”anas problÄmas risinÄÅ”anai.
2) IzolÄcijas meža metode
Izmantojot koku konstruÄÅ”anas āizlasesā metodi, emisijas iekļūs lapÄs agrÄ«nÄ stadijÄ (nelielÄ koka dziļumÄ), t.i. emisijas ir vieglÄk "izolÄt". AnomÄlo vÄrtÄ«bu izolÄcija notiek pirmajÄs algoritma iterÄcijÄs.
3) EliptiskÄ apvalka un statistikas metodes
Izmanto, ja dati ir normÄli izplatÄ«ti. Jo tuvÄk mÄrÄ«jums ir sadalÄ«jumu maisÄ«juma astei, jo anomÄlÄka ir vÄrtÄ«ba.
Å ajÄ klasÄ var iekļaut arÄ« citas statistikas metodes.
AttÄls no dyakonov.org
4) MetriskÄs metodes
Metodes ietver tÄdus algoritmus kÄ k-tuvÄkie kaimiÅi, k-tuvÄkais kaimiÅÅ”, ABOD (uz leÅÄ·i balstÄ«ta izÅÄmuma noteikÅ”ana) vai LOF (vietÄjais izÅÄmuma faktors).
PiemÄrots, ja attÄlums starp raksturlielumu vÄrtÄ«bÄm ir lÄ«dzvÄrtÄ«gs vai normalizÄts (lai papagaiļos netiktu izmÄrÄ«ts boa konstriktors).
K-tuvÄko kaimiÅu algoritms pieÅem, ka normÄlÄs vÄrtÄ«bas atrodas noteiktÄ daudzdimensiju telpas reÄ£ionÄ un attÄlums lÄ«dz anomÄlijÄm bÅ«s lielÄks nekÄ lÄ«dz atdaloÅ”ajai hiperplaknei.
5) Klasteru metodes
Klasteru metožu bÅ«tÄ«ba ir tÄda, ka, ja vÄrtÄ«ba atrodas vairÄk nekÄ noteiktu summu attÄlumÄ no klasteru centriem, vÄrtÄ«bu var uzskatÄ«t par anomÄlu.
Galvenais ir izmantot algoritmu, kas pareizi sagrupÄ datus, kas ir atkarÄ«gs no konkrÄtÄ uzdevuma.
6) GalvenÄs sastÄvdaļas metode
PiemÄrots tur, kur izcelti vislielÄko izkliedes izmaiÅu virzieni.
7) Algoritmi, kuru pamatÄ ir laika rindu prognozÄÅ”ana
Ideja ir tÄda, ka, ja vÄrtÄ«ba ir Ärpus prognozÄÅ”anas ticamÄ«bas intervÄla, vÄrtÄ«ba tiek uzskatÄ«ta par anomÄlu. Lai prognozÄtu laikrindu, tiek izmantoti tÄdi algoritmi kÄ trÄ«skÄrÅ”Ä izlÄ«dzinÄÅ”ana, S(ARIMA), pastiprinÄÅ”ana utt.
Laikrindu prognozÄÅ”anas algoritmi tika apspriesti iepriekÅ”ÄjÄ rakstÄ.
8) UzraudzÄ«ta mÄcÄ«Å”anÄs (regresija, klasifikÄcija)
Ja dati ļauj, mÄs izmantojam algoritmus, sÄkot no lineÄrÄs regresijas lÄ«dz atkÄrtotiem tÄ«kliem. IzmÄrÄ«sim starpÄ«bu starp prognozÄto un faktisko vÄrtÄ«bu un izdarÄ«sim secinÄjumu, cik lielÄ mÄrÄ dati atŔķiras no normas. Ir svarÄ«gi, lai algoritmam bÅ«tu pietiekama vispÄrinÄÅ”anas spÄja un lai apmÄcÄ«bas komplektÄ nebÅ«tu anomÄlu vÄrtÄ«bu.
9) Modeļu testi
Pieiesim anomÄliju meklÄÅ”anas problÄmai kÄ ieteikumu meklÄÅ”anas problÄmai. SadalÄ«sim mÅ«su pazÄ«mju matricu, izmantojot SVD vai faktorizÄcijas maŔīnas, un uzskatÄ«sim par anomÄlÄm vÄrtÄ«bas jaunajÄ matricÄ, kas bÅ«tiski atŔķiras no sÄkotnÄjÄm.
AttÄls no dyakonov.org
SecinÄjums
Å ajÄ rakstÄ mÄs apskatÄ«jÄm galvenÄs pieejas anomÄliju noteikÅ”anai.
AnomÄliju atraÅ”anu daudzÄjÄdÄ ziÅÄ var saukt par mÄkslu. Nav ideÄla algoritma vai pieejas, kuru izmantoÅ”ana atrisina visas problÄmas. BiežÄk konkrÄta gadÄ«juma risinÄÅ”anai tiek izmantots metožu kopums. AnomÄliju noteikÅ”ana tiek veikta, izmantojot vienas klases atbalsta vektoru maŔīnas, izolÄjot mežus, metriskÄs un klasteru metodes, kÄ arÄ« izmantojot galveno komponentu un laikrindu prognozÄÅ”anu.
Ja zinÄt citas metodes, rakstiet par tÄm raksta komentÄros.
Avots: www.habr.com