9 lähenemist anomaaliate tuvastamiseks

Uues eelnevas artiklis Me rääkisime ajavahemike prognoosimisest. Loogiline jätk oleks artikkel anomaaliate tuvastamisest.

Rakendamine

Anomaaliate tuvastamist kasutatakse sellistes valdkondades nagu:

1) Seadmete rikete ennustamine

Nii olid 2010. aastal Iraani tsentrifugid rünnaku all Stuxnet viiruse tõttu, mis kehtestas seadmetele mitteoptimaalse töörežiimi ja rajas osa seadmetest kiiret kulumist.

Kui seadmetes oleks kasutatud anomaaliaotsingu algoritme, oleks riketest tingitud seisakute olukord võimalik vältida.

Anomaaliate otsimine seadmete töös ei piirdu ainult tuumaenergeetikaga, vaid ulatub ka metallurgia ja lennuturbiinide töösse. Ning teistesse valdkondadesse, kus prognoosimisdünaamika kasutamine on odavam kui ootamatute riketega seotud kaotused.

2) Pettuste ennustamine

Kui summad, mida te tõhusa kasutamise eest Podolskis kulutate, kaovad Albaanias, siis võib olla vajalik tehingute täiendav kontroll.

3) Anomaalsete tarbimismustrite tuvastamine

Kui osa klientidest näitab anomaalset käitumist, võib seal olla probleem, millest te ei tea.

4) Anomaalse nõudluse ja koormuse tuvastamine

Kui FMCG kaupluse müük on langenud allapoole prognoosi usalduspiiri, tasub selgitada, mis toimub.

Anomaaliate tuvastamise lähenemisviisid

1) Ühe klassi tugi-vektorite meetod One-Class SVM

Sobib, kui treeningkomplekt järgib normaaljaotust ja testkomplekt sisaldab anomaaliaid.

Ühe klassi tugi-vektorite meetod loob koordinaatide alguse ümber mittelineaarse pinna. Võib määrata künnise, mille alusel andmeid anomaalseteks pidada.

Käesoleva DATA4 meeskonna kogemuste kohaselt on One-Class SVM kõige sagedamini kasutatav algoritm anomaaliate otsimise ülesande lahendamiseks.

2) Isolatsioonimetsa meetod – isolate forest

Juhuslikul viisil puude ehitamine õnnestub, et väljajätmise korral satub see lehtede varakult (madala puu sügavuse juures), seega on anomaaliate eristamine lihtsam. Anomaalsete väärtuste eristamine toimub algoritmi töö alguses.

3) Elliptne ümbris ja statistilised meetodid

Kasutatakse, kui andmed on tavaliselt jaotatud. Mida lähemal mõõtmine jaotuse sabale, seda enam on väärtus anomaalne.

Selle klassi alla kuuluvad ka teised statistilised meetodid.

Pilt saidilt dyakonov.org

4) Metrilised meetodid

Meetoditesse kuuluvad sellised algoritmid nagu k lähimat naabrit, k-s lähim naaber, ABOD (nurgapõhine ebatavaliste tuvastamine) või LOF (kohalik ebatavaline tegur).

Sobivad, kui väärtuste vahe arvulistes tunnustes on võrdsed või normeeritud (et mitte mõõta boa papagoode järgi).

K lähimate naabrite algoritm eeldab, et normaalsed väärtused asuvad teatud piirkonnas mitmemõõtmelises ruumis ja kaugus anomaaliatest on suurem kui eraldus hüperpinna juurde.

5) Klastrimeetodid

Klastrimeetodite olemus seisneb selles, et kui väärtus on klastrite keskpunkte kaugemal kui teatud suurus, võib seda väärtust pidada ebatavaliseks.

Peamine on kasutada algoritmi, mis klastrib andmeid õigesti, mis sõltub konkreetsetest ülesannetest.

6) Peamiste komponentide meetod

Sobib kohtades, kus tuvastatakse suurima dispersiooni muutumise suundi.

7) Aja rea prognoosimise algoritmid

Idee seisneb selles, et kui väärtus ületab usalduspiiri prognooside osas, peetakse väärtust ebatavaliseks. Aja rea prognoosimiseks kasutatakse selliseid algoritme nagu kolmekordne silumine, S(ARIMA), busteerimine jne.

Aja rea prognoosimiste algoritmidest räägiti eelmises artiklis.

8) Juhendatud õppimine (regressioon, klassifitseerimine)

Kui andmed seda lubavad, kasutame algoritme, alates lineaarse regressioonist ja lõpetades korduvate võrkudega. Määrame vahe prognoosi ja tegeliku väärtuse vahel ning teeme järelduse, kui palju andmed normist kõrvale kalduvad. Oluline on, et algoritm omaks piisavalt üldistamisvõimet ning treeningu näidis ei sisaldaks ebatavalisi väärtusi.

9) Mudelitestimist

Läheneme anomaaliate tuvastamise ülesandele nagu soovituste otsimise ülesandele. Laotame oma tunnuste maatriksi SVD või faktoriseerimismasinate abil, ja väärtused uues maatriksis, mis oluliselt erinevad algsetest, loeme ebatavaliseks.

Pilt saidilt dyakonov.org

Kokkuvõte

Selles artiklis vaatasime üle peamised lähenemisviisid anomaaliate tuvastamiseks.

Anomaaliate leidmine on paljuski kunst. Ei ole ideaalset algoritmi ega lähenemist, mille kasutamine lahendaks kõik probleemid. Sageli kasutatakse konkreetse juhtumi lahendamiseks meetodite komplekti. Anomaaliate leidmine toimub üheklassiliste tugivektorite meetodi, isolatsiooni metsade, mõõdikute ja klastermeetodite, samuti peamiste komponentide ja ajareadude prognoosimise abil.

Kui teate teisi meetodeid, kirjutage neist artikli kommentaarides.

Allikas: habr.com