9 lähenemist anomaaliate tuvastamiseks

V eelnevas artiklis Me rääkisime ajasérie ennustamisest. Loogiline jätk oleks artikkel anomaaliate tuvastamisest.

Kasutamine

Anomaaliate tuvastamist kasutatakse sellistes valdkondades nagu:

1) Seadmete riketest ennustamine

Nii juhtus 2010. aastal, et Iraani tsentrifugid said Stuxnet'i viiruse rünnaku osaliseks, mis seadis seadmed ebatäpse töörežiimi ja põhjustas seadmete osa riketeid kiirenenud kulumise tõttu.

Kui seadmetes oleks kasutatud anomaaliate otsimise algoritme, oleks rikkeid saanud vältida.

Anomaaliate otsimist seadmete töös kasutatakse mitte ainult tuumaenergeetikas, vaid ka metallurgias ja lennuturbiinide töös. Samuti teistes valdkondades, kus ennustav diagnostika on odavam kui ettenägematud kahjud rikke korral.

2) Pettuste ennustamine

Kui teie Podolskis kasutatavalt kaardilt võetakse raha Albaanias, siis tuleb tehingud tõenäoliselt täiendavalt kontrollida.

3) Anomaalsete tarbimismustrite tuvastamine

Kui osa klientidest näitab anomaalset käitumist, võib olla probleem, millest te ei tea.

4) Ebanormaalse nõudluse ja koormuse tuvastamine

Kui FMCG kaupluses müük jääb prognoosi usaldusintervalli alt, tasub leida selle põhjused.

Tuvastamisvõtted ebanormaalsustele

1) Ühe klassiga tugivektorite meetod One-Class SVM

Sobib siis, kui treeningandmed järgivad normaaljaotust ja testandmed sisaldavad ebanormaalsusi.

Ühe klassiga tugivektorite meetod loob mittelineaarse pinna koordinaatide alguses. Võimalik on seada lõikepiir, et määrata, millised andmed on ebanormaalsed.

Meie DATA4 tiimi kogemuste põhjal on One-Class SVM kõige sagedamini kasutatav algoritm ebanormaalsuste tuvastamise ülesannetes.

2) Isolatsioonipuu meetod – isolate forest

Kui puud on juhuslikult üles ehitatud, satuvad kõrvalekalded varakult lehtedesse (puu väikese sügavuse juures), seega on kõrvalekaldeid lihtsam 'isoleerida'. Ebanormaalsete väärtuste tuvastamine toimub algoritmi varastes iteratsioonides.

3) Elliptiline ümbris ja statistilised meetodid

Kasutatakse, kui andmed on normaaljaotusega. Mida lähemal on mõõtmine jaotuse sabasse, seda ebanormaalsem on väärtus.

Selle klassi alla kuuluvad ka teised statistilised meetodid.

Pilt saidilt dyakonov.org

4) Metrilised meetodid

Meetodite seas on sellised algoritmid nagu k lähima naabri, k-kohaliku naabri, ABOD (nurgapõhine äärmuslike väärtuste tuvastamine) või LOF (kohalik äärmuslik tegur).

Sobivad, kui omaduste väärtuste vahemaa on võrdselt mõõdetud või normeeritud (et mitte mõõta ühte krahhi papagoidesse).

K lähima naabri algoritm eeldab, et normaalsed väärtused asuvad teatud mitmemõõtmelise ruumi piirkonnas, ning vahemaa anomaaliate poole on suurem kui eraldus hüperplaadi poole.

5) Klastri meetodid

Klastri meetodite olemus on see, et kui väärtus on klastrite keskustest kaugemal kui teatud suurus, võib seda pidada anomaaliaks.

Peamine on kasutada algoritmi, mis klasterdab andmeid õigesti, mis sõltub konkreetsest ülesandest.

6) Peamiste komponentide meetod

Sobib, kus tuvastatakse suurima muutuva dispersiooni suunad.

7) Aja seeriaprognosi meetodid

Idee on selles, et kui väärtus ületab prognoosimise usaldusvahemikku, loetakse see anomaaliaks. Ajavahemiku prognoosimiseks kasutatakse algoritme nagu kolmekordne silumise, S(ARIMA), boosting jne.

Ajavahemiku prognoosimise algoritmidest räägiti eelnevas artiklis.

8) Juhendatud õppimine (regressioon, klassifitseerimine)

Kui andmed lubavad, kasutame algoritme alates lineaarsetest regressioonidest kuni rekurentsete võrkudeni. MÕÕDAME erinevust prognoosi ja tegeliku väärtuse vahel ning teeme järelduse, kuivõrd andmed väljavad normist. Oluline on, et algoritm omaks piisavat üldistamisvõimet ning treeninguandmete hulk ei sisaldaks anomaalseid väärtusi.

9) Mudelite testimine

Läheneme anomaaliate leidmise ülesandele nagu soovituste otsimine. Kasutame meie tunnuste maatriksi jagamiseks SVD-d või faktorisatsiooni masinaid, ja uues maatriksis, mis oluliselt erineb algsetest, peame anomaalseteks.

Pilt saidilt dyakonov.org

Kokkuvõte

Selles artiklis vaatasime üle peamised lähenemised anomaaliate avastamiseks.

Anomaaliate avastamist võib nimetada kunstiks. Ei ole ideaalset algoritmi või lähenemist, mille rakendamine lahendaks kõik probleemid. Sageli kasutatakse konkreetse juhtumi lahendamiseks meetodite kompleksi. Anomaaliate avastamine toimub ühekaupa toetavate vektortehnikate, isolatsioonimetsade, mõõtmise ja klastri meetodite abil, samuti peamiste komponentide analüüsi ja ajasarjade prognoosimise abil.

Kui tead teisi meetodeid, kirjuta neist artikli kommentaarides.

Allikas: habr.com