В wy hawwe it oer foarsizzing fan tiidrekken. In logyske fuortsetting soe in artikel wêze oer it identifisearjen fan anomalies.
Applikaasje
Anomaly-deteksje wurdt brûkt yn gebieten lykas:
1) Foarsizzing fan apparatuer breakdowns
Sa waarden Iraanske sintrifugen yn 2010 oanfallen troch it Stuxnet-firus, dat de apparatuer op net-optimale wurking sette en guon fan 'e apparatuer útskeakele fanwegen fersnelde wearze.
As anomaly-deteksje-algoritmen wiene brûkt op 'e apparatuer, koe de flatersituaasje wurde foarkommen.
It sykjen nei anomalies yn 'e wurking fan apparatuer wurdt brûkt net allinich yn' e nukleêre yndustry, mar ek yn metallurgy en de eksploitaasje fan fleantugenturbines. En yn oare gebieten wêr't it gebrûk fan foarsizzende diagnoaze goedkeaper is as mooglike ferliezen troch in ûnfoarspelbere ynbraak.
2) Fraude foarsizzing
As jild wurdt ynlutsen fan 'e kaart dy't jo brûke yn Podolsk yn Albaanje, moatte de transaksjes miskien fierder kontrolearre wurde.
3) Identifikaasje fan abnormale konsumintpatroanen
As guon klanten abnormaal gedrach fertoane, kin d'r in probleem wêze dat jo net bewust binne.
4) Identifikaasje fan abnormale fraach en lading
As ferkeap yn in FMCG-winkel is sakke ûnder it betrouwensynterval fan 'e prognose, is it wurdich de reden te finen foar wat der bart.
Oanpak foar it identifisearjen fan anomalies
1) Stypje Vector Machine mei One Class One-Class SVM
Geskikt as de gegevens yn 'e trainingsset in normale ferdieling folgje, mar de testset befettet anomalies.
De ien-klasse stipe vector masine konstruearret in net-lineêre oerflak om 'e oarsprong. It is mooglik om in besunigingslimyt yn te stellen foar hokker gegevens as ôfwikend wurde beskôge.
Op grûn fan 'e ûnderfining fan ús DATA4-team is One-Class SVM it meast brûkte algoritme foar it oplossen fan it probleem fan it finen fan anomalies.
2) Isolearje bosk metoade
Mei de "willekeurige" metoade foar it oanlizzen fan beammen, sille útstjit de blêden yn 'e iere stadia (op in ûndjippe djipte fan' e beam), d.w.s. emissies binne makliker te "isolearjen". Isolaasje fan anomale wearden komt foar yn 'e earste iteraasjes fan it algoritme.
3) Elliptyske envelope en statistyske metoaden
Wurdt brûkt as de gegevens normaal ferdield binne. Hoe tichter de mjitting is by de sturt fan it mingsel fan distribúsjes, de mear abnormale de wearde.
Oare statistyske metoaden kinne ek opnommen wurde yn dizze klasse.
Ofbylding fan dyakonov.org
4) Metryske metoaden
Metoaden omfetsje algoritmen lykas k-nearest buorlju, k-nearest buorman, ABOD (hoek-basearre outlier detection) of LOF (lokale outlier faktor).
Geskikt as de ôfstân tusken de wearden yn 'e skaaimerken lykweardich of normalisearre binne (om gjin boa-constrictor yn papegaaien te mjitten).
De k-nearest buorlju algoritme giet derfan út dat normale wearden lizze yn in bepaalde regio fan multydimensionale romte, en de ôfstân ta anomalies sil wêze grutter as nei it skieden hyperplane.
5) Cluster metoaden
De essinsje fan kluster metoaden is dat as in wearde is mear as in bepaald bedrach fuort fan 'e kluster sintra, de wearde kin wurde beskôge as anomalous.
It wichtichste is om in algoritme te brûken dat de gegevens korrekt clustert, wat hinget fan 'e spesifike taak.
6) Principal komponint metoade
Geskikt wêr't de rjochtingen fan 'e grutste feroaring yn fersprieding wurde markearre.
7) Algoritmen basearre op prognosen fan tiidsearjes
It idee is dat as in wearde bûten it foarsizzingsbetrouwensynterval falt, wurdt de wearde as anomaal beskôge. Om in tiidrige te foarsizzen, wurde algoritmen brûkt lykas triple smoothing, S(ARIMA), boosting, ensfh.
Algorithmen foar prognose foar tiidsearjes waarden besprutsen yn it foarige artikel.
8) Begeliede learen (regression, klassifikaasje)
As de gegevens it tastean, brûke wy algoritmen fariearjend fan lineêre regression oant weromkommende netwurken. Lit ús mjitte it ferskil tusken de foarsizzing en de werklike wearde, en lûke in konklúzje yn hoefier't de gegevens ôfwike fan de noarm. It is wichtich dat it algoritme genôch generalisaasjefeardigens hat en dat de trainingsset gjin abnormale wearden befettet.
9) Model tests
Litte wy it probleem fan it sykjen nei anomalies benaderje as in probleem fan it sykjen nei oanbefellings. Litte wy ús funksjematrix ûntbrekke mei SVD- as faktorisaasjemasines, en de wearden yn 'e nije matrix nimme dy't signifikant ferskille fan 'e orizjinele as abnormale.
Ofbylding fan dyakonov.org
konklúzje
Yn dit artikel hawwe wy de wichtichste oanpak besjoen foar detectie fan anomaly.
Anomalies fine kin op in protte manieren in keunst neamd wurde. D'r is gjin ideaal algoritme of oanpak, wêrfan it gebrûk alle problemen oplost. Faker wurdt in set metoaden brûkt om in spesifyk gefal op te lossen. Anomaly-deteksje wurdt útfierd mei ien-klasse-stipe-fektormasines, isolearjen fan bosken, metryske en klustermetoaden, lykas it brûken fan haadkomponinten en prognosen fan tiidsearjes.
As jo oare metoaden kenne, skriuw dan oer har yn 'e opmerkings by it artikel.
Boarne: www.habr.com