В ni parolis pri prognozo de temposerio. Logika daŭrigo estus artikolo pri identigado de anomalioj.
Apliko
Detekto de anomalioj estas uzata en areoj kiel:
1) Antaŭdiro de ekipaĵo paneoj
Tiel, en 2010, iranaj centrifugiloj estis atakitaj per la Stuxnet-viruso, kiu metis la ekipaĵon al neoptimuma operacio kaj malfunkciigis kelkajn el la ekipaĵo pro akcelita eluziĝo.
Se anomaliaj detekto-algoritmoj estis uzitaj sur la ekipaĵo, la fiaskosituacio povus estinti evitita.
La serĉo de anomalioj en la funkciado de ekipaĵoj estas uzata ne nur en la nuklea industrio, sed ankaŭ en metalurgio kaj la funkciado de aviadilaj turbinoj. Kaj en aliaj areoj, kie la uzo de prognozaj diagnozoj estas pli malmultekosta ol eblaj perdoj pro neantaŭvidebla paneo.
2) Fraŭda prognozo
Se mono estas retirita de la karto, kiun vi uzas en Podolsk en Albanio, eble la transakcioj devas esti plue kontrolitaj.
3) Identigo de eksternormaj konsumantaj ŝablonoj
Se iuj klientoj montras eksternorman konduton, eble ekzistas problemo, pri kiu vi ne konscias.
4) Identigo de nenormala postulo kaj ŝarĝo
Se vendoj en FMCG-butiko falis sub la konfidan intervalon de la prognozo, indas trovi la kialon de tio, kio okazas.
Aliroj por identigi anomaliojn
1) Subtenu Vektoran Maŝinon kun Unu Klaso Unu-Klaso SVM
Taŭga kiam la datumoj en la trejna aro sekvas normalan distribuon, sed la testaro enhavas anomaliojn.
La unuklasa subtena vektora maŝino konstruas nelinian surfacon ĉirkaŭ la origino. Eblas agordi limon por kiu datumoj estas konsiderataj nenormalaj.
Surbaze de la sperto de nia DATA4-teamo, Unu-Klasa SVM estas la plej ofte uzata algoritmo por solvi la problemon trovi anomaliojn.
2) Izola arbara metodo
Kun la "hazarda" metodo konstrui arbojn, emisioj eniros la foliojn en fruaj stadioj (ĉe malprofunda profundo de la arbo), t.e. emisioj estas pli facile "izoleblaj". Izoliteco de anomaliaj valoroj okazas en la unuaj ripetoj de la algoritmo.
3) Elipsa koverto kaj statistikaj metodoj
Uzita kiam la datumoj estas normale distribuitaj. Ju pli proksimas la mezurado al la vosto de la miksaĵo de distribuoj, des pli nenormala estas la valoro.
Aliaj statistikaj metodoj ankaŭ povas esti inkluditaj en ĉi tiu klaso.
Bildo de dyakonov.org
4) Metrikaj metodoj
Metodoj inkludas algoritmojn kiel ekzemple k-plej proksimaj najbaroj, k-plej proksimaj najbaroj, ABOD (angul-bazita outlier-detekto) aŭ LOF (loka outlier-faktoro).
Taŭga se la distanco inter la valoroj en la karakterizaĵoj estas ekvivalenta aŭ normaligita (por ne mezuri boacon en papagoj).
La algoritmo de k-plej proksimaj najbaroj supozas, ke normalaj valoroj situas en certa regiono de plurdimensia spaco, kaj la distanco al anomalioj estos pli granda ol al la disiga hiperebeno.
5) Cluster-metodoj
La esenco de aretmetodoj estas ke se valoro estas pli ol certa kvanto for de la aretcentroj, la valoro povas esti konsiderita nenormala.
La ĉefa afero estas uzi algoritmon, kiu ĝuste amasigas la datumojn, kiu dependas de la specifa tasko.
6) Ĉefkomponenta metodo
Taŭga kie la direktoj de la plej granda ŝanĝo en disperso estas elstarigitaj.
7) Algoritmoj bazitaj sur temposerio prognozo
La ideo estas ke se valoro falas ekster la prognoza konfidenca intervalo, la valoro estas konsiderita nenormala. Por antaŭdiri temposerion, algoritmoj kiel ekzemple triobla glatigo, S(ARIMA), akcelo, ktp.
Algoritmoj de prognozo de temposerio estis diskutitaj en la antaŭa artikolo.
8) Kontrolita lernado (regreso, klasifiko)
Se la datumoj permesas, ni uzas algoritmojn intervalantajn de lineara regreso ĝis ripetiĝantaj retoj. Ni mezuru la diferencon inter la antaŭdiro kaj la reala valoro, kaj faru konkludon, kiomgrade la datumoj devias de la normo. Gravas, ke la algoritmo havas sufiĉan ĝeneraligkapablon kaj ke la trejna aro ne enhavas anomaliajn valorojn.
9) Modelaj provoj
Ni traktu la problemon de serĉado de anomalioj kiel problemo de serĉado de rekomendoj. Ni malkomponu nian karakterizan matricon per SVD aŭ faktorigo-maŝinoj, kaj prenu la valorojn en la nova matrico signife malsamaj de la originalaj kiel nenormalaj.
Bildo de dyakonov.org
konkludo
En ĉi tiu artikolo, ni reviziis la ĉefajn alirojn al anomalio-detekto.
Trovi anomaliojn povas multmaniere esti nomata arto. Ne ekzistas ideala algoritmo aŭ aliro, kies uzo solvas ĉiujn problemojn. Pli ofte oni uzas aron da metodoj por solvi specifan kazon. Detekto de anomalioj estas efektivigita per unuklasaj subtenaj vektoraj maŝinoj, izolante arbarojn, metrikajn kaj grapolajn metodojn, kaj ankaŭ uzante ĉefajn komponentojn kaj prognozon de temposerio.
Se vi konas aliajn metodojn, skribu pri ili en la komentoj al la artikolo.
fonto: www.habr.com