В mir geschwat iwwer Zäit Serie Prognosen. Eng logesch Fortsetzung wier en Artikel iwwer d'Identifikatioun vun Anomalien.
Applikatioun
Anomalie Detektioun gëtt a Beräicher benotzt wéi:
1) Prévisioun vun Ausrüstung Decompte
Sou goufen 2010 iranesch Zentrifugen vum Stuxnet Virus attackéiert, deen d'Ausrüstung op net optimal Operatioun gesat huet an e puer vun der Ausrüstung wéinst beschleunegten Verschleiung behënnert huet.
Wann Anomalie Detektioun Algorithmen op der Ausrüstung benotzt goufen, kéint d'Feeler Situatioun vermeide ginn.
D'Sich no Anomalien an der Operatioun vun Ausrüstung gëtt net nëmmen an der Nuklearindustrie benotzt, mä och an der Metallurgie an der Operatioun vu Fligerturbinen. An an anere Beräicher wou d'Benotzung vun predictive Diagnostik méi bëlleg ass wéi méiglech Verloschter wéinst engem onberechenbaren Decompte.
2) Bedruch Prognosen
Wann d'Suen vun der Kaart zréckgezunn sinn, déi Dir zu Podolsk an Albanien benotzt, musst Dir eventuell d'Transaktioune weider iwwerpréift.
3) Identifikatioun vun anormalen Konsumentmuster
Wann e puer Clienten anormal Verhalen weisen, kann et e Problem ginn, deen Dir net bewosst sidd.
4) Identifikatioun vun anormal Nofro a Laascht
Wann de Verkaf an engem FMCG-Geschäft ënner dem Vertrauensintervall vun der Prognose gefall ass, ass et derwäert de Grond ze fannen fir wat geschitt.
Approche fir Anomalien z'identifizéieren
1) Ënnerstëtzung Vector Machine mat One Class One-Class SVM
Gëeegent wann d'Donnéeën am Trainingsset eng normal Verdeelung folgen, awer den Testset enthält Anomalien.
D'One-Klass Ënnerstëtzung Vecteure Maschinn konstruéiert eng net-linear Uewerfläch ronderëm den Urspronk. Et ass méiglech eng Cutoff-Limite ze setzen fir déi Daten als anomal ugesi ginn.
Baséierend op d'Erfahrung vun eisem DATA4 Team ass One-Class SVM dee meescht benotzten Algorithmus fir de Problem ze léisen fir Anomalien ze fannen.
2) Bësch Method isoléieren
Mat der "zoufälleg" Method fir Beem ze bauen, ginn d'Emissiounen an de Blieder fréizäiteg (op enger flächeger Déift vum Bam), d.h. Emissioune si méi einfach ze "isoléieren". Isolatioun vun anomalesche Wäerter geschitt an den éischten Iteratiounen vum Algorithmus.
3) Elliptesch Enveloppe a statistesch Methoden
Benotzt wann Daten normalerweis verdeelt sinn. Wat d'Messung méi no un de Schwanz vun der Verdeelungsmëschung ass, dest méi anomal ass de Wäert.
Aner statistesch Methoden kënnen och an dëser Klass abegraff ginn.
Bild vun dyakonov.org
4) Metresch Methoden
Methoden enthalen Algorithmen wéi k-nächst Noperen, k-noosten Noperen, ABOD (Wénkelbaséiert Ausgrenzererkennung) oder LOF (lokal Ausgrenzungsfaktor).
Gëeegent wann d'Distanz tëscht de Wäerter an de Charakteristiken gläichwäerteg oder normaliséiert sinn (fir net e Boa Constrictor bei Papageien ze moossen).
De k-noosten Noperen Algorithmus gëtt ugeholl datt normal Wäerter an enger bestëmmter Regioun vum multidimensionalen Raum sinn, an d'Distanz zu Anomalien wäert méi grouss sinn wéi zum trennende Hyperplane.
5) Cluster Methoden
D'Essenz vu Clustermethoden ass datt wann e Wäert méi wéi e gewësse Betrag ewech vun de Clusterzentren ass, kann de Wäert als anomal ugesi ginn.
Den Haapt Saach ass en Algorithmus ze benotzen deen d'Donnéeën korrekt clustert, wat vun der spezifescher Aufgab hänkt.
6) Haaptkomponent Method
Gëeegent wou d'Richtungen vun der gréisster Ännerung vun der Dispersioun markéiert sinn.
7) Algorithmen baséiert op Zäitserieprognosen
D'Iddi ass datt wann e Wäert ausserhalb vum Prognosevertrauensintervall fällt, gëtt de Wäert als anomal ugesinn. Fir eng Zäitserie virauszesoen, ginn Algorithmen wéi Triple Glatung, S(ARIMA), Boost, etc.
Zäit Serie Prognose Algorithmen goufen am viregten Artikel diskutéiert.
8) Iwwerwaacht Léieren (Regressioun, Klassifikatioun)
Wann d'Daten et erlaben, benotze mir Algorithmen, rangéiert vu linearer Regressioun bis widderhuelend Netzwierker. Loosst eis den Ënnerscheed tëscht der Prognose an dem aktuellen Wäert moossen, an eng Conclusioun zéien a wéi engem Ausmooss d'Donnéeën vun der Norm ofwäichen. Et ass wichteg datt den Algorithmus genuch Generaliséierungsfäegkeet huet an datt den Trainingsset keng anomal Wäerter enthält.
9) Modell Tester
Loosst eis de Problem vun der Sich no Anomalien ugoen als e Problem fir no Recommandatiounen ze sichen. Loosst eis eis Feature Matrix mat SVD oder Faktoriséierungsmaschinnen ofbauen, an d'Wäerter an der neier Matrix huelen, déi wesentlech anescht sinn wéi déi ursprénglech als anomal.
Bild vun dyakonov.org
Konklusioun
An dësem Artikel hu mir d'Haapt Approche fir Anomalie Detektioun iwwerpréift.
Anomalien ze fannen kann op ville Weeër eng Konscht genannt ginn. Et gëtt keen ideale Algorithmus oder Approche, d'Benotzung vun deem all Probleemer léist. Méi dacks gëtt eng Rei vu Methoden benotzt fir e spezifesche Fall ze léisen. Anomalie Detektioun gëtt mat Hëllef vu One-Class Support Vecteure Maschinnen duerchgefouert, Bëscher isoléieren, metresch a Clustermethoden, souwéi Haaptkomponenten an Zäitserieprognosen.
Wann Dir aner Methoden kennt, schreift se an de Kommentaren zum Artikel.
Source: will.com