В zaman serisi tahmininden bahsettik. Mantıksal bir devam, anormalliklerin belirlenmesine ilişkin bir makale olacaktır.
Uygulama
Anormallik tespiti aşağıdaki gibi alanlarda kullanılır:
1) Ekipman arızalarının tahmini
Bu nedenle, 2010 yılında İran santrifüjleri Stuxnet virüsü tarafından saldırıya uğradı, bu da ekipmanın optimum olmayan çalışmasına neden oldu ve hızlandırılmış aşınma nedeniyle bazı ekipmanların devre dışı kalmasına neden oldu.
Ekipmanda anormallik tespit algoritmaları kullanılsaydı arıza durumunun önüne geçilebilirdi.
Ekipmanın çalışmasındaki anormalliklerin araştırılması sadece nükleer endüstride değil aynı zamanda metalurjide ve uçak türbinlerinin çalışmasında da kullanılmaktadır. Ve tahmine dayalı teşhis kullanımının, öngörülemeyen bir arıza nedeniyle olası kayıplardan daha ucuz olduğu diğer alanlarda.
2) Dolandırıcılık tahmini
Arnavutluk Podolsk'ta kullandığınız karttan para çekilmesi durumunda işlemlerin tekrar kontrol edilmesi gerekebilir.
3) Anormal tüketici kalıplarının belirlenmesi
Bazı müşteriler anormal davranışlar sergiliyorsa sizin farkında olmadığınız bir sorun olabilir.
4) Anormal talep ve yükün belirlenmesi
Bir FMCG mağazasındaki satışlar tahminin güven aralığının altına düştüyse, olup bitenlerin nedenini bulmaya değer.
Anormallikleri belirlemeye yönelik yaklaşımlar
1) Tek Sınıf Tek Sınıf SVM ile Destek Vektör Makinesi
Eğitim setindeki veriler normal bir dağılım izlediğinde ancak test seti anormallikler içerdiğinde uygundur.
Tek sınıflı destek vektör makinesi orijin etrafında doğrusal olmayan bir yüzey oluşturur. Verilerin anormal kabul edildiği bir kesme sınırı belirlemek mümkündür.
DATA4 ekibimizin deneyimine dayanarak Tek Sınıf SVM, anormallikleri bulma sorununu çözmek için en yaygın kullanılan algoritmadır.
2) Ormanı izole etme yöntemi
Ağaçların "rastgele" inşa edilmesi yöntemiyle, emisyonlar yapraklara erken aşamalarda (ağacın sığ derinliğinde) girecektir; emisyonların “izole edilmesi” daha kolaydır. Algoritmanın ilk yinelemelerinde anormal değerlerin izolasyonu meydana gelir.
3) Eliptik zarf ve istatistiksel yöntemler
Veriler normal olarak dağıtıldığında kullanılır. Ölçüm, dağılım karışımının kuyruğuna ne kadar yakınsa, değer o kadar anormal olur.
Diğer istatistiksel yöntemler de bu sınıfa dahil edilebilir.
Resim dyakonov.org'dan
4) Metrik yöntemler
Yöntemler, k-en yakın komşu, k-en yakın komşu, ABOD (açıya dayalı aykırı değer tespiti) veya LOF (yerel aykırı değer faktörü) gibi algoritmaları içerir.
Özelliklerdeki değerler arasındaki mesafe eşdeğer veya normalleştirilmişse uygundur (papağanlardaki boa yılanını ölçmemek için).
K-en yakın komşular algoritması, normal değerlerin çok boyutlu uzayın belirli bir bölgesinde bulunduğunu ve anormalliklere olan mesafenin, ayırıcı hiperdüzlemden daha büyük olacağını varsayar.
5) Küme yöntemleri
Kümeleme yöntemlerinin özü, bir değerin küme merkezlerinden belirli bir miktardan daha fazla uzakta olması durumunda değerin anormal olarak değerlendirilebilmesidir.
Önemli olan, belirli göreve bağlı olarak verileri doğru şekilde kümeleyen bir algoritma kullanmaktır.
6) Ana bileşen yöntemi
Dağılımdaki en büyük değişimin yönlerinin vurgulandığı durumlar için uygundur.
7) Zaman serisi tahminine dayalı algoritmalar
Buradaki fikir, bir değerin tahmin güven aralığının dışına çıkması durumunda değerin anormal kabul edilmesidir. Bir zaman serisini tahmin etmek için üçlü yumuşatma, S(ARIMA), artırma vb. algoritmalar kullanılır.
Bir önceki makalede zaman serisi tahmin algoritmaları tartışılmıştı.
8) Denetimli öğrenme (regresyon, sınıflandırma)
Veriler izin veriyorsa doğrusal regresyondan tekrarlayan ağlara kadar uzanan algoritmalar kullanırız. Tahmin ile gerçekleşen değer arasındaki farkı ölçelim ve verilerin normdan ne kadar saptığı sonucuna varalım. Algoritmanın yeterli genelleme yeteneğine sahip olması ve eğitim setinin anormal değerler içermemesi önemlidir.
9) Model testleri
Anormallikleri arama sorununa öneri arama sorunu olarak yaklaşalım. Özellik matrisimizi SVD veya çarpanlara ayırma makinelerini kullanarak ayrıştıralım ve yeni matristeki orijinal değerlerden önemli ölçüde farklı olan değerleri anormal olarak alalım.
Resim dyakonov.org'dan
Sonuç
Bu makalede anormallik tespitine yönelik ana yaklaşımları inceledik.
Anormallikleri bulmak birçok açıdan sanat olarak adlandırılabilir. Kullanımıyla tüm sorunları çözebilecek ideal bir algoritma veya yaklaşım yoktur. Daha sıklıkla belirli bir durumu çözmek için bir dizi yöntem kullanılır. Anormallik tespiti, tek sınıflı destek vektör makineleri, izole edilmiş ormanlar, metrik ve küme yöntemlerinin yanı sıra temel bileşenler ve zaman serisi tahmini kullanılarak gerçekleştirilir.
Başka yöntemler biliyorsanız, bunlar hakkında makalenin yorumlarına yazın.
Kaynak: habr.com