В 時系列予測について話しました。 論理的な継続は、異常の特定に関する記事になります。
アプリケーション
異常検出は次のような分野で使用されます。
1) 設備故障の予測
そのため、2010 年にイランの遠心分離機が Stuxnet ウイルスによる攻撃を受け、機器が最適な動作をしない状態になり、摩耗の加速により一部の機器が使用不能になりました。
異常検出アルゴリズムが機器に使用されていれば、障害の状況は回避できたはずです。
機器の動作における異常の検索は、原子力産業だけでなく、冶金学や航空機タービンの動作にも使用されています。 また、予測診断を使用した方が、予期せぬ故障によって起こり得る損失よりも安価な他の分野でも利用できます。
2) 不正行為の予測
アルバニアのポドリスクで使用したカードからお金が引き出された場合、取引をさらに確認する必要がある場合があります。
3) 異常な消費者パターンの特定
一部の顧客が異常な行動を示している場合、あなたが気づいていない問題がある可能性があります。
4) 異常な需要と負荷の特定
FMCG 店舗の売上が予測の信頼区間を下回った場合、何が起こっているのか理由を見つける価値があります。
異常を特定するためのアプローチ
1) XNUMX クラス XNUMX クラス SVM を備えたサポート ベクター マシン
トレーニング セット内のデータは正規分布に従っているが、テスト セットに異常が含まれている場合に適しています。
XNUMX クラスのサポート ベクター マシンは、原点の周りに非線形曲面を構築します。 データが異常であるとみなされるカットオフ制限を設定することが可能です。
当社の DATA4 チームの経験に基づくと、One-Class SVM は、異常を検出する問題を解決するために最も一般的に使用されるアルゴリズムです。
2) 隔離林法
ツリーを構築する「ランダム」方法では、排出物は初期段階（ツリーの浅い深さ）で葉に入ります。 排出物を「分離」するのは簡単です。 異常値の分離は、アルゴリズムの最初の反復で発生します。
3) 楕円包絡線と統計的手法
データが正規分布する場合に使用されます。 測定値が混合分布の末尾に近づくほど、値の異常性が高くなります。
他の統計手法もこのクラスに含めることができます。
画像はdyakonov.orgより
4) 測定方法
方法には、k 最近傍法、k 最近傍法、ABOD (角度ベースの外れ値検出) または LOF (局所外れ値係数) などのアルゴリズムが含まれます。
特性の値間の距離が同等または正規化されている場合に適しています（オウムのボアコンストリクターを測定しないように）。
k 最近傍アルゴリズムは、正常値が多次元空間の特定の領域に位置し、異常までの距離が分離超平面までの距離よりも大きいことを前提としています。
5) クラスタリング手法
クラスター手法の本質は、値がクラスターの中心から一定量以上離れている場合、その値は異常であると見なすことができるということです。
重要なことは、データを正しくクラスタリングするアルゴリズムを使用することです。アルゴリズムは特定のタスクに応じて異なります。
6) 主成分法
分散の最大変化の方向が強調表示される場合に適しています。
7) 時系列予測に基づくアルゴリズム
この考え方は、値が予測信頼区間の外にある場合、その値は異常であるとみなされるということです。 時系列を予測するには、トリプル スムージング、S(ARIMA)、ブースティングなどのアルゴリズムが使用されます。
時系列予測アルゴリズムについては、前の記事で説明しました。
8) 教師あり学習（回帰、分類）
データが許せば、線形回帰からリカレントネットワークまでのアルゴリズムを使用します。 予測と実際の値の差を測定し、データが標準からどの程度逸脱しているか結論を導き出しましょう。 アルゴリズムに十分な汎化能力があり、トレーニング セットに異常な値が含まれていないことが重要です。
9) モデルテスト
異常の検索の問題を、推奨事項の検索の問題としてアプローチしてみましょう。 SVD または因数分解マシンを使用して特徴行列を分解し、元の行列と大きく異なる新しい行列の値を異常なものとして取得しましょう。
画像はdyakonov.orgより
まとめ
この記事では、異常検出の主なアプローチを検討しました。
異常を見つけることは、さまざまな意味で芸術と言えます。 すべての問題を解決する、理想的なアルゴリズムやアプローチはありません。 多くの場合、特定のケースを解決するために一連の方法が使用されます。 異常検出は、XNUMX クラスのサポート ベクター マシン、フォレストの分離、メトリックおよびクラスター手法、さらに主成分と時系列予測を使用して実行されます。
他の方法を知っている場合は、記事のコメントに書いてください。
出所： habr.com