विसंगती शोधण्यासाठी 9 दृष्टिकोन

В मागील लेख आम्ही वेळ मालिका अंदाज बद्दल बोललो. तार्किक निरंतरता विसंगती ओळखण्यासाठी एक लेख असेल.

अर्ज

विसंगती शोधणे वापरले जाते जसे की:

1) उपकरणांच्या बिघाडाचा अंदाज

अशा प्रकारे, 2010 मध्ये, इराणी सेंट्रीफ्यूजवर स्टक्सनेट विषाणूचा हल्ला झाला, ज्याने उपकरणे नॉन-इष्टतम ऑपरेशनसाठी सेट केली आणि प्रवेगक पोशाखांमुळे काही उपकरणे अक्षम केली.

उपकरणांवर विसंगती शोधण्याचे अल्गोरिदम वापरले असते तर, बिघाडाची परिस्थिती टाळता आली असती.

उपकरणांच्या ऑपरेशनमधील विसंगतींचा शोध केवळ अणुउद्योगातच नव्हे तर धातूविज्ञान आणि विमान टर्बाइनच्या ऑपरेशनमध्ये देखील वापरला जातो. आणि इतर क्षेत्रांमध्ये जेथे अंदाज लावता येणारे निदान वापरणे अप्रत्याशित ब्रेकडाउनमुळे संभाव्य नुकसानापेक्षा स्वस्त आहे.

2) फसवणूक अंदाज

अल्बेनियामधील पोडॉल्स्कमध्ये तुम्ही वापरत असलेल्या कार्डमधून पैसे काढले असल्यास, व्यवहारांची आणखी तपासणी करणे आवश्यक असू शकते.

3) असामान्य ग्राहक नमुन्यांची ओळख

काही ग्राहकांनी असामान्य वर्तन दाखविल्यास, तुम्हाला माहिती नसलेली समस्या असू शकते.

4) असामान्य मागणी आणि भार ओळखणे

जर एखाद्या FMCG स्टोअरमधील विक्री अंदाजाच्या आत्मविश्वास मध्यांतरापेक्षा कमी झाली असेल, तर काय होत आहे याचे कारण शोधणे योग्य आहे.

विसंगती ओळखण्यासाठी दृष्टीकोन

1) एक वर्ग एक-श्रेणी SVM सह सपोर्ट वेक्टर मशीन

जेव्हा प्रशिक्षण संचातील डेटा सामान्य वितरणाचे अनुसरण करतो तेव्हा योग्य, परंतु चाचणी संचामध्ये विसंगती असतात.

वन-क्लास सपोर्ट वेक्टर मशीन मूळच्या आसपास एक नॉनलाइनर पृष्ठभाग तयार करते. कटऑफ मर्यादा सेट करणे शक्य आहे ज्यासाठी डेटा विसंगत मानला जातो.

आमच्‍या DATA4 टीमच्‍या अनुभवावर आधारित, विसंगती शोधण्‍याच्‍या समस्‍येचे निराकरण करण्‍यासाठी वन-क्लास SVM हे सर्वाधिक वापरले जाणारे अल्गोरिदम आहे.

2) विलग वन पद्धत

झाडे बांधण्याच्या "यादृच्छिक" पद्धतीसह, उत्सर्जन सुरुवातीच्या टप्प्यावर (झाडाच्या उथळ खोलीवर) पानांमध्ये प्रवेश करेल, म्हणजे. उत्सर्जन "विलग करणे" सोपे आहे. विसंगत मूल्यांचे पृथक्करण अल्गोरिदमच्या पहिल्या पुनरावृत्तीमध्ये होते.

3) लंबवर्तुळाकार लिफाफा आणि सांख्यिकीय पद्धती

डेटा सामान्यपणे वितरित केला जातो तेव्हा वापरला जातो. वितरणाच्या मिश्रणाच्या शेपटीला मोजमाप जितके जवळ असेल तितके मूल्य अधिक विसंगत असेल.

या वर्गात इतर सांख्यिकीय पद्धती देखील समाविष्ट केल्या जाऊ शकतात.

dyakonov.org वरून प्रतिमा

4) मेट्रिक पद्धती

पद्धतींमध्ये k-जवळचे शेजारी, k-जवळचे शेजारी, ABOD (कोन-आधारित आउटलायर डिटेक्शन) किंवा LOF (स्थानिक आउटलियर फॅक्टर) यांसारख्या अल्गोरिदमचा समावेश होतो.

वैशिष्ट्यांमधील मूल्यांमधील अंतर समतुल्य किंवा सामान्यीकृत असल्यास योग्य (जेणेकरून पोपटांमध्ये बोआ कंस्ट्रक्टर मोजू नये).

k-जवळच्या शेजारी अल्गोरिदम असे गृहीत धरते की सामान्य मूल्ये बहुआयामी जागेच्या विशिष्ट प्रदेशात स्थित आहेत आणि विसंगतींचे अंतर विभक्त हायपरप्लेनपेक्षा जास्त असेल.

5) क्लस्टर पद्धती

क्लस्टर पद्धतींचा सार असा आहे की जर एखादे मूल्य क्लस्टर केंद्रांपासून एका ठराविक रकमेपेक्षा जास्त असेल तर ते मूल्य विसंगत मानले जाऊ शकते.

मुख्य गोष्ट म्हणजे अल्गोरिदम वापरणे जे योग्यरित्या डेटा क्लस्टर करते, जे विशिष्ट कार्यावर अवलंबून असते.

6) मुख्य घटक पद्धत

विखुरलेल्या सर्वात मोठ्या बदलाचे दिशानिर्देश ठळक केले जातात तेथे योग्य.

7) वेळ मालिका अंदाज आधारित अल्गोरिदम

कल्पना अशी आहे की जर एखादे मूल्य प्रेडिक्शन कॉन्फिडन्स इंटरव्हलच्या बाहेर पडले तर ते मूल्य विसंगत मानले जाते. वेळेच्या मालिकेचा अंदाज लावण्यासाठी, ट्रिपल स्मूथिंग, S(ARIMA), बूस्टिंग इत्यादी अल्गोरिदम वापरले जातात.

वेळ मालिका अंदाज अल्गोरिदम मागील लेखात चर्चा केली होती.

8) पर्यवेक्षित शिक्षण (प्रतिगमन, वर्गीकरण)

डेटा अनुमती देत ​​असल्यास, आम्ही रेखीय प्रतिगमन ते आवर्ती नेटवर्कपर्यंत अल्गोरिदम वापरतो. चला अंदाज आणि वास्तविक मूल्य यांच्यातील फरक मोजू या आणि डेटा किती प्रमाणात प्रमाणापासून विचलित होतो यावर निष्कर्ष काढू. हे महत्त्वाचे आहे की अल्गोरिदममध्ये पुरेशी सामान्यीकरण क्षमता आहे आणि प्रशिक्षण सेटमध्ये विसंगत मूल्ये नाहीत.

9) मॉडेल चाचण्या

शिफारसी शोधण्याची समस्या म्हणून विसंगती शोधण्याच्या समस्येकडे जाऊ या. चला SVD किंवा फॅक्टरायझेशन मशीन वापरून आमचे वैशिष्ट्य मॅट्रिक्स विघटित करूया आणि नवीन मॅट्रिक्समधील मूल्ये विसंगत मानू या मूळ मूल्यांपेक्षा लक्षणीय भिन्न आहेत.

dyakonov.org वरून प्रतिमा

निष्कर्ष

या लेखात, आम्ही विसंगती शोधण्याच्या मुख्य पद्धतींचे पुनरावलोकन केले.

विसंगती शोधणे ही अनेक प्रकारे कला म्हणता येईल. कोणताही आदर्श अल्गोरिदम किंवा दृष्टीकोन नाही, ज्याचा वापर सर्व समस्या सोडवतो. अधिक वेळा विशिष्ट प्रकरणाचे निराकरण करण्यासाठी पद्धतींचा संच वापरला जातो. विसंगती शोधणे हे वन-क्लास सपोर्ट वेक्टर मशिन, आयसोलेट फॉरेस्ट, मेट्रिक आणि क्लस्टर पद्धती तसेच मुख्य घटक आणि वेळ मालिका अंदाज वापरून केले जाते.

आपल्याला इतर पद्धती माहित असल्यास, लेखातील टिप्पण्यांमध्ये त्यांच्याबद्दल लिहा.

स्त्रोत: www.habr.com