विसंगतियों का पता लगाने के लिए 9 दृष्टिकोण

В पिछला लेख हमने समय श्रृंखला पूर्वानुमान के बारे में बात की। एक तार्किक निरंतरता विसंगतियों की पहचान करने पर एक लेख होगी।

आवेदन

विसंगति का पता लगाने का उपयोग ऐसे क्षेत्रों में किया जाता है:

1) उपकरण टूटने की भविष्यवाणी

इस प्रकार, 2010 में, ईरानी सेंट्रीफ्यूज पर स्टक्सनेट वायरस द्वारा हमला किया गया, जिसने उपकरण को गैर-इष्टतम संचालन में सेट कर दिया और त्वरित पहनने के कारण कुछ उपकरणों को निष्क्रिय कर दिया।

यदि उपकरण पर विसंगति का पता लगाने वाले एल्गोरिदम का उपयोग किया गया होता, तो विफलता की स्थिति से बचा जा सकता था।

उपकरणों के संचालन में विसंगतियों की खोज का उपयोग न केवल परमाणु उद्योग में किया जाता है, बल्कि धातु विज्ञान और विमान टर्बाइनों के संचालन में भी किया जाता है। और अन्य क्षेत्रों में जहां पूर्वानुमानित निदान का उपयोग अप्रत्याशित खराबी के कारण होने वाले संभावित नुकसान से सस्ता है।

2) धोखाधड़ी की भविष्यवाणी

यदि अल्बानिया के पोडॉल्स्क में आपके द्वारा उपयोग किए गए कार्ड से पैसे निकाले गए हैं, तो लेनदेन की आगे जांच करने की आवश्यकता हो सकती है।

3) असामान्य उपभोक्ता पैटर्न की पहचान

यदि कुछ ग्राहक असामान्य व्यवहार प्रदर्शित करते हैं, तो एक समस्या हो सकती है जिसके बारे में आपको जानकारी नहीं है।

4) असामान्य मांग और भार की पहचान

यदि एफएमसीजी स्टोर में बिक्री पूर्वानुमान के विश्वास अंतराल से नीचे गिर गई है, तो जो हो रहा है उसका कारण ढूंढना उचित है।

विसंगतियों की पहचान करने के दृष्टिकोण

1) वन क्लास वन-क्लास एसवीएम के साथ वेक्टर मशीन का समर्थन करें

उपयुक्त तब होता है जब प्रशिक्षण सेट में डेटा सामान्य वितरण का अनुसरण करता है, लेकिन परीक्षण सेट में विसंगतियाँ होती हैं।

वन-क्लास सपोर्ट वेक्टर मशीन मूल के चारों ओर एक अरेखीय सतह का निर्माण करती है। एक कटऑफ सीमा निर्धारित करना संभव है जिसके लिए डेटा को असामान्य माना जाता है।

हमारी DATA4 टीम के अनुभव के आधार पर, वन-क्लास एसवीएम विसंगतियों को खोजने की समस्या को हल करने के लिए सबसे अधिक इस्तेमाल किया जाने वाला एल्गोरिदम है।

2) पृथक वन विधि

पेड़ों के निर्माण की "यादृच्छिक" विधि के साथ, उत्सर्जन प्रारंभिक चरण में (पेड़ की उथली गहराई पर) पत्तियों में प्रवेश करेगा। उत्सर्जन को "पृथक" करना आसान है। विषम मानों का अलगाव एल्गोरिथम के पहले पुनरावृत्तियों में होता है।

3) अण्डाकार आवरण और सांख्यिकीय विधियाँ

इसका उपयोग तब किया जाता है जब डेटा सामान्य रूप से वितरित किया जाता है। माप वितरण के मिश्रण की पूंछ के जितना करीब होगा, मूल्य उतना ही अधिक विसंगतिपूर्ण होगा।

इस वर्ग में अन्य सांख्यिकीय पद्धतियों को भी शामिल किया जा सकता है।

छवि dyakonov.org से

4) मीट्रिक विधियाँ

विधियों में k-निकटतम पड़ोसी, k-निकटतम पड़ोसी, ABOD (कोण-आधारित बाहरी पहचान) या LOF (स्थानीय बाहरी कारक) जैसे एल्गोरिदम शामिल हैं।

उपयुक्त यदि विशेषताओं में मूल्यों के बीच की दूरी समतुल्य या सामान्यीकृत है (ताकि तोते में बोआ कंस्ट्रक्टर को मापने के लिए नहीं)।

K-निकटतम पड़ोसी एल्गोरिथ्म मानता है कि सामान्य मान बहुआयामी अंतरिक्ष के एक निश्चित क्षेत्र में स्थित हैं, और विसंगतियों की दूरी अलग करने वाले हाइपरप्लेन से अधिक होगी।

5) क्लस्टर विधियाँ

क्लस्टर विधियों का सार यह है कि यदि कोई मान क्लस्टर केंद्रों से एक निश्चित मात्रा से अधिक दूर है, तो मान को असंगत माना जा सकता है।

मुख्य बात एक एल्गोरिदम का उपयोग करना है जो डेटा को सही ढंग से क्लस्टर करता है, जो विशिष्ट कार्य पर निर्भर करता है।

6) प्रमुख घटक विधि

उपयुक्त जहां फैलाव में सबसे बड़े परिवर्तन की दिशाओं पर प्रकाश डाला गया है।

7) समय श्रृंखला पूर्वानुमान पर आधारित एल्गोरिदम

विचार यह है कि यदि कोई मान पूर्वानुमान विश्वास अंतराल से बाहर हो जाता है, तो मान को असामान्य माना जाता है। समय श्रृंखला की भविष्यवाणी करने के लिए, ट्रिपल स्मूथिंग, एस (एआरआईएमए), बूस्टिंग इत्यादि जैसे एल्गोरिदम का उपयोग किया जाता है।

पिछले लेख में समय श्रृंखला पूर्वानुमान एल्गोरिदम पर चर्चा की गई थी।

8) पर्यवेक्षित शिक्षण (प्रतिगमन, वर्गीकरण)

यदि डेटा अनुमति देता है, तो हम रैखिक प्रतिगमन से लेकर आवर्ती नेटवर्क तक के एल्गोरिदम का उपयोग करते हैं। आइए पूर्वानुमान और वास्तविक मूल्य के बीच अंतर को मापें, और निष्कर्ष निकालें कि डेटा किस हद तक मानक से विचलित है। यह महत्वपूर्ण है कि एल्गोरिदम में पर्याप्त सामान्यीकरण क्षमता हो और प्रशिक्षण सेट में असंगत मान न हों।

9) मॉडल परीक्षण

आइए विसंगतियों की खोज की समस्या को अनुशंसाओं की खोज की समस्या के रूप में देखें। आइए एसवीडी या फैक्टराइजेशन मशीनों का उपयोग करके हमारे फीचर मैट्रिक्स को विघटित करें, और नए मैट्रिक्स में उन मानों को लें जो मूल से काफी भिन्न हैं।

छवि dyakonov.org से

निष्कर्ष

इस लेख में, हमने विसंगति का पता लगाने के मुख्य तरीकों की समीक्षा की।

विसंगतियों का पता लगाना कई मायनों में एक कला कही जा सकती है। कोई आदर्श एल्गोरिदम या दृष्टिकोण नहीं है, जिसके उपयोग से सभी समस्याओं का समाधान हो जाए। किसी विशिष्ट मामले को हल करने के लिए अक्सर विधियों के एक सेट का उपयोग किया जाता है। विसंगति का पता लगाने के लिए वन-क्लास सपोर्ट वेक्टर मशीनों, पृथक वनों, मीट्रिक और क्लस्टर विधियों के साथ-साथ प्रमुख घटकों और समय श्रृंखला पूर्वानुमान का उपयोग किया जाता है।

यदि आप अन्य तरीके जानते हैं, तो लेख की टिप्पणियों में उनके बारे में लिखें।

स्रोत: www.habr.com