साइट पर घुसपैठियों से निपटने के लिए एक स्वचालित प्रणाली का निर्माण (धोखाधड़ी)

पिछले लगभग छह महीनों से मैं बिना किसी प्रारंभिक बुनियादी ढांचे के धोखाधड़ी (कपटपूर्ण गतिविधि, धोखाधड़ी, आदि) से निपटने के लिए एक प्रणाली बना रहा हूं। आज के विचार जो हमने खोजे हैं और अपने सिस्टम में लागू किए हैं, वे हमें कई धोखाधड़ी वाली गतिविधियों का पता लगाने और उनका विश्लेषण करने में मदद करते हैं। इस लेख में, तकनीकी भाग में जाए बिना, मैं उन सिद्धांतों के बारे में बात करना चाहूंगा जिनका हमने पालन किया और अपने सिस्टम की वर्तमान स्थिति को प्राप्त करने के लिए हमने क्या किया।

हमारे सिस्टम के सिद्धांत

जब आप "स्वचालित" और "धोखाधड़ी" जैसे शब्द सुनते हैं, तो आप संभवतः मशीन लर्निंग, अपाचे स्पार्क, हडूप, पायथन, एयरफ्लो और अपाचे फाउंडेशन पारिस्थितिकी तंत्र और डेटा साइंस क्षेत्र की अन्य तकनीकों के बारे में सोचना शुरू कर देते हैं। मुझे लगता है कि इन उपकरणों के उपयोग का एक पहलू है जिसका आमतौर पर उल्लेख नहीं किया जाता है: इससे पहले कि आप उनका उपयोग शुरू कर सकें, उन्हें आपके एंटरप्राइज़ सिस्टम में कुछ पूर्वापेक्षाओं की आवश्यकता होती है। संक्षेप में, आपको एक एंटरप्राइज़ डेटा प्लेटफ़ॉर्म की आवश्यकता है जिसमें डेटा लेक और वेयरहाउस शामिल हो। लेकिन क्या होगा यदि आपके पास ऐसा कोई मंच नहीं है और आपको अभी भी इस अभ्यास को विकसित करने की आवश्यकता है? निम्नलिखित सिद्धांत जो मैं नीचे साझा कर रहा हूं, उन्होंने हमें एक ऐसे बिंदु तक पहुंचने में मदद की है जहां हम काम करने वाले विचारों को खोजने के बजाय अपने विचारों को बेहतर बनाने पर ध्यान केंद्रित कर सकते हैं। हालाँकि, यह कोई प्रोजेक्ट पठार नहीं है। तकनीकी और उत्पाद के दृष्टिकोण से योजना में अभी भी बहुत सी चीजें हैं।

सिद्धांत 1: व्यावसायिक मूल्य प्रथम

हम अपने सभी प्रयासों में "व्यावसायिक मूल्य" को सबसे आगे रखते हैं। सामान्य तौर पर, कोई भी स्वचालित विश्लेषण प्रणाली उच्च स्तर के स्वचालन और तकनीकी जटिलता वाले जटिल प्रणालियों के समूह से संबंधित होती है। यदि आप इसे शुरुआत से बनाते हैं तो संपूर्ण समाधान बनाने में बहुत समय लगेगा। हमने व्यावसायिक मूल्य को पहले और तकनीकी पूर्णता को दूसरे स्थान पर रखने का निर्णय लिया। वास्तविक जीवन में, इसका मतलब यह है कि हम उन्नत तकनीक को हठधर्मिता के रूप में स्वीकार नहीं करते हैं। हम वह तकनीक चुनते हैं जो इस समय हमारे लिए सबसे अच्छा काम करती है। समय के साथ, ऐसा लग सकता है कि हमें कुछ मॉड्यूल को फिर से लागू करना होगा। यही वह समझौता है जिसे हमने स्वीकार किया है.'

सिद्धांत 2: संवर्धित बुद्धि

मैं शर्त लगाता हूं कि ज्यादातर लोग जो मशीन लर्निंग समाधान विकसित करने में गहराई से शामिल नहीं हैं, वे सोच सकते हैं कि मनुष्यों को प्रतिस्थापित करना ही लक्ष्य है। वास्तव में, मशीन लर्निंग समाधान एकदम सही नहीं हैं और केवल कुछ क्षेत्रों में ही प्रतिस्थापन संभव है। हमने कई कारणों से इस विचार को शुरू से ही खारिज कर दिया: धोखाधड़ी गतिविधि पर असंतुलित डेटा और मशीन लर्निंग मॉडल के लिए सुविधाओं की एक व्यापक सूची प्रदान करने में असमर्थता। इसके विपरीत, हमने उन्नत इंटेलिजेंस विकल्प को चुना। यह कृत्रिम बुद्धिमत्ता की एक वैकल्पिक अवधारणा है जो एआई की सहायक भूमिका पर ध्यान केंद्रित करती है, इस तथ्य पर जोर देती है कि संज्ञानात्मक प्रौद्योगिकियों का उद्देश्य मानव बुद्धि को प्रतिस्थापित करने के बजाय उसे बढ़ाना है। [1]

इसे देखते हुए, शुरू से ही एक संपूर्ण मशीन लर्निंग समाधान विकसित करने के लिए एक बड़े प्रयास की आवश्यकता होगी, जिससे हमारे व्यवसाय के लिए मूल्य निर्माण में देरी होगी। हमने अपने डोमेन विशेषज्ञों के मार्गदर्शन में लगातार बढ़ते मशीन लर्निंग पहलू के साथ एक सिस्टम बनाने का निर्णय लिया। ऐसी प्रणाली विकसित करने का चुनौतीपूर्ण हिस्सा यह है कि इसमें हमारे विश्लेषकों को न केवल यह जानकारी देनी होगी कि यह धोखाधड़ी वाली गतिविधि है या नहीं। सामान्य तौर पर, ग्राहक व्यवहार में कोई भी विसंगति एक संदिग्ध मामला है जिसकी विशेषज्ञों को किसी तरह जांच करने और प्रतिक्रिया देने की आवश्यकता होती है। इन रिपोर्ट किए गए मामलों का केवल एक अंश ही वास्तव में धोखाधड़ी के रूप में वर्गीकृत किया जा सकता है।

सिद्धांत 3: रिच एनालिटिक्स प्लेटफ़ॉर्म

हमारे सिस्टम का सबसे चुनौतीपूर्ण हिस्सा सिस्टम के वर्कफ़्लो का अंत-से-अंत सत्यापन है। विश्लेषकों और डेवलपर्स को विश्लेषण के लिए उपयोग किए जाने वाले सभी मैट्रिक्स के साथ ऐतिहासिक डेटा सेट आसानी से प्राप्त करना चाहिए। इसके अतिरिक्त, डेटा प्लेटफ़ॉर्म को मेट्रिक्स के मौजूदा सेट को नए के साथ पूरक करने का एक आसान तरीका प्रदान करना चाहिए। हम जो प्रक्रियाएँ बनाते हैं, और ये केवल सॉफ़्टवेयर प्रक्रियाएँ नहीं हैं, हमें पिछली अवधियों की आसानी से पुनर्गणना करने, नए मेट्रिक्स जोड़ने और डेटा पूर्वानुमान को बदलने की अनुमति देनी चाहिए। हम अपनी उत्पादन प्रणाली द्वारा उत्पन्न सभी डेटा को एकत्रित करके इसे प्राप्त कर सकते हैं। ऐसे में डेटा धीरे-धीरे परेशानी का सबब बन जाएगा। हमें उस डेटा की बढ़ती मात्रा को संग्रहीत करने और उसकी सुरक्षा करने की आवश्यकता होगी जिसका हम उपयोग नहीं करते हैं। ऐसे परिदृश्य में, डेटा समय के साथ और अधिक अप्रासंगिक हो जाएगा, लेकिन इसे प्रबंधित करने के लिए अभी भी हमारे प्रयासों की आवश्यकता है। हमारे लिए, डेटा जमाखोरी का कोई मतलब नहीं था, इसलिए हमने एक अलग तरीका अपनाने का फैसला किया। हमने उन लक्षित संस्थाओं के आसपास वास्तविक समय के डेटा स्टोर को व्यवस्थित करने का निर्णय लिया, जिन्हें हम वर्गीकृत करना चाहते हैं, और केवल उस डेटा को संग्रहीत करते हैं जो हमें सबसे हाल की और प्रासंगिक अवधियों की जांच करने की अनुमति देता है। इस प्रयास के लिए चुनौती यह है कि हमारा सिस्टम विविध है, जिसमें कई डेटा स्टोर और सॉफ़्टवेयर मॉड्यूल हैं जिन्हें सुसंगत तरीके से संचालित करने के लिए सावधानीपूर्वक योजना की आवश्यकता होती है।

हमारे सिस्टम की डिज़ाइन अवधारणाएँ

हमारे सिस्टम में चार मुख्य घटक हैं: अंतर्ग्रहण प्रणाली, कम्प्यूटेशनल, बीआई विश्लेषण और ट्रैकिंग प्रणाली। वे विशिष्ट, पृथक उद्देश्यों की पूर्ति करते हैं, और हम विशिष्ट डिज़ाइन दृष्टिकोणों का पालन करके उन्हें अलग रखते हैं।

अनुबंध-आधारित डिज़ाइन

सबसे पहले, हम इस बात पर सहमत हुए कि घटकों को केवल कुछ डेटा संरचनाओं (अनुबंधों) पर भरोसा करना चाहिए जो उनके बीच पारित होते हैं। इससे उनके बीच एकीकरण करना आसान हो जाता है और घटकों की एक विशिष्ट संरचना (और क्रम) लागू नहीं होती है। उदाहरण के लिए, कुछ मामलों में यह हमें इनटेक सिस्टम को अलर्ट ट्रैकिंग सिस्टम के साथ सीधे एकीकृत करने की अनुमति देता है। ऐसे मामले में, यह सहमत चेतावनी अनुबंध के अनुसार किया जाएगा। इसका मतलब यह है कि दोनों घटकों को एक अनुबंध का उपयोग करके एकीकृत किया जाएगा जिसका उपयोग कोई अन्य घटक कर सकता है। हम इनपुट सिस्टम से ट्रैकिंग सिस्टम में अलर्ट जोड़ने के लिए कोई अतिरिक्त अनुबंध नहीं जोड़ेंगे। इस दृष्टिकोण के लिए पूर्व निर्धारित न्यूनतम संख्या में अनुबंधों के उपयोग की आवश्यकता होती है और यह सिस्टम और संचार को सरल बनाता है। मूलतः, हम "कॉन्ट्रैक्ट फ़र्स्ट डिज़ाइन" नामक दृष्टिकोण अपनाते हैं और इसे स्ट्रीमिंग अनुबंधों पर लागू करते हैं। [2]

हर जगह स्ट्रीमिंग

किसी सिस्टम में राज्य को सहेजना और प्रबंधित करना अनिवार्य रूप से इसके कार्यान्वयन में जटिलताओं को जन्म देगा। सामान्य तौर पर, राज्य को किसी भी घटक से पहुंच योग्य होना चाहिए, यह सुसंगत होना चाहिए और सभी घटकों में सबसे वर्तमान मूल्य प्रदान करना चाहिए, और यह सही मूल्यों के साथ विश्वसनीय होना चाहिए। इसके अतिरिक्त, नवीनतम स्थिति को पुनः प्राप्त करने के लिए लगातार स्टोरेज पर कॉल करने से I/O संचालन की संख्या और हमारी वास्तविक समय पाइपलाइनों में उपयोग किए जाने वाले एल्गोरिदम की जटिलता में वृद्धि होगी। इस वजह से, हमने, यदि संभव हो तो, अपने सिस्टम से राज्य भंडारण को पूरी तरह से हटाने का निर्णय लिया। इस दृष्टिकोण के लिए आवश्यक है कि सभी आवश्यक डेटा को प्रेषित डेटा ब्लॉक (संदेश) में शामिल किया जाए। उदाहरण के लिए, यदि हमें कुछ अवलोकनों की कुल संख्या (कुछ विशेषताओं वाले संचालन या मामलों की संख्या) की गणना करने की आवश्यकता है, तो हम इसे मेमोरी में गणना करते हैं और ऐसे मूल्यों की एक धारा उत्पन्न करते हैं। आश्रित मॉड्यूल स्ट्रीम को इकाइयों में विभाजित करने और नवीनतम मूल्यों पर काम करने के लिए विभाजन और बैचिंग का उपयोग करेंगे। इस दृष्टिकोण ने ऐसे डेटा के लिए लगातार डिस्क भंडारण की आवश्यकता को समाप्त कर दिया। हमारा सिस्टम काफ्का को एक संदेश ब्रोकर के रूप में उपयोग करता है और इसे केएसक्यूएल के साथ डेटाबेस के रूप में उपयोग किया जा सकता है। [3] लेकिन इसका उपयोग करने से हमारा समाधान काफ्का से बहुत अधिक बंध जाता, और हमने इसका उपयोग न करने का निर्णय लिया। हमारे द्वारा चुना गया दृष्टिकोण हमें सिस्टम में बड़े आंतरिक बदलावों के बिना काफ्का को किसी अन्य संदेश ब्रोकर के साथ बदलने की अनुमति देता है।

इस अवधारणा का मतलब यह नहीं है कि हम डिस्क स्टोरेज और डेटाबेस का उपयोग नहीं करते हैं। सिस्टम प्रदर्शन का परीक्षण और विश्लेषण करने के लिए, हमें डिस्क पर महत्वपूर्ण मात्रा में डेटा संग्रहीत करने की आवश्यकता है जो विभिन्न मैट्रिक्स और स्थितियों का प्रतिनिधित्व करता है। यहां महत्वपूर्ण बात यह है कि वास्तविक समय एल्गोरिदम ऐसे डेटा पर निर्भर नहीं होते हैं। ज्यादातर मामलों में, हम संग्रहीत डेटा का उपयोग ऑफ़लाइन विश्लेषण, डिबगिंग और सिस्टम द्वारा उत्पादित विशिष्ट मामलों और परिणामों की ट्रैकिंग के लिए करते हैं।

हमारे सिस्टम की समस्याएँ

कुछ समस्याएं हैं जिन्हें हमने एक निश्चित स्तर तक हल कर लिया है, लेकिन उनके लिए अधिक विचारशील समाधान की आवश्यकता है। अब मैं यहां केवल उनका उल्लेख करना चाहूंगा क्योंकि प्रत्येक बिंदु अपने लेख के लायक है।

• हमें अभी भी उन प्रक्रियाओं और नीतियों को परिभाषित करने की आवश्यकता है जो हमारे स्वचालित डेटा विश्लेषण, खोज और अन्वेषण के लिए सार्थक और प्रासंगिक डेटा के संचय का समर्थन करती हैं।
• मानव विश्लेषण को शामिल करने से सिस्टम को नवीनतम डेटा के साथ अद्यतन करने के लिए स्वचालित रूप से सेटअप की प्रक्रिया शुरू हो जाती है। यह न केवल हमारे मॉडल को अपडेट कर रहा है, बल्कि हमारी प्रक्रियाओं को भी अपडेट कर रहा है और हमारे डेटा के बारे में हमारी समझ में सुधार कर रहा है।
• IF-ELSE और ML के नियतिवादी दृष्टिकोण के बीच संतुलन खोजना। किसी ने कहा, "एमएल हताश लोगों के लिए एक उपकरण है।" इसका मतलब यह है कि आप एमएल का उपयोग तब करना चाहेंगे जब आप यह नहीं समझ पाएंगे कि अपने एल्गोरिदम को कैसे अनुकूलित और सुधारें। दूसरी ओर, नियतिवादी दृष्टिकोण उन विसंगतियों का पता लगाने की अनुमति नहीं देता है जिनकी आशा नहीं की गई थी।
• हमें डेटा में मेट्रिक्स के बीच अपनी परिकल्पनाओं या सहसंबंधों का परीक्षण करने के लिए एक सरल तरीके की आवश्यकता है।
• सिस्टम में सच्चे सकारात्मक परिणामों के कई स्तर होने चाहिए। धोखाधड़ी के मामले उन सभी मामलों का केवल एक अंश हैं जिन्हें सिस्टम के लिए सकारात्मक माना जा सकता है। उदाहरण के लिए, विश्लेषक सत्यापन के लिए सभी संदिग्ध मामले प्राप्त करना चाहते हैं, और उनमें से केवल एक छोटा सा हिस्सा धोखाधड़ी का है। सिस्टम को सभी मामलों को विश्लेषकों के सामने कुशलतापूर्वक प्रस्तुत करना चाहिए, भले ही यह वास्तविक धोखाधड़ी हो या सिर्फ संदिग्ध व्यवहार हो।
• डेटा प्लेटफ़ॉर्म ऐतिहासिक डेटा सेट को तुरंत उत्पन्न और गणना के साथ पुनः प्राप्त करने में सक्षम होना चाहिए।
• आसानी से और स्वचालित रूप से किसी भी सिस्टम घटक को कम से कम तीन अलग-अलग वातावरणों में तैनात करें: उत्पादन, प्रयोगात्मक (बीटा) और डेवलपर्स के लिए।
• आखरी लेकिन कम नहीं। हमें एक समृद्ध प्रदर्शन परीक्षण मंच बनाने की आवश्यकता है जिस पर हम अपने मॉडलों का विश्लेषण कर सकें। [4]

संदर्भों

1. संवर्धित इंटेलिजेंस क्या है?
2. एपीआई-प्रथम डिज़ाइन पद्धति लागू करना
3. काफ्का "इवेंट स्ट्रीमिंग डेटाबेस" में परिवर्तित हो रहा है
4. एयूसी-आरओसी वक्र को समझना

स्रोत: www.habr.com