साइटमा घुसपैठहरू विरुद्ध लड्न एक स्वचालित प्रणालीको सिर्जना (धोखाधडी)

विगत छ महिनादेखि मैले यसका लागि कुनै प्रारम्भिक पूर्वाधार बिना नै ठगी (ठगी गतिविधि, जालसाजी, इत्यादि) विरुद्ध लड्ने प्रणाली बनाएको छु। हामीले हाम्रो प्रणालीमा फेला पारेका र लागू गरेका आजका विचारहरूले हामीलाई धेरै जालसाजी गतिविधिहरू पत्ता लगाउन र विश्लेषण गर्न मद्दत गर्दछ। यस लेखमा, म प्राविधिक भागमा नजाइकन हामीले अनुसरण गरेका सिद्धान्तहरू र हाम्रो प्रणालीको वर्तमान अवस्था प्राप्त गर्न हामीले के गर्यौं भन्ने कुरा गर्न चाहन्छु।

हाम्रो प्रणालीको सिद्धान्तहरू

जब तपाइँ "स्वचालित" र "ठगी" जस्ता शब्दहरू सुन्नुहुन्छ, तपाइँ प्राय: मेसिन लर्निङ, Apache Spark, Hadoop, Python, Airflow, र Apache Foundation इकोसिस्टम र डेटा विज्ञान क्षेत्रका अन्य प्रविधिहरू बारे सोच्न थाल्नुहुन्छ। मलाई लाग्छ कि यी उपकरणहरू प्रयोग गर्ने एउटा पक्ष हो जुन सामान्यतया उल्लेख गरिएको छैन: तिनीहरूलाई तपाइँको इन्टरप्राइज प्रणालीमा तपाइँले तिनीहरूलाई प्रयोग गर्न सुरु गर्नु अघि निश्चित आवश्यकताहरू आवश्यक पर्दछ। छोटकरीमा, तपाईलाई एक इन्टरप्राइज डाटा प्लेटफर्म चाहिन्छ जसमा डाटा ताल र गोदाम समावेश छ। तर यदि तपाइँसँग त्यस्तो प्लेटफर्म छैन र अझै पनि यो अभ्यास विकास गर्न आवश्यक छ भने के हुन्छ? निम्न सिद्धान्तहरू, जुन म तल साझा गर्दछु, हामीलाई एउटा बिन्दुमा पुग्न मद्दत गरेको छ जहाँ हामी काम गर्ने एउटा खोज्ने प्रयास गर्नुको सट्टा हाम्रा विचारहरू सुधार गर्नमा ध्यान केन्द्रित गर्न सक्छौं। यद्यपि, यो परियोजना पठार होइन। प्राविधिक र उत्पादनको दृष्टिकोणबाट योजनामा ​​अझै धेरै कुराहरू छन्।

सिद्धान्त 1: व्यापार मूल्य पहिले

हामीले हाम्रा सबै प्रयासहरूमा "व्यवसाय मूल्य" लाई अगाडि राख्छौं। सामान्यतया, कुनै पनि स्वचालित विश्लेषण प्रणाली उच्च स्तरको स्वचालन र प्राविधिक जटिलता भएका जटिल प्रणालीहरूको समूहसँग सम्बन्धित छ। यदि तपाइँ यसलाई स्क्र्याचबाट सिर्जना गर्नुहुन्छ भने पूर्ण समाधान सिर्जना गर्न धेरै समय लाग्नेछ। हामीले व्यावसायिक मूल्यलाई पहिलो र प्राविधिक पूर्णतालाई दोस्रोमा राख्ने निर्णय गर्‍यौं। वास्तविक जीवनमा, यसको मतलब यो हो कि हामीले उन्नत प्रविधिहरूलाई सिद्धान्तको रूपमा स्वीकार गर्दैनौं। हामी यस समयमा हाम्रो लागि उत्तम काम गर्ने प्रविधि छनोट गर्छौं। समय बित्दै जाँदा हामीले केही मोड्युलहरू पुन: लागू गर्नुपर्ने देखिन्छ। यो हामीले स्वीकार गरेको सम्झौता हो।

सिद्धान्त २: संवर्धित बुद्धि

म शर्त गर्छु कि मेसिन लर्निङ समाधानहरू विकास गर्नमा गहिरो रूपमा संलग्न नभएका अधिकांश मानिसहरूले मानिसहरूलाई प्रतिस्थापन गर्ने लक्ष्य हो भन्ने सोच्न सक्छन्। वास्तवमा, मेसिन लर्निङ समाधानहरू उत्तमबाट टाढा छन् र केवल केहि क्षेत्रहरूमा प्रतिस्थापन सम्भव छ। हामीले धेरै कारणहरूका लागि यो विचारलाई सुरुदेखि अस्वीकार गर्‍यौं: धोखाधडी गतिविधिमा असंतुलित डेटा र मेसिन लर्निङ मोडेलहरूका लागि सुविधाहरूको विस्तृत सूची प्रदान गर्न असक्षमता। यसको विपरित, हामीले परिष्कृत बुद्धि विकल्प रोज्यौं। यो कृत्रिम बुद्धिमत्ताको एक वैकल्पिक अवधारणा हो जसले AI को सहयोगी भूमिकामा केन्द्रित छ, यो तथ्यलाई जोड दिँदै कि संज्ञानात्मक प्रविधिहरू मानव बुद्धिलाई प्रतिस्थापन गर्नुको सट्टा बृद्धि गर्ने उद्देश्यका छन्। [१]

यो दिईयो, सुरुदेखि नै पूर्ण मेसिन लर्निङ समाधान विकास गर्न ठूलो प्रयासको आवश्यकता पर्दछ, जसले हाम्रो व्यवसायको लागि मूल्य सिर्जना गर्न ढिलाइ गर्नेछ। हामीले हाम्रा डोमेन विशेषज्ञहरूको मार्गदर्शनमा पुनरावृत्ति रूपमा बढ्दो मेसिन लर्निङ पक्षको साथ प्रणाली निर्माण गर्ने निर्णय गर्यौं। यस्तो प्रणालीको विकासको चुनौतीपूर्ण पक्ष यो हो कि यसले हाम्रा विश्लेषकहरूलाई यो जालसाजी गतिविधि हो वा होइन भन्ने सन्दर्भमा मात्र होइन मुद्दाहरू प्रदान गर्नुपर्दछ। सामान्यतया, ग्राहक व्यवहारमा कुनै पनि विसंगति एक संदिग्ध मामला हो जुन विशेषज्ञहरूले कुनै न कुनै रूपमा अनुसन्धान गर्न र प्रतिक्रिया दिन आवश्यक छ। यी रिपोर्ट गरिएका केसहरूको एक अंशलाई मात्रै ठगीको रूपमा वर्गीकृत गर्न सकिन्छ।

सिद्धान्त ३: रिच एनालिटिक्स प्लेटफर्म

हाम्रो प्रणालीको सबैभन्दा चुनौतीपूर्ण भाग भनेको प्रणालीको कार्यप्रवाहको अन्त्य-देखि-अन्त प्रमाणिकरण हो। विश्लेषकहरू र विकासकर्ताहरूले सजिलैसँग विश्लेषणको लागि प्रयोग गरिएका सबै मेट्रिक्सका साथ ऐतिहासिक डेटा सेटहरू प्राप्त गर्नुपर्छ। थप रूपमा, डाटा प्लेटफर्मले मेट्रिक्सको अवस्थित सेटलाई नयाँसँग पूरक गर्न सजिलो तरिका प्रदान गर्नुपर्छ। हामीले सिर्जना गर्ने प्रक्रियाहरू, र यी केवल सफ्टवेयर प्रक्रियाहरू होइनन्, हामीलाई सजिलैसँग अघिल्लो अवधिहरू पुन: गणना गर्न, नयाँ मेट्रिकहरू थप्न र डेटा पूर्वानुमान परिवर्तन गर्न अनुमति दिनुपर्छ। हामीले हाम्रो उत्पादन प्रणालीले उत्पन्न गर्ने सबै डाटा जम्मा गरेर यो हासिल गर्न सक्छौं। यस अवस्थामा, डाटा बिस्तारै एक उपद्रव बन्नेछ। हामीले प्रयोग नगर्ने बढ्दो मात्रामा डाटा भण्डारण गर्न र यसलाई सुरक्षित गर्न आवश्यक छ। यस्तो परिदृश्यमा, डेटा समयको साथमा अधिक र अधिक अप्रासंगिक हुनेछ, तर अझै पनि यसलाई व्यवस्थापन गर्न हाम्रो प्रयासहरू आवश्यक छ। हाम्रो लागि, डेटा होर्डिङको कुनै अर्थ थिएन, त्यसैले हामीले फरक दृष्टिकोण लिने निर्णय गर्यौं। हामीले वर्गीकरण गर्न चाहने लक्ष्य संस्थाहरू वरपर वास्तविक-समय डाटा स्टोरहरू व्यवस्थित गर्ने निर्णय गर्यौं, र हामीलाई सबैभन्दा हालको र सान्दर्भिक अवधिहरू जाँच गर्न अनुमति दिने डाटा मात्र भण्डारण गर्ने निर्णय गर्यौं। यस प्रयासको लागि चुनौती यो हो कि हाम्रो प्रणाली विषम छ, धेरै डाटा स्टोरहरू र सफ्टवेयर मोड्युलहरू जसलाई निरन्तर रूपमा सञ्चालन गर्न सावधानीपूर्वक योजना चाहिन्छ।

हाम्रो प्रणालीको डिजाइन अवधारणाहरू

हाम्रो प्रणालीमा हामीसँग चार मुख्य कम्पोनेन्टहरू छन्: इन्जेसन प्रणाली, कम्प्युटेशनल, BI विश्लेषण र ट्र्याकिङ प्रणाली। तिनीहरूले विशिष्ट, पृथक उद्देश्यहरू सेवा गर्छन्, र हामी तिनीहरूलाई विशिष्ट डिजाइन दृष्टिकोणहरू पछ्याएर अलग राख्छौं।

सम्झौतामा आधारित डिजाइन

सबै भन्दा पहिले, हामी कम्पोनेन्टहरू केवल केहि डाटा संरचनाहरू (सम्झौताहरू) मा भर पर्नु पर्छ भन्ने कुरामा सहमत भयौं जुन तिनीहरू बीच पारित हुन्छ। यसले तिनीहरूलाई बीचमा एकीकृत गर्न र कम्पोनेन्टहरूको विशिष्ट संरचना (र अर्डर) लागू नगर्न सजिलो बनाउँछ। उदाहरणका लागि, केही अवस्थामा यसले हामीलाई सतर्क ट्र्याकिङ प्रणालीसँग सिधै सेवन प्रणालीलाई एकीकृत गर्न अनुमति दिन्छ। यस्तो अवस्थामा, यो सहमत चेतावनी सम्झौता अनुसार गरिनेछ। यसको मतलब कुनै पनि अन्य कम्पोनेन्टले प्रयोग गर्न सक्ने सम्झौताको प्रयोग गरेर दुवै कम्पोनेन्टहरू एकीकृत हुनेछन्। हामी इनपुट प्रणालीबाट ट्र्याकिङ प्रणालीमा अलर्टहरू थप्नको लागि अतिरिक्त अनुबंध थप्ने छैनौं। यो दृष्टिकोणले पूर्वनिर्धारित न्यूनतम संख्याको अनुबंधको प्रयोग गर्न आवश्यक छ र प्रणाली र सञ्चारलाई सरल बनाउँछ। अनिवार्य रूपमा, हामी "कन्ट्र्याक्ट फर्स्ट डिजाइन" भन्ने दृष्टिकोण लिन्छौं र यसलाई स्ट्रिमिङ अनुबंधहरूमा लागू गर्छौं। [२]

जताततै स्ट्रिमिङ

प्रणालीमा राज्य बचत र व्यवस्थापनले अनिवार्य रूपमा यसको कार्यान्वयनमा जटिलताहरू निम्त्याउँछ। सामान्यतया, राज्य कुनै पनि कम्पोनेन्टबाट पहुँचयोग्य हुनुपर्छ, यो एकरूप हुनुपर्छ र सबै कम्पोनेन्टहरूमा सबैभन्दा हालको मूल्य प्रदान गर्नुपर्छ, र यो सही मानहरूसँग भरपर्दो हुनुपर्छ। थप रूपमा, भर्खरको स्थिति पुन: प्राप्त गर्न निरन्तर भण्डारणमा कल गर्नाले हाम्रो वास्तविक-समय पाइपलाइनहरूमा प्रयोग हुने I/O अपरेशनहरूको संख्या र एल्गोरिदमहरूको जटिलता बढाउनेछ। यस कारणले, हामीले हाम्रो प्रणालीबाट राज्य भण्डारण, सम्भव भएमा, पूर्ण रूपमा हटाउने निर्णय गर्यौं। यस दृष्टिकोणले सबै आवश्यक डाटा ट्रान्समिटेड डाटा ब्लक (सन्देश) मा समावेश गर्न आवश्यक छ। उदाहरणका लागि, यदि हामीले केही अवलोकनहरूको कुल सङ्ख्या (अपरेसनहरूको संख्या वा निश्चित विशेषताहरू भएका केसहरूको संख्या) गणना गर्न आवश्यक छ भने, हामी यसलाई मेमोरीमा गणना गर्छौं र त्यस्ता मानहरूको स्ट्रिम उत्पन्न गर्छौं। निर्भर मोड्युलहरूले स्ट्रिमलाई इकाईहरूमा विभाजन गर्न र नवीनतम मानहरूमा सञ्चालन गर्न विभाजन र ब्याचिङ प्रयोग गर्नेछ। यस दृष्टिकोणले यस्तो डाटाको लागि निरन्तर डिस्क भण्डारणको आवश्यकतालाई हटायो। हाम्रो प्रणालीले काफ्कालाई सन्देश ब्रोकरको रूपमा प्रयोग गर्दछ र यसलाई KSQL सँग डाटाबेसको रूपमा प्रयोग गर्न सकिन्छ। [३] तर यसको प्रयोगले हाम्रो समाधानलाई काफ्कासँग जोड्ने थियो, र हामीले यसलाई प्रयोग नगर्ने निर्णय गर्यौं। हामीले रोजेको दृष्टिकोणले हामीलाई प्रणालीमा ठूलो आन्तरिक परिवर्तन नगरी काफ्कालाई अर्को सन्देश ब्रोकरसँग बदल्न अनुमति दिन्छ।

यो अवधारणाको मतलब यो होइन कि हामी डिस्क भण्डारण र डाटाबेसहरू प्रयोग गर्दैनौं। प्रणाली कार्यसम्पादन परीक्षण र विश्लेषण गर्न, हामीले विभिन्न मेट्रिक्स र राज्यहरू प्रतिनिधित्व गर्ने डिस्कमा डाटाको महत्त्वपूर्ण मात्रा भण्डारण गर्न आवश्यक छ। यहाँ महत्त्वपूर्ण कुरा यो हो कि वास्तविक-समय एल्गोरिदमहरू त्यस्ता डेटामा निर्भर हुँदैन। धेरैजसो अवस्थामा, हामी अफलाइन विश्लेषण, डिबगिङ र प्रणालीले उत्पादन गर्ने विशिष्ट केसहरू र परिणामहरूको ट्र्याकिङका लागि भण्डारण गरिएको डाटा प्रयोग गर्छौं।

हाम्रो प्रणाली को समस्या

त्यहाँ केहि समस्याहरू छन् जुन हामीले एक निश्चित स्तरमा हल गरेका छौं, तर तिनीहरूलाई थप विचारशील समाधान चाहिन्छ। अब म तिनीहरूलाई यहाँ उल्लेख गर्न चाहन्छु किनभने प्रत्येक बिन्दु आफ्नै लेखको लायक छ।

• हामीले अझै पनि हाम्रो स्वचालित डेटा विश्लेषण, खोज र अन्वेषणको लागि अर्थपूर्ण र सान्दर्भिक डेटाको सङ्कलनलाई समर्थन गर्ने प्रक्रियाहरू र नीतिहरू परिभाषित गर्न आवश्यक छ।
• मानव विश्लेषण नतिजाहरु लाई नवीनतम डाटा संग अद्यावधिक गर्न को लागी स्वचालित रूपमा सेट अप को प्रक्रिया मा समावेश। यसले हाम्रो मोडेललाई मात्र अद्यावधिक गर्दैन, तर हाम्रो प्रक्रियाहरू अद्यावधिक गर्दै र हाम्रो डेटाको हाम्रो बुझाइमा सुधार गर्दछ।
• IF-ELSE र ML को नियतात्मक दृष्टिकोण बीच सन्तुलन खोज्दै। कसैले भन्यो, "माले निराशाको औजार हो।" यसको मतलब यो हो कि तपाईले ML प्रयोग गर्न चाहानुहुन्छ जब तपाईले आफ्नो एल्गोरिदमलाई कसरी अनुकूलन र सुधार गर्ने भनेर बुझ्नुहुन्न। अर्कोतर्फ, निर्धारणवादी दृष्टिकोणले विसंगतिहरू पत्ता लगाउन अनुमति दिँदैन जुन अपेक्षित थिएन।
• डेटा मा मेट्रिक्स बीच हाम्रो परिकल्पना वा सहसंबंध परीक्षण गर्न हामीलाई एक सरल तरिका चाहिन्छ।
• प्रणालीमा साँचो सकारात्मक परिणामहरूको धेरै स्तरहरू हुनुपर्छ। ठगी मुद्दाहरू प्रणालीको लागि सकारात्मक मान्न सकिने सबै केसहरूको एक अंश मात्र हुन्। उदाहरणका लागि, विश्लेषकहरू प्रमाणीकरणका लागि सबै संदिग्ध केसहरू प्राप्त गर्न चाहन्छन्, र तिनीहरूमध्ये थोरै अंश मात्र धोखाधडी हुन्। यो वास्तविक धोखाधडी वा केवल संदिग्ध व्यवहार हो वा होइन, प्रणालीले सबै केसहरूलाई विश्लेषकहरू समक्ष कुशलतापूर्वक प्रस्तुत गर्नुपर्छ।
• डाटा प्लेटफर्मले ऐतिहासिक डेटा सेटहरू पुन: प्राप्त गर्न सक्षम हुनुपर्दछ र उडानमा गणना गरिएको गणनाको साथ।
• कम्तिमा तीन फरक वातावरणमा सजिलै र स्वचालित रूपमा प्रणाली कम्पोनेन्टहरू तैनात गर्नुहोस्: उत्पादन, प्रयोगात्मक (बिटा) र विकासकर्ताहरूको लागि।
• र अन्तिम तर कम से कम। हामीले एक समृद्ध प्रदर्शन परीक्षण प्लेटफर्म निर्माण गर्न आवश्यक छ जसमा हामी हाम्रा मोडेलहरूको विश्लेषण गर्न सक्छौं। [४]

सन्दर्भ

1. संवर्धित बुद्धि भनेको के हो?
2. एपीआई-फर्स्ट डिजाइन पद्धति लागू गर्दै
3. काफ्का "घटना स्ट्रिमिङ डाटाबेस" मा रूपान्तरण गर्दै
4. AUC - ROC वक्र बुझ्दै

स्रोत: www.habr.com