इलास्टिक स्ट्याकमा मेसिन लर्निङ बुझ्दै (उर्फ इलास्टिकसर्च, उर्फ ​​ELK)

याद गरौं कि इलास्टिक स्ट्याक गैर-रिलेशनल इलास्टिकसर्च डाटाबेस, किबाना वेब इन्टरफेस र डाटा सङ्कलनकर्ता र प्रोसेसरहरू (सबैभन्दा प्रसिद्ध लगस्टास, विभिन्न बीट्स, एपीएम र अन्य) मा आधारित छ। सम्पूर्ण सूचीबद्ध उत्पादन स्ट्याकमा राम्रो थपहरू मध्ये एक मेसिन लर्निङ एल्गोरिदमहरू प्रयोग गरेर डेटा विश्लेषण हो। लेखमा हामी यी एल्गोरिदमहरू के हो बुझ्छौं। कृपया बिरालो मुनि।

मेसिन लर्निङ शेयरवेयर इलास्टिक स्ट्याकको सशुल्क सुविधा हो र यसलाई X-Pack मा समावेश गरिएको छ। यसलाई प्रयोग गर्न सुरु गर्न, स्थापना पछि मात्र 30-दिन परीक्षण सक्रिय गर्नुहोस्। परीक्षण अवधि समाप्त भएपछि, तपाइँ यसलाई विस्तार गर्न वा सदस्यता खरिद गर्न समर्थन अनुरोध गर्न सक्नुहुन्छ। सदस्यताको लागत डेटाको मात्रामा आधारित छैन, तर प्रयोग गरिएका नोडहरूको संख्यामा आधारित छ। होइन, डेटाको मात्रा, अवश्य पनि, आवश्यक नोडहरूको संख्यालाई असर गर्छ, तर अझै पनि इजाजतपत्रको लागि यो दृष्टिकोण कम्पनीको बजेटको सम्बन्धमा बढी मानवीय छ। यदि उच्च उत्पादकताको लागि आवश्यक छैन भने, तपाईं पैसा बचत गर्न सक्नुहुन्छ।

इलास्टिक स्ट्याकमा ML C++ मा लेखिएको छ र JVM बाहिर चल्छ, जसमा Elasticsearch आफै चल्छ। अर्थात्, प्रक्रियाले (यसलाई अटोडेक्टेक्ट भनिन्छ) JVM ले ननिल्ने सबै कुरा उपभोग गर्छ। डेमो स्ट्यान्डमा यो धेरै महत्त्वपूर्ण छैन, तर उत्पादन वातावरणमा ML कार्यहरूको लागि छुट्टै नोडहरू आवंटित गर्न महत्त्वपूर्ण छ।

मेसिन लर्निङ एल्गोरिदमहरू दुई वर्गमा पर्छन् - शिक्षक संग и शिक्षक बिना। लोचदार स्ट्याकमा, एल्गोरिथ्म "अनिरिक्षण" कोटिमा छ। द्वारा यो लिङ्क तपाईले मेसिन लर्निङ एल्गोरिदमको गणितीय उपकरण हेर्न सक्नुहुन्छ।

विश्लेषण गर्नको लागि, मेसिन लर्निङ एल्गोरिदमले Elasticsearch अनुक्रमणिकाहरूमा भण्डारण गरिएको डाटा प्रयोग गर्दछ। तपाईं Kibana इन्टरफेस र API मार्फत विश्लेषणको लागि कार्यहरू सिर्जना गर्न सक्नुहुन्छ। यदि तपाइँ यो किबाना मार्फत गर्नुहुन्छ भने, तपाइँ केहि चीजहरू जान्न आवश्यक छैन। उदाहरणका लागि, अतिरिक्त अनुक्रमणिकाहरू जुन एल्गोरिदमले यसको सञ्चालनको क्रममा प्रयोग गर्दछ।

विश्लेषण प्रक्रियामा प्रयोग गरिएका अतिरिक्त सूचकांकहरू.ml-state — सांख्यिकीय मोडेलहरूको बारेमा जानकारी (विश्लेषण सेटिङ);
.ml-anomalies-* — ML एल्गोरिदमका नतिजाहरू;
.ml-सूचनाहरू — विश्लेषण परिणामहरूमा आधारित सूचनाहरूको लागि सेटिङहरू।

Elasticsearch डाटाबेसमा डाटा संरचनामा अनुक्रमणिका र कागजातहरू भण्डारण हुन्छन्। रिलेसनल डाटाबेससँग तुलना गर्दा, सूचकांकलाई डाटाबेस स्कीमासँग तुलना गर्न सकिन्छ, र कागजातलाई तालिकामा रेकर्ड गर्न सकिन्छ। यो तुलना सशर्त हो र Elasticsearch को बारेमा मात्र सुनेकाहरूका लागि थप सामग्रीको समझलाई सरल बनाउन प्रदान गरिएको हो।

एपीआई मार्फत वेब इन्टरफेस मार्फत समान कार्यक्षमता उपलब्ध छ, त्यसैले अवधारणाहरूको स्पष्टता र समझको लागि, हामी यसलाई किबाना मार्फत कसरी कन्फिगर गर्ने भनेर देखाउनेछौं। बायाँको मेनुमा मेसिन लर्निङ खण्ड छ जहाँ तपाईं नयाँ जागिर सिर्जना गर्न सक्नुहुन्छ। किबाना इन्टरफेसमा यो तलको छवि जस्तो देखिन्छ। अब हामी प्रत्येक प्रकारको कार्यको विश्लेषण गर्नेछौं र यहाँ निर्माण गर्न सकिने विश्लेषणका प्रकारहरू देखाउनेछौं।

एकल मेट्रिक - एक मेट्रिकको विश्लेषण, बहु मेट्रिक - दुई वा बढी मेट्रिक्सको विश्लेषण। दुबै अवस्थामा, प्रत्येक मेट्रिक एक अलग वातावरणमा विश्लेषण गरिन्छ, अर्थात्। एल्गोरिदमले समानान्तर विश्लेषण मेट्रिक्सको व्यवहारलाई ध्यानमा राख्दैन, जस्तो कि यो बहु मेट्रिकको मामलामा देखिन्छ। विभिन्न मेट्रिक्सको सहसम्बन्धलाई ध्यानमा राखेर गणनाहरू पूरा गर्न, तपाईंले जनसंख्या विश्लेषण प्रयोग गर्न सक्नुहुन्छ। र उन्नतले निश्चित कार्यहरूको लागि अतिरिक्त विकल्पहरूको साथ एल्गोरिदमहरू राम्रोसँग ट्युन गर्दैछ।

एकल मेट्रिक

एउटै मेट्रिकमा परिवर्तनहरू विश्लेषण गर्नु यहाँ गर्न सकिने सबैभन्दा सरल कुरा हो। Create Job मा क्लिक गरेपछि, एल्गोरिदमले विसंगतिहरू खोज्नेछ।

खेतमा एकत्रीकरण तपाईं विसंगतिहरू खोज्नको लागि एक दृष्टिकोण छनौट गर्न सक्नुहुन्छ। उदाहरण को लागी, जब न्यूनतम सामान्य मानहरू भन्दा तलका मानहरूलाई असामान्य मानिनेछ। खानुहोस् अधिकतम, उच्च माध्य, निम्न, मीन, भिन्न र अन्य। सबै प्रकार्यहरूको विवरण फेला पार्न सकिन्छ लिङ्क.

खेतमा क्षेत्र कागजातको संख्यात्मक क्षेत्रलाई संकेत गर्दछ जसमा हामी विश्लेषण गर्नेछौं।

खेतमा बाल्टी स्प्यान - विश्लेषण गरिने समयरेखामा अन्तरालहरूको ग्रेन्युलारिटी। तपाईं स्वचालनमा भरोसा गर्न सक्नुहुन्छ वा म्यानुअल रूपमा छनौट गर्न सक्नुहुन्छ। तलको छवि ग्रेन्युलेरिटी धेरै कम भएको उदाहरण हो - तपाईंले विसंगति छुटाउन सक्नुहुन्छ। यो सेटिङ प्रयोग गरेर, तपाईंले एल्गोरिदमको संवेदनशीलतालाई विसंगतिहरूमा परिवर्तन गर्न सक्नुहुन्छ।

सङ्कलन गरिएको डाटाको अवधि विश्लेषणको प्रभावकारितालाई असर गर्ने मुख्य कुरा हो। विश्लेषणको क्रममा, एल्गोरिदमले दोहोरिने अन्तरालहरू पहिचान गर्दछ, विश्वास अन्तरालहरू (आधारलाइनहरू) गणना गर्दछ र विसंगतिहरू पहिचान गर्दछ - मेट्रिकको सामान्य व्यवहारबाट असामान्य विचलनहरू। उदाहरणका लागि मात्र:

डाटा को एक सानो टुक्रा संग आधारभूत:

जब एल्गोरिथ्मसँग सिक्नको लागि केहि छ, आधार रेखा यस्तो देखिन्छ:

कार्य सुरु गरेपछि, एल्गोरिथ्मले मानकबाट असामान्य विचलनहरू निर्धारण गर्दछ र विसंगतिको सम्भाव्यता अनुसार तिनीहरूलाई श्रेणीबद्ध गर्दछ (सम्बन्धित लेबलको रंग कोष्ठकमा संकेत गरिएको छ):

चेतावनी (नीलो): 25 भन्दा कम
माइनर (पहेंलो): 25-50
प्रमुख (सुन्तला): 50-75
क्रिटिकल (रातो): ७५-१००

तलको ग्राफले भेटिएका विसंगतिहरूको उदाहरण देखाउँछ।

यहाँ तपाईले संख्या 94 देख्न सक्नुहुन्छ, जसले विसंगतिको सम्भावनालाई संकेत गर्दछ। यो स्पष्ट छ कि मान 100 को नजिक भएकोले, यसको मतलब हामीसँग विसंगति छ। ग्राफको तलको स्तम्भले त्यहाँ देखिने मेट्रिक मानको 0.000063634% को अपमानजनक रूपमा सानो सम्भावना देखाउँछ।

विसंगतिहरू खोज्नुको अतिरिक्त, तपाइँ Kibana मा पूर्वानुमान चलाउन सक्नुहुन्छ। यो सरल र समान दृश्यबाट विसंगतिहरू - बटनको साथ गरिन्छ पूर्वानुमान माथिल्लो दायाँ कुनामा।

पूर्वानुमान अधिकतम 8 हप्ताको लागि अग्रिम बनाइएको छ। यदि तपाइँ साँच्चै चाहनुहुन्छ भने, यो अब डिजाइन द्वारा सम्भव छैन।

केही परिस्थितिहरूमा, पूर्वानुमान धेरै उपयोगी हुनेछ, उदाहरणका लागि, पूर्वाधारमा प्रयोगकर्ता लोड निगरानी गर्दा।

बहु मेट्रिक

लोचदार स्ट्याकमा अर्को ML सुविधामा जाऔं - एक ब्याचमा धेरै मेट्रिक्सको विश्लेषण गर्दै। तर यसको मतलब यो होइन कि एक मेट्रिकको निर्भरता अर्कोमा विश्लेषण गरिनेछ। यो एकल मेट्रिक जस्तै हो, तर एक स्क्रिनमा एकको अर्कोमा प्रभावको सजिलो तुलनाको लागि धेरै मेट्रिक्सको साथ। हामी जनसंख्या खण्डमा एक मेट्रिकको अर्कोमा निर्भरताको विश्लेषण गर्ने बारे कुरा गर्नेछौं।

बहु मेट्रिकको साथ स्क्वायरमा क्लिक गरेपछि, सेटिङहरू सहितको विन्डो देखा पर्नेछ। तिनीहरूलाई थप विवरणमा हेरौं।

पहिले तपाईंले तिनीहरूमा विश्लेषण र डेटा एकत्रीकरणको लागि क्षेत्रहरू चयन गर्न आवश्यक छ। यहाँ एकत्रीकरण विकल्पहरू एकल मेट्रिकका लागि समान छन् (अधिकतम, उच्च माध्य, निम्न, मीन, भिन्न र अन्य)। यसबाहेक, यदि चाहियो भने, डाटा फिल्डहरू मध्ये एकमा विभाजित गरिएको छ (फिल्ड डाटा विभाजन गर्नुहोस्)। उदाहरणमा, हामीले फिल्डद्वारा यो गर्यौं OriginAirportID। ध्यान दिनुहोस् कि दायाँ मा मेट्रिक्स ग्राफ अब धेरै ग्राफ को रूप मा प्रस्तुत गरिएको छ।

क्षेत्र प्रमुख क्षेत्रहरू (प्रभावकर्ताहरू) पत्ता लागेका विसंगतिहरूलाई प्रत्यक्ष असर गर्छ। पूर्वनिर्धारित रूपमा त्यहाँ सधैं कम्तिमा एउटा मान यहाँ हुनेछ, र तपाईं थप थप्न सक्नुहुन्छ। एल्गोरिदमले विश्लेषण गर्दा यी क्षेत्रहरूको प्रभावलाई ध्यानमा राख्छ र सबैभन्दा "प्रभावशाली" मानहरू देखाउँछ।

सुरुवात पछि, यो जस्तै केहि Kibana इन्टरफेसमा देखा पर्नेछ।

यो तथाकथित छ प्रत्येक क्षेत्र मानको लागि विसंगतिहरूको तातो नक्शा OriginAirportID, जसमा हामीले संकेत गरेका छौं डाटा विभाजन गर्नुहोस्। एकल मेट्रिकको रूपमा, रंगले असामान्य विचलनको स्तरलाई संकेत गर्दछ। यो समान विश्लेषण गर्न सुविधाजनक छ, उदाहरणका लागि, वर्कस्टेशनहरूमा संदिग्ध रूपमा ठूलो संख्यामा प्राधिकरणहरू, आदि भएकाहरूलाई ट्र्याक गर्न। हामीले पहिले नै लेखेका छौं EventLog Windows मा संदिग्ध घटनाहरूको बारेमा, जसलाई यहाँ संकलन र विश्लेषण गर्न सकिन्छ।

ताप नक्साको तल विसंगतिहरूको सूची छ, प्रत्येकबाट तपाईं विस्तृत विश्लेषणको लागि एकल मेट्रिक दृश्यमा स्विच गर्न सक्नुहुन्छ।

जनसंख्या

विभिन्न मेट्रिक्सहरू बीचको सम्बन्धहरू बीचको विसंगतिहरू हेर्नको लागि, इलास्टिक स्ट्याकसँग एक विशेष जनसंख्या विश्लेषण छ। यो यसको मद्दतले हो कि तपाईले अन्यको तुलनामा सर्भरको प्रदर्शनमा असामान्य मानहरू खोज्न सक्नुहुन्छ जब, उदाहरणका लागि, लक्षित प्रणालीमा अनुरोधहरूको संख्या बढ्छ।

यस दृष्टान्तमा, जनसंख्या क्षेत्रले विश्लेषण गरिएको मेट्रिक्ससँग सम्बन्धित हुने मानलाई संकेत गर्दछ। यस मामला मा यो प्रक्रिया को नाम हो। नतिजाको रूपमा, हामी हेर्नेछौं कि प्रत्येक प्रक्रियाको प्रोसेसर लोडले एकअर्कालाई कसरी प्रभाव पार्छ।

कृपया ध्यान दिनुहोस् कि विश्लेषण गरिएको डाटाको ग्राफ एकल मेट्रिक र बहु ​​मेट्रिक भएका केसहरू भन्दा फरक छ। यो किबाना मा विश्लेषण डाटा को मान को वितरण को एक सुधार धारणा को लागी डिजाइन द्वारा गरिएको थियो।

ग्राफले प्रक्रिया असामान्य रूपमा व्यवहार गरेको देखाउँछ तनाव (वैसे, एक विशेष उपयोगिता द्वारा उत्पन्न) सर्भर मा poipu, जसले यस विसंगतिको घटनालाई प्रभाव पार्यो (वा प्रभावकारी बन्यो)।

विकसित

राम्रो ट्युनिंग संग विश्लेषण। उन्नत विश्लेषणको साथ, किबानामा अतिरिक्त सेटिङहरू देखा पर्छन्। सिर्जना मेनुमा उन्नत टाइलमा क्लिक गरेपछि, ट्याबहरू भएको यो विन्डो देखिन्छ। ट्याब कार्य विवरण हामीले यसलाई उद्देश्यमा छोड्यौं, त्यहाँ आधारभूत सेटिङहरू छन् जुन सीधा विश्लेषण सेटअपसँग सम्बन्धित छैन।

В summary_count_field_name वैकल्पिक रूपमा, तपाईंले जम्मा गरिएका मानहरू भएका कागजातहरूबाट फिल्डको नाम निर्दिष्ट गर्न सक्नुहुन्छ। यस उदाहरणमा, प्रति मिनेट घटनाहरूको संख्या। IN वर्गीकरण_क्षेत्र_नाम केही चर मान समावेश भएको कागजातबाट फिल्डको नाम र मानलाई संकेत गर्दछ। यस फिल्डमा मास्क प्रयोग गरेर, तपाईंले विश्लेषण गरिएको डाटालाई सबसेटहरूमा विभाजन गर्न सक्नुहुन्छ। बटनमा ध्यान दिनुहोस् डिटेक्टर थप्नुहोस् अघिल्लो दृष्टान्तमा। तल यो बटन क्लिक गर्दा परिणाम छ।

यहाँ एउटा विशेष कार्यको लागि विसंगति डिटेक्टर कन्फिगर गर्न सेटिङहरूको अतिरिक्त ब्लक छ। हामी निम्न लेखहरूमा विशेष प्रयोग केसहरू (विशेष गरी सुरक्षाहरू) छलफल गर्ने योजना बनाउँछौं। उदाहरणका लागि, एक पटक हेर छुट्याइएको केस मध्ये एक। यो विरलै देखिने मानहरूको खोजीसँग सम्बन्धित छ र लागू गरिएको छ दुर्लभ प्रकार्य.

खेतमा समारोह तपाईं विसंगतिहरू खोज्नको लागि एक विशेष प्रकार्य चयन गर्न सक्नुहुन्छ। बाहेक दुर्लभ, त्यहाँ केहि थप रोचक कार्यहरू छन् - दिन को समय и हप्ताको_समय। तिनीहरू क्रमशः दिन वा हप्ताभरि मेट्रिक्सको व्यवहारमा विसंगतिहरू पहिचान गर्छन्। अन्य विश्लेषण कार्यहरू दस्तावेजमा छ.

В क्षेत्र_नाम कागजातको क्षेत्रलाई संकेत गर्दछ जसमा विश्लेषण गरिनेछ। द्वारा_field_name यहाँ निर्दिष्ट गरिएको कागजात क्षेत्रको प्रत्येक व्यक्तिगत मानको लागि विश्लेषण परिणामहरू अलग गर्न प्रयोग गर्न सकिन्छ। यदि तपाइँ भर्नुहोस् over_field_name हामीले माथि छलफल गरेको जनसंख्या विश्लेषण तपाईंले पाउनुभयो। यदि तपाइँ मा मान निर्दिष्ट गर्नुहुन्छ partition_field_name, त्यसपछि कागजातको यस क्षेत्रको लागि प्रत्येक मानको लागि अलग आधार रेखाहरू गणना गरिनेछ (मान हुन सक्छ, उदाहरणका लागि, सर्भरको नाम वा सर्भरमा प्रक्रिया)। IN exclude_frequent छनौट गर्न सक्नुहुन्छ सबै वा कुनै पनि, जसको अर्थ बारम्बार हुने कागजात क्षेत्र मानहरू बाहेक (वा समावेश) हुनेछ।

यस लेखमा, हामीले इलास्टिक स्ट्याकमा मेसिन लर्निङको क्षमताहरूको बारेमा सकेसम्म संक्षिप्त विचार दिने प्रयास गर्यौं; त्यहाँ अझै धेरै विवरणहरू पर्दा पछाडि बाँकी छन्। इलास्टिक स्ट्याक प्रयोग गरेर तपाईले कुन केसहरू समाधान गर्न प्रबन्ध गर्नुभयो र तपाईले यसलाई कुन कार्यहरूको लागि प्रयोग गर्नुभयो भनेर हामीलाई टिप्पणीहरूमा बताउनुहोस्। हामीलाई सम्पर्क गर्न, तपाईं Habré वा मा व्यक्तिगत सन्देशहरू प्रयोग गर्न सक्नुहुन्छ वेबसाइटमा प्रतिक्रिया फारम.

स्रोत: www.habr.com