इलास्टिक स्टैक में मशीन लर्निंग को समझना (उर्फ इलास्टिक्स खोज, उर्फ ​​ईएलके)

आइए याद रखें कि इलास्टिक स्टैक गैर-रिलेशनल इलास्टिक्स खोज डेटाबेस, किबाना वेब इंटरफ़ेस और डेटा कलेक्टर और प्रोसेसर (सबसे प्रसिद्ध लॉगस्टैश, विभिन्न बीट्स, एपीएम और अन्य) पर आधारित है। संपूर्ण सूचीबद्ध उत्पाद स्टैक में एक अच्छा जोड़ मशीन लर्निंग एल्गोरिदम का उपयोग करके डेटा विश्लेषण है। लेख में हम समझते हैं कि ये एल्गोरिदम क्या हैं। कृपया बिल्ली के नीचे.

मशीन लर्निंग शेयरवेयर इलास्टिक स्टैक की एक सशुल्क सुविधा है और एक्स-पैक में शामिल है। इसका उपयोग शुरू करने के लिए, इंस्टॉलेशन के बाद बस 30-दिवसीय परीक्षण सक्रिय करें। परीक्षण अवधि समाप्त होने के बाद, आप इसे बढ़ाने या सदस्यता खरीदने के लिए समर्थन का अनुरोध कर सकते हैं। सदस्यता की लागत की गणना डेटा की मात्रा के आधार पर नहीं, बल्कि उपयोग किए गए नोड्स की संख्या के आधार पर की जाती है। नहीं, डेटा की मात्रा, निश्चित रूप से, आवश्यक नोड्स की संख्या को प्रभावित करती है, लेकिन फिर भी कंपनी के बजट के संबंध में लाइसेंसिंग का यह दृष्टिकोण अधिक मानवीय है। यदि उच्च उत्पादकता की कोई आवश्यकता नहीं है, तो आप पैसे बचा सकते हैं।

इलास्टिक स्टैक में ML C++ में लिखा जाता है और JVM के बाहर चलता है, जिसमें Elasticsearch स्वयं चलता है। यानी, प्रक्रिया (वैसे, इसे ऑटोडिटेक्ट कहा जाता है) वह सब कुछ खा जाती है जिसे JVM निगल नहीं पाता है। डेमो स्टैंड पर यह इतना महत्वपूर्ण नहीं है, लेकिन उत्पादन परिवेश में एमएल कार्यों के लिए अलग-अलग नोड आवंटित करना महत्वपूर्ण है।

मशीन लर्निंग एल्गोरिदम दो श्रेणियों में आते हैं - शिक्षक के साथ и बिना शिक्षक के. इलास्टिक स्टैक में, एल्गोरिदम "अपर्यवेक्षित" श्रेणी में है। द्वारा इस कड़ी आप मशीन लर्निंग एल्गोरिदम का गणितीय उपकरण देख सकते हैं।

विश्लेषण करने के लिए, मशीन लर्निंग एल्गोरिदम इलास्टिक्स खोज इंडेक्स में संग्रहीत डेटा का उपयोग करता है। आप किबाना इंटरफ़ेस और एपीआई दोनों के माध्यम से विश्लेषण के लिए कार्य बना सकते हैं। अगर आप किबाना के जरिए ऐसा करते हैं तो आपको कुछ चीजें जानने की जरूरत नहीं है। उदाहरण के लिए, अतिरिक्त इंडेक्स जो एल्गोरिदम अपने ऑपरेशन के दौरान उपयोग करता है।

विश्लेषण प्रक्रिया में प्रयुक्त अतिरिक्त सूचकांक.एमएल-स्टेट - सांख्यिकीय मॉडल (विश्लेषण सेटिंग्स) के बारे में जानकारी;
.ml-विसंगतियाँ-* - एमएल एल्गोरिदम के परिणाम;
.एमएल-सूचनाएँ - विश्लेषण परिणामों के आधार पर सूचनाओं के लिए सेटिंग्स।

इलास्टिक्स खोज डेटाबेस में डेटा संरचना में अनुक्रमित और उनमें संग्रहीत दस्तावेज़ शामिल हैं। जब किसी रिलेशनल डेटाबेस से तुलना की जाती है, तो एक इंडेक्स की तुलना डेटाबेस स्कीमा से की जा सकती है, और एक दस्तावेज़ की तुलना किसी तालिका में रिकॉर्ड से की जा सकती है। यह तुलना सशर्त है और उन लोगों के लिए आगे की सामग्री की समझ को सरल बनाने के लिए प्रदान की गई है जिन्होंने केवल इलास्टिक्स खोज के बारे में सुना है।

एपीआई के माध्यम से वेब इंटरफ़ेस के समान ही कार्यक्षमता उपलब्ध है, इसलिए अवधारणाओं की स्पष्टता और समझ के लिए, हम दिखाएंगे कि इसे किबाना के माध्यम से कैसे कॉन्फ़िगर किया जाए। बाईं ओर मेनू में एक मशीन लर्निंग अनुभाग है जहां आप एक नया कार्य बना सकते हैं। किबाना इंटरफ़ेस में यह नीचे दी गई छवि जैसा दिखता है। अब हम प्रत्येक प्रकार के कार्य का विश्लेषण करेंगे और दिखाएंगे कि किस प्रकार के विश्लेषण का निर्माण यहां किया जा सकता है।

सिंगल मेट्रिक - एक मेट्रिक का विश्लेषण, मल्टी मेट्रिक - दो या दो से अधिक मेट्रिक का विश्लेषण। दोनों मामलों में, प्रत्येक मीट्रिक का विश्लेषण एक पृथक वातावरण में किया जाता है, अर्थात। एल्गोरिदम समानांतर विश्लेषण किए गए मेट्रिक्स के व्यवहार को ध्यान में नहीं रखता है, जैसा कि मल्टी मेट्रिक के मामले में लग सकता है। विभिन्न मैट्रिक्स के सहसंबंध को ध्यान में रखते हुए गणना करने के लिए, आप जनसंख्या विश्लेषण का उपयोग कर सकते हैं। और एडवांस्ड कुछ कार्यों के लिए अतिरिक्त विकल्पों के साथ एल्गोरिदम को ठीक कर रहा है।

एकल मीट्रिक

एक एकल मीट्रिक में परिवर्तनों का विश्लेषण करना सबसे सरल काम है जो यहां किया जा सकता है। क्रिएट जॉब पर क्लिक करने के बाद, एल्गोरिदम विसंगतियों की तलाश करेगा।

क्षेत्र में एकत्रीकरण आप विसंगतियों की खोज के लिए एक दृष्टिकोण चुन सकते हैं। उदाहरण के लिए, जब मिन विशिष्ट मानों से नीचे के मानों को असंगत माना जाएगा। खाओ अधिकतम, उच्च माध्य, निम्न, माध्य, विशिष्ट और दूसरे। सभी कार्यों का विवरण पाया जा सकता है по ссылке.

क्षेत्र में क्षेत्र दस्तावेज़ में संख्यात्मक फ़ील्ड इंगित करता है जिस पर हम विश्लेषण करेंगे।

क्षेत्र में बाल्टी का विस्तार - समयरेखा पर अंतराल की ग्रैन्युलैरिटी जिसके साथ विश्लेषण किया जाएगा। आप स्वचालन पर भरोसा कर सकते हैं या मैन्युअल रूप से चुन सकते हैं। नीचे दी गई छवि ग्रैन्युलैरिटी के बहुत कम होने का एक उदाहरण है - आप विसंगति को भूल सकते हैं। इस सेटिंग का उपयोग करके, आप एल्गोरिदम की संवेदनशीलता को विसंगतियों में बदल सकते हैं।

एकत्र किए गए डेटा की अवधि एक महत्वपूर्ण बात है जो विश्लेषण की प्रभावशीलता को प्रभावित करती है। विश्लेषण के दौरान, एल्गोरिदम दोहराए जाने वाले अंतरालों की पहचान करता है, आत्मविश्वास अंतराल (बेसलाइन) की गणना करता है और विसंगतियों की पहचान करता है - मीट्रिक के सामान्य व्यवहार से असामान्य विचलन। उदाहरण के लिए:

डेटा के एक छोटे टुकड़े के साथ आधार रेखाएँ:

जब एल्गोरिदम में सीखने के लिए कुछ होता है, तो आधार रेखा इस तरह दिखती है:

कार्य शुरू करने के बाद, एल्गोरिदम मानक से असामान्य विचलन निर्धारित करता है और उन्हें विसंगति की संभावना के अनुसार रैंक करता है (संबंधित लेबल का रंग कोष्ठक में दर्शाया गया है):

चेतावनी (नीला): 25 से कम
माइनर (पीला): 25-50
मेजर (नारंगी): 50-75
गंभीर (लाल): 75-100

नीचे दिया गया ग्राफ़ पाई गई विसंगतियों का एक उदाहरण दिखाता है।

यहां आप संख्या 94 देख सकते हैं, जो एक विसंगति की संभावना को इंगित करता है। यह स्पष्ट है कि चूंकि मान 100 के करीब है, इसका मतलब है कि हमारे पास एक विसंगति है। ग्राफ़ के नीचे का कॉलम वहां प्रदर्शित होने वाले मीट्रिक मान के 0.000063634% की निंदनीय रूप से छोटी संभावना को दर्शाता है।

विसंगतियों की खोज के अलावा, आप किबाना में पूर्वानुमान चला सकते हैं। यह सरलता से और विसंगतियों के साथ एक ही दृश्य से किया जाता है - बटन पूर्वानुमान ऊपरी दाएँ कोने में.

पूर्वानुमान अधिकतम 8 सप्ताह पहले लगाया जाता है। भले ही आप वास्तव में ऐसा करना चाहें, यह अब डिज़ाइन द्वारा संभव नहीं है।

कुछ स्थितियों में, पूर्वानुमान बहुत उपयोगी होगा, उदाहरण के लिए, बुनियादी ढांचे पर उपयोगकर्ता भार की निगरानी करते समय।

मल्टी मेट्रिक

आइए इलास्टिक स्टैक में अगले एमएल फीचर पर चलते हैं - एक बैच में कई मेट्रिक्स का विश्लेषण। लेकिन इसका मतलब यह नहीं है कि एक मीट्रिक की दूसरे पर निर्भरता का विश्लेषण किया जाएगा। यह सिंगल मेट्रिक के समान है, लेकिन एक स्क्रीन पर कई मेट्रिक्स के साथ एक के दूसरे पर प्रभाव की आसान तुलना होती है। हम जनसंख्या अनुभाग में एक मीट्रिक की दूसरे पर निर्भरता का विश्लेषण करने के बारे में बात करेंगे।

मल्टी मेट्रिक वाले वर्ग पर क्लिक करने के बाद सेटिंग्स वाली एक विंडो दिखाई देगी। आइए उन पर अधिक विस्तार से नजर डालें।

सबसे पहले आपको विश्लेषण और उन पर डेटा एकत्रीकरण के लिए फ़ील्ड का चयन करना होगा। यहां एकत्रीकरण विकल्प एकल मीट्रिक के समान हैं (अधिकतम, उच्च माध्य, निम्न, माध्य, विशिष्ट और दूसरे)। इसके अलावा, यदि वांछित है, तो डेटा को किसी एक फ़ील्ड (फ़ील्ड) में विभाजित किया गया है डेटा विभाजित करें). उदाहरण में, हमने इसे फ़ील्ड के अनुसार किया ओरिजिनएयरपोर्टआईडी. ध्यान दें कि दाईं ओर का मेट्रिक्स ग्राफ़ अब एकाधिक ग्राफ़ के रूप में प्रस्तुत किया गया है।

क्षेत्र प्रमुख क्षेत्र (प्रभावक) पाई गई विसंगतियों को सीधे प्रभावित करता है। डिफ़ॉल्ट रूप से यहां हमेशा कम से कम एक मान रहेगा, और आप अतिरिक्त मान जोड़ सकते हैं। विश्लेषण करते समय एल्गोरिदम इन क्षेत्रों के प्रभाव को ध्यान में रखेगा और सबसे "प्रभावशाली" मान दिखाएगा।

लॉन्च के बाद किबाना इंटरफ़ेस में कुछ इस तरह दिखाई देगा.

यह तथाकथित है प्रत्येक फ़ील्ड मान के लिए विसंगतियों का ताप मानचित्र ओरिजिनएयरपोर्टआईडी, जिसका हमने संकेत किया था डेटा विभाजित करें. सिंगल मेट्रिक की तरह, रंग असामान्य विचलन के स्तर को इंगित करता है। इसी तरह का विश्लेषण करना सुविधाजनक है, उदाहरण के लिए, संदिग्ध रूप से बड़ी संख्या में प्राधिकरण आदि वाले लोगों को ट्रैक करने के लिए कार्यस्थानों पर। हम पहले ही लिख चुके हैं इवेंटलॉग विंडोज़ में संदिग्ध घटनाओं के बारे में, जिसे यहां एकत्रित और विश्लेषित भी किया जा सकता है।

हीट मैप के नीचे विसंगतियों की एक सूची है, प्रत्येक से आप विस्तृत विश्लेषण के लिए एकल मीट्रिक दृश्य पर स्विच कर सकते हैं।

आबादी

विभिन्न मेट्रिक्स के बीच सहसंबंधों के बीच विसंगतियों को देखने के लिए, इलास्टिक स्टैक में एक विशेष जनसंख्या विश्लेषण है। इसकी मदद से आप दूसरों की तुलना में सर्वर के प्रदर्शन में असामान्य मूल्यों की तलाश कर सकते हैं, उदाहरण के लिए, लक्ष्य प्रणाली के लिए अनुरोधों की संख्या बढ़ जाती है।

इस उदाहरण में, जनसंख्या फ़ील्ड उस मान को इंगित करता है जिससे विश्लेषण किए गए मेट्रिक्स संबंधित होंगे। इस मामले में यह प्रक्रिया का नाम है. परिणामस्वरूप, हम देखेंगे कि प्रत्येक प्रक्रिया के प्रोसेसर लोड ने एक दूसरे को कैसे प्रभावित किया।

कृपया ध्यान दें कि विश्लेषण किए गए डेटा का ग्राफ़ सिंगल मेट्रिक और मल्टी मेट्रिक वाले मामलों से भिन्न है। यह विश्लेषण किए गए डेटा के मूल्यों के वितरण की बेहतर धारणा के लिए डिज़ाइन द्वारा किबाना में किया गया था।

ग्राफ़ दिखाता है कि प्रक्रिया असामान्य रूप से व्यवहार करती है तनाव (वैसे, एक विशेष उपयोगिता द्वारा उत्पन्न) सर्वर पर पोइपु, जिसने इस विसंगति की घटना को प्रभावित किया (या एक प्रभावशाली व्यक्ति निकला)।

उन्नत

बढ़िया ट्यूनिंग के साथ एनालिटिक्स। उन्नत विश्लेषण के साथ, अतिरिक्त सेटिंग्स किबाना में दिखाई देती हैं। निर्माण मेनू में उन्नत टाइल पर क्लिक करने के बाद, टैब वाली यह विंडो दिखाई देती है। टैब नौकरी विवरण हमने इसे जानबूझकर छोड़ दिया, ऐसी बुनियादी सेटिंग्स हैं जो सीधे तौर पर विश्लेषण स्थापित करने से संबंधित नहीं हैं।

В सारांश_गणना_फ़ील्ड_नाम वैकल्पिक रूप से, आप एकत्रित मूल्यों वाले दस्तावेज़ों से किसी फ़ील्ड का नाम निर्दिष्ट कर सकते हैं। इस उदाहरण में, प्रति मिनट घटनाओं की संख्या. में वर्गीकरण_फ़ील्ड_नाम दस्तावेज़ से किसी फ़ील्ड का नाम और मान इंगित करता है जिसमें कुछ परिवर्तनीय मान होते हैं। इस फ़ील्ड पर मास्क का उपयोग करके, आप विश्लेषण किए गए डेटा को उपसमूहों में विभाजित कर सकते हैं। बटन पर ध्यान दें डिटेक्टर जोड़ें पिछले चित्रण में. इस बटन पर क्लिक करने का परिणाम नीचे दिया गया है।

यहां किसी विशिष्ट कार्य के लिए विसंगति डिटेक्टर को कॉन्फ़िगर करने के लिए सेटिंग्स का एक अतिरिक्त ब्लॉक है। हम निम्नलिखित लेखों में विशिष्ट उपयोग के मामलों (विशेषकर सुरक्षा वाले) पर चर्चा करने की योजना बना रहे हैं। उदाहरण के लिए, посмотрите सुलझे हुए मामलों में से एक. यह दुर्लभ रूप से दिखने वाले मूल्यों की खोज से जुड़ा है और लागू किया गया है दुर्लभ कार्य.

क्षेत्र में समारोह आप विसंगतियों को खोजने के लिए एक विशिष्ट फ़ंक्शन का चयन कर सकते हैं। के अलावा दुर्लभ, कुछ और दिलचस्प कार्य हैं - अपना समय и सप्ताह_का_समय. वे क्रमशः पूरे दिन या सप्ताह में मेट्रिक्स के व्यवहार में विसंगतियों की पहचान करते हैं। अन्य विश्लेषण कार्य दस्तावेज़ में है.

В क्षेत्र का नाम दस्तावेज़ के उस क्षेत्र को इंगित करता है जिस पर विश्लेषण किया जाएगा। By_field_name यहां निर्दिष्ट दस्तावेज़ फ़ील्ड के प्रत्येक व्यक्तिगत मान के लिए विश्लेषण परिणामों को अलग करने के लिए उपयोग किया जा सकता है। यदि आप भरते हैं ओवर_फ़ील्ड_नाम आपको जनसंख्या विश्लेषण मिलेगा जिसकी हमने ऊपर चर्चा की है। यदि आप इसमें कोई मान निर्दिष्ट करते हैं विभाजन_फ़ील्ड_नाम, तो दस्तावेज़ के इस क्षेत्र के लिए प्रत्येक मान के लिए अलग-अलग आधार रेखाओं की गणना की जाएगी (उदाहरण के लिए, मान सर्वर का नाम या सर्वर पर प्रक्रिया हो सकता है)। में बहिष्कृत_बारंबार चुन सकता सब या कोई नहीं, जिसका अर्थ होगा बार-बार होने वाले दस्तावेज़ फ़ील्ड मानों को बाहर करना (या शामिल करना)।

इस लेख में, हमने इलास्टिक स्टैक में मशीन लर्निंग की क्षमताओं के बारे में यथासंभव संक्षिप्त जानकारी देने की कोशिश की है; पर्दे के पीछे अभी भी बहुत सारे विवरण बाकी हैं। हमें टिप्पणियों में बताएं कि आप इलास्टिक स्टैक का उपयोग करके किन मामलों को हल करने में कामयाब रहे और आप इसका उपयोग किन कार्यों के लिए करते हैं। हमसे संपर्क करने के लिए, आप Habré पर व्यक्तिगत संदेशों का उपयोग कर सकते हैं या वेबसाइट पर फीडबैक फॉर्म.

स्रोत: www.habr.com