इलास्टिक स्टैक में मशीन लर्निंग को समझना (उर्फ इलास्टिक्स खोज, उर्फ ​​ईएलके)

स्मरण रहे कि इलास्टिक स्टैक गैर-संबंधपरक इलास्टिकसर्च डेटाबेस, किबाना वेब इंटरफेस, तथा डेटा संग्रहकर्ता और प्रोसेसर (सबसे प्रसिद्ध लॉगस्टैश, विभिन्न बीट्स, एपीएम, और अन्य) पर आधारित है। ऊपर सूचीबद्ध उत्पादों के पूरे ढेर में एक अच्छा अतिरिक्त उत्पाद मशीन लर्निंग एल्गोरिदम का उपयोग करके डेटा विश्लेषण है। इस लेख में हम देखेंगे कि ये एल्गोरिदम क्या हैं। कृपया नीचे देखें।

मशीन लर्निंग फ्रीमियम इलास्टिक स्टैक की एक सशुल्क सुविधा है और इसे एक्स-पैक में शामिल किया गया है। इसका उपयोग शुरू करने के लिए, बस स्थापना के बाद 30-दिन का परीक्षण सक्रिय करें। परीक्षण अवधि समाप्त होने के बाद, आप विस्तार के लिए सहायता मांग सकते हैं या सदस्यता खरीद सकते हैं। सदस्यता लागत की गणना डेटा की मात्रा के आधार पर नहीं, बल्कि उपयोग किए गए नोड्स की संख्या के आधार पर की जाती है। नहीं, डेटा की मात्रा, निश्चित रूप से, आवश्यक नोड्स की संख्या को प्रभावित करती है, लेकिन फिर भी, लाइसेंसिंग के लिए यह दृष्टिकोण कंपनी के बजट के संबंध में अधिक मानवीय है। यदि उच्च प्रदर्शन की आवश्यकता नहीं है, तो आप पैसे बचा सकते हैं।

इलास्टिक स्टैक में एमएल C++ में लिखा गया है और JVM के बाहर चलता है जिसमें इलास्टिकसर्च स्वयं चलता है। अर्थात्, प्रक्रिया (वैसे, इसे ऑटोडिटेक्ट कहा जाता है) वह सब कुछ ग्रहण कर लेती है जिसे JVM ग्रहण नहीं कर पाता है। डेमो स्टैण्ड पर यह इतना महत्वपूर्ण नहीं है, लेकिन उत्पादन परिवेश में एमएल कार्यों के लिए अलग-अलग नोड्स आवंटित करना महत्वपूर्ण है।

मशीन लर्निंग एल्गोरिदम को दो श्रेणियों में विभाजित किया गया है - एक शिक्षक के साथ и बिना शिक्षक के. इलास्टिक स्टैक में, एल्गोरिथ्म "अनसुपरवाइज्ड" श्रेणी से है। द्वारा इस कड़ी आप मशीन लर्निंग एल्गोरिदम के गणितीय तंत्र को देख सकते हैं।

विश्लेषण करने के लिए, मशीन लर्निंग एल्गोरिदम इलास्टिकसर्च इंडेक्स में संग्रहीत डेटा का उपयोग करता है। आप किबाना इंटरफ़ेस और API दोनों के माध्यम से विश्लेषण के लिए कार्य बना सकते हैं। यदि आप यह काम किबाना के माध्यम से करते हैं, तो कुछ चीजें ऐसी हैं जिन्हें आपको जानने की आवश्यकता नहीं है। उदाहरण के लिए, अतिरिक्त सूचकांक जो एल्गोरिदम अपने संचालन के दौरान उपयोग करता है।

विश्लेषण प्रक्रिया में प्रयुक्त अतिरिक्त सूचकांक.ml-state — सांख्यिकीय मॉडल (विश्लेषण सेटिंग्स) के बारे में जानकारी;
.ml-anomalies-* — एमएल एल्गोरिदम के परिणाम;
.ml-notifications — विश्लेषण परिणामों के आधार पर सूचनाओं के लिए सेटिंग्स।

इलास्टिकसर्च डेटाबेस में डेटा संरचना में सूचकांक और उनमें संग्रहीत दस्तावेज़ शामिल होते हैं। यदि हम इसकी तुलना रिलेशनल डेटाबेस से करें, तो इंडेक्स की तुलना डेटाबेस स्कीमा से तथा डॉक्यूमेंट की तुलना तालिका में रिकॉर्ड से की जा सकती है। यह तुलना सशर्त है और उन लोगों के लिए आगे की सामग्री की समझ को सरल बनाने के लिए दी गई है जिन्होंने केवल इलास्टिक्सर्च के बारे में सुना है।

वेब इंटरफेस के समान ही कार्यक्षमता API के माध्यम से भी उपलब्ध है, इसलिए अवधारणाओं की स्पष्टता और समझ के लिए, हम दिखाएंगे कि Kibana के माध्यम से कॉन्फ़िगर कैसे किया जाता है। बाईं ओर मेनू में एक मशीन लर्निंग अनुभाग है जहां आप एक नई नौकरी बना सकते हैं। किबाना इंटरफ़ेस में यह नीचे दी गई छवि की तरह दिखता है। अब हम प्रत्येक प्रकार के कार्य का विश्लेषण करेंगे और दिखाएंगे कि यहां किस प्रकार के विश्लेषण किए जा सकते हैं।

एकल मीट्रिक - एक मीट्रिक का विश्लेषण, बहु मीट्रिक - दो या अधिक मीट्रिक का विश्लेषण। दोनों मामलों में, प्रत्येक मीट्रिक का विश्लेषण एक पृथक वातावरण में किया जाता है, अर्थात् एल्गोरिथ्म समानांतर विश्लेषित मीट्रिक के व्यवहार को ध्यान में नहीं रखता है, जैसा कि मल्टी मीट्रिक के मामले में प्रतीत हो सकता है। विभिन्न मैट्रिक्स के सहसंबंध को ध्यान में रखते हुए गणना करने के लिए, आप जनसंख्या विश्लेषण का उपयोग कर सकते हैं। और एडवांस्ड विशिष्ट कार्यों के लिए अतिरिक्त विकल्पों के साथ एल्गोरिदम का एक फाइन-ट्यूनिंग है।

एकल मीट्रिक

एकल मीट्रिक में परिवर्तनों का विश्लेषण करना सबसे सरल कार्य है जो आप यहां कर सकते हैं। क्रिएट जॉब पर क्लिक करने के बाद, एल्गोरिथ्म विसंगतियों की तलाश करेगा।

क्षेत्र में एकत्रीकरण आप विसंगतियों की खोज के लिए एक दृष्टिकोण चुन सकते हैं। उदाहरण के लिए, जब मिन सामान्य से कम मान को असामान्य माना जाएगा। खाओ अधिकतम, उच्च माध्य, निम्न, माध्य, विशिष्ट और दूसरे। सभी कार्यों का विवरण देखा जा सकता है по ссылке.

क्षेत्र में क्षेत्र दस्तावेज़ में वह संख्यात्मक क्षेत्र दर्शाया गया है जिस पर हम विश्लेषण करेंगे।

क्षेत्र में बाल्टी अवधि — समयरेखा पर अंतरालों की विस्तृत जानकारी जिसके लिए विश्लेषण किया जाएगा। आप स्वचालन पर भरोसा कर सकते हैं या मैन्युअल रूप से चुन सकते हैं। नीचे दी गई छवि बहुत कम ग्रैन्युलैरिटी का एक उदाहरण दिखाती है - हो सकता है कि आप कोई विसंगति नज़रअंदाज़ कर दें। यह सेटिंग आपको विसंगतियों के प्रति एल्गोरिदम की संवेदनशीलता को बदलने की अनुमति देती है।

एकत्रित आंकड़ों की अवधि एक महत्वपूर्ण चीज है जो विश्लेषण की प्रभावशीलता को प्रभावित करती है। विश्लेषण के दौरान, एल्गोरिदम दोहराए जाने वाले अंतरालों की पहचान करता है, विश्वास अंतराल (बेसलाइन) की गणना करता है और विसंगतियों की पहचान करता है - मीट्रिक के सामान्य व्यवहार से असामान्य विचलन। उदाहरण के लिए:

छोटे डेटा खंड के लिए आधार रेखाएं:

जब एल्गोरिथ्म के पास सीखने के लिए कुछ होता है, तो आधार रेखाएं इस प्रकार दिखती हैं:

कार्य शुरू होने के बाद, एल्गोरिथ्म मानक से असामान्य विचलन की पहचान करता है और विसंगति की संभावना के आधार पर उन्हें रैंक करता है (संबंधित लेबल का रंग कोष्ठक में दर्शाया गया है):

चेतावनी (नीला): 25 से कम
माइनर (पीला): 25-50
मेजर (नारंगी): 50-75
गंभीर (लाल): 75-100

नीचे दिया गया ग्राफ पाई गई विसंगतियों का एक उदाहरण दर्शाता है।

यहां आप संख्या 94 देख सकते हैं, जो विसंगति की संभावना को दर्शाती है। यह स्पष्ट है कि चूंकि मान 100 के करीब है, इसका मतलब है कि हमारे सामने विसंगति है। ग्राफ के नीचे का कॉलम मीट्रिक मान के 0.000063634% के प्रकट होने की अत्यंत छोटी संभावना को दर्शाता है।

विसंगतियों की खोज के अलावा, आप किबाना में पूर्वानुमान भी चला सकते हैं। यह एक प्राथमिक तरीके से और विसंगतियों के साथ एक ही प्रस्तुति से किया जाता है - बटन पूर्वानुमान ऊपरी दाएँ कोने में.

पूर्वानुमान अधिकतम 8 सप्ताह आगे के लिए किया जाता है। यदि आप सचमुच ऐसा करना चाहें, तो भी आप अब ऐसा नहीं कर सकते।

कुछ स्थितियों में, पूर्वानुमान बहुत उपयोगी होगा, उदाहरण के लिए बुनियादी ढांचे पर उपयोगकर्ता भार की निगरानी करते समय।

बहु मीट्रिक

आइए, इलास्टिक स्टैक में अगली एमएल सुविधा पर चलते हैं - एक बैच में कई मेट्रिक्स का विश्लेषण करना। लेकिन इसका मतलब यह नहीं है कि एक मीट्रिक की दूसरे पर निर्भरता का विश्लेषण किया जाएगा। यह सिंगल मैट्रिक के समान ही है, केवल इसमें एक स्क्रीन पर अनेक मैट्रिक होते हैं, जिससे एक के दूसरे पर पड़ने वाले प्रभाव की तुलना करना आसान हो जाता है। हम जनसंख्या अनुभाग में एक मीट्रिक की दूसरे पर निर्भरता के विश्लेषण के बारे में बात करेंगे।

मल्टी मैट्रिक वाले वर्ग पर क्लिक करने के बाद, सेटिंग्स वाली एक विंडो दिखाई देगी। आइये हम इन पर अधिक विस्तार से नजर डालें।

सबसे पहले, आपको विश्लेषण और डेटा एकत्रीकरण के लिए फ़ील्ड का चयन करना होगा। यहां एकत्रीकरण विकल्प सिंगल मीट्रिक के समान ही हैं (अधिकतम, उच्च माध्य, निम्न, माध्य, विशिष्ट और दूसरे)। इसके अलावा, डेटा को किसी एक फ़ील्ड (फ़ील्ड) में विभाजित किया जा सकता है डेटा विभाजित करें). उदाहरण में हमने इसे फ़ील्ड के आधार पर किया मूल हवाई अड्डा आईडी. ध्यान दें कि दाईं ओर का मेट्रिक्स ग्राफ अब एकाधिक ग्राफ के रूप में प्रस्तुत किया गया है।

क्षेत्र प्रमुख क्षेत्र (प्रभावक) पाई गई विसंगतियों को सीधे प्रभावित करता है। डिफ़ॉल्ट रूप से यहां हमेशा कम से कम एक मान रहेगा, लेकिन आप और भी जोड़ सकते हैं। एल्गोरिदम विश्लेषण के दौरान इन क्षेत्रों के प्रभाव को ध्यान में रखेगा और सबसे अधिक “प्रभावशाली” मान दिखाएगा।

लॉन्च करने के बाद, किबाना इंटरफ़ेस कुछ इस तरह प्रदर्शित होगा।

यह प्रत्येक फ़ील्ड मान के लिए विसंगतियों का तथाकथित हीट मैप है मूल हवाई अड्डा आईडी, जिसका हमने उल्लेख किया है डेटा विभाजित करें. सिंगल मैट्रिक की तरह, रंग आउटलाइअर के स्तर को इंगित करता है। उदाहरण के लिए, वर्कस्टेशन पर संदिग्ध रूप से उच्च संख्या में प्राधिकरण वाले लोगों को ट्रैक करने के लिए इसी तरह का विश्लेषण करना सुविधाजनक है। हमने पहले ही लिखा है इवेंटलॉग में संदिग्ध घटनाओं के बारे में Windows, जिसे यहां एकत्रित और विश्लेषित भी किया जा सकता है।

हीट मैप के नीचे विसंगतियों की एक सूची है, जिनमें से प्रत्येक को विस्तृत विश्लेषण के लिए एकल मीट्रिक दृश्य में बदला जा सकता है।

आबादी

विभिन्न मेट्रिक्स के बीच सहसंबंधों में विसंगतियों की खोज करने के लिए, इलास्टिक स्टैक में एक विशेष जनसंख्या विश्लेषण है। इसकी मदद से आप दूसरों की तुलना में किसी भी सर्वर के प्रदर्शन में असामान्य मूल्यों की खोज कर सकते हैं, उदाहरण के लिए, जब लक्ष्य प्रणाली के लिए अनुरोधों की संख्या बढ़ जाती है।

इस चित्रण में, जनसंख्या फ़ील्ड वह मान निर्दिष्ट करता है जिस पर विश्लेषित मीट्रिक्स लागू होंगे। इस मामले में यह प्रक्रिया का नाम है। परिणामस्वरूप, हम देखेंगे कि प्रत्येक प्रक्रिया का CPU लोड एक दूसरे को कैसे प्रभावित करता है।

कृपया ध्यान दें कि विश्लेषित आंकड़ों का ग्राफ एकल मीट्रिक और बहु ​​मीट्रिक मामलों में भिन्न होता है। किबाना में यह विश्लेषण किए गए डेटा के मूल्यों के वितरण की धारणा को बेहतर बनाने के लिए डिज़ाइन द्वारा किया जाता है।

ग्राफ से यह स्पष्ट है कि प्रक्रिया असामान्य रूप से व्यवहार कर रही थी। तनाव (वैसे, एक विशेष उपयोगिता द्वारा उत्पन्न) सर्वर पर पोइपु, जिन्होंने इस विसंगति के उद्भव को प्रभावित किया (या प्रभावित करने वाले निकले)।

उन्नत

परिष्कृत विश्लेषण. किबाना में उन्नत विश्लेषण अतिरिक्त सेटिंग्स प्रदान करता है। क्रिएशन मेनू में एडवांस्ड टाइल पर क्लिक करने के बाद, इस तरह के टैब वाली एक विंडो दिखाई देती है। टैब नौकरी विवरण जानबूझकर छोड़ दिया गया, कुछ बुनियादी सेटिंग्स हैं जो सीधे विश्लेषण सेटिंग्स से संबंधित नहीं हैं।

В सारांश_गणना_फ़ील्ड_नाम वैकल्पिक रूप से, आप समेकित मान वाले दस्तावेज़ों से फ़ील्ड का नाम निर्दिष्ट कर सकते हैं। इस उदाहरण में, प्रति मिनट घटनाओं की संख्या. में वर्गीकरण_क्षेत्र_नाम दस्तावेज़ से उस फ़ील्ड मान का नाम इंगित किया जाता है जिसमें एक निश्चित चर मान होता है। इस फ़ील्ड के लिए मास्क का उपयोग करके, आप विश्लेषित डेटा को उपसमूहों में विभाजित कर सकते हैं। बटन पर ध्यान दें डिटेक्टर जोड़ें पिछले चित्रण में. नीचे इस बटन पर क्लिक करने का परिणाम है।

यहां एक विशिष्ट कार्य के लिए विसंगति डिटेक्टर को कॉन्फ़िगर करने हेतु सेटिंग्स का एक अतिरिक्त ब्लॉक दिया गया है। हम अगले लेखों में विशिष्ट उपयोग मामलों (विशेषकर सुरक्षा-संबंधी) पर चर्चा करने की योजना बना रहे हैं। उदाहरण के लिए, посмотрите विघटित मामलों में से एक. यह दुर्लभ रूप से पाए जाने वाले मूल्यों की खोज से संबंधित है और इसे कार्यान्वित किया जाता है दुर्लभ समारोह.

क्षेत्र में समारोह आप विसंगतियों की खोज के लिए एक विशिष्ट फ़ंक्शन का चयन कर सकते हैं। के अलावा दुर्लभ, इसमें कुछ और दिलचस्प विशेषताएं हैं - अपना समय и सप्ताह_का_समय. वे क्रमशः एक दिन या सप्ताह के दौरान मेट्रिक्स के व्यवहार में विसंगतियों की पहचान करते हैं। अन्य विश्लेषण कार्य दस्तावेज़ में है.

В क्षेत्र का नाम वह दस्तावेज़ क्षेत्र जिसके लिए विश्लेषण किया जाएगा, इंगित किया गया है। फ़ील्ड_नाम से का उपयोग यहां निर्दिष्ट दस्तावेज़ फ़ील्ड के प्रत्येक व्यक्तिगत मान के लिए विश्लेषण परिणामों को अलग करने के लिए किया जा सकता है। यदि आप इसे भरते हैं ओवर_फील्ड_नाम हमें वह जनसंख्या विश्लेषण मिलेगा जिसकी हमने ऊपर चर्चा की थी। यदि आप कोई मान निर्दिष्ट करते हैं विभाजन_क्षेत्र_नाम, तो इस दस्तावेज़ फ़ील्ड में प्रत्येक मान के लिए अलग-अलग आधार रेखाओं की गणना की जाएगी (उदाहरण के लिए, सर्वर का नाम या सर्वर पर प्रक्रिया मान के रूप में कार्य कर सकती है)। में बहिष्कृत_अक्सर आप चुन सकते हैं सब या कोई नहीं, जिसका अर्थ होगा बार-बार आने वाले दस्तावेज़ फ़ील्ड मानों का बहिष्करण (या समावेशन)।

इस लेख में, हमने इलास्टिक स्टैक में मशीन लर्निंग की क्षमताओं का एक बहुत ही संक्षिप्त विचार देने की कोशिश की है, लेकिन अभी भी कई विवरण पर्दे के पीछे हैं। हमें टिप्पणियों में बताएं कि आपने इलास्टिक स्टैक की मदद से कौन से मामले हल किए और आप इसका उपयोग किन कार्यों के लिए करते हैं। हमसे संपर्क करने के लिए आप Habr पर निजी संदेश का उपयोग कर सकते हैं या वेबसाइट पर फीडबैक फॉर्म.

स्रोत: www.habr.com