लवचिक स्टॅकमध्ये मशीन लर्निंग समजून घेणे (उर्फ इलास्टिकसर्च, उर्फ ​​ईएलके)

आम्हाला आठवू द्या की इलास्टिक स्टॅक नॉन-रिलेशनल इलास्टिकसर्च डेटाबेस, किबाना वेब इंटरफेस आणि डेटा संकलक आणि प्रोसेसर (सर्वात प्रसिद्ध लॉगस्टॅश, विविध बीट्स, एपीएम आणि इतर) वर आधारित आहे. संपूर्ण सूचीबद्ध उत्पादन स्टॅकमध्ये एक छान जोड म्हणजे मशीन लर्निंग अल्गोरिदम वापरून डेटा विश्लेषण. लेखात आम्ही हे अल्गोरिदम काय आहेत हे समजतो. कृपया मांजरीच्या खाली.

मशीन लर्निंग हे शेअरवेअर इलास्टिक स्टॅकचे सशुल्क वैशिष्ट्य आहे आणि ते एक्स-पॅकमध्ये समाविष्ट केले आहे. ते वापरणे सुरू करण्यासाठी, स्थापनेनंतर फक्त 30-दिवसांची चाचणी सक्रिय करा. चाचणी कालावधी कालबाह्य झाल्यानंतर, तुम्ही तो वाढवण्यासाठी किंवा सदस्यता खरेदी करण्यासाठी समर्थनाची विनंती करू शकता. सबस्क्रिप्शनची किंमत डेटाच्या व्हॉल्यूमवर आधारित नाही, तर वापरलेल्या नोड्सच्या संख्येवर आधारित आहे. नाही, डेटाची मात्रा, अर्थातच, आवश्यक नोड्सच्या संख्येवर परिणाम करते, परंतु तरीही कंपनीच्या बजेटच्या संदर्भात परवाना देण्याचा हा दृष्टीकोन अधिक मानवी आहे. उच्च उत्पादकतेची आवश्यकता नसल्यास, आपण पैसे वाचवू शकता.

लवचिक स्टॅकमधील ML C++ मध्ये लिहिलेले आहे आणि JVM च्या बाहेर चालते, ज्यामध्ये Elasticsearch स्वतः चालते. म्हणजेच, प्रक्रिया (तसे, याला ऑटोडिटेक्ट म्हणतात) जेव्हीएम गिळत नसलेली प्रत्येक गोष्ट वापरते. डेमो स्टँडवर हे इतके गंभीर नाही, परंतु उत्पादन वातावरणात ML कार्यांसाठी स्वतंत्र नोड्स वाटप करणे महत्वाचे आहे.

मशीन लर्निंग अल्गोरिदम दोन श्रेणींमध्ये मोडतात - शिक्षक सह и शिक्षकाशिवाय. लवचिक स्टॅकमध्ये, अल्गोरिदम "अनियंत्रित" श्रेणीमध्ये आहे. द्वारे हा दुवा तुम्ही मशीन लर्निंग अल्गोरिदमचे गणितीय उपकरण पाहू शकता.

विश्लेषण करण्यासाठी, मशीन लर्निंग अल्गोरिदम इलास्टिकसर्च इंडेक्समध्ये संग्रहित डेटा वापरते. तुम्ही किबाना इंटरफेस आणि API द्वारे विश्लेषणासाठी कार्ये तयार करू शकता. जर तुम्ही हे किबाना द्वारे करत असाल तर तुम्हाला काही गोष्टी माहित असण्याची गरज नाही. उदाहरणार्थ, अतिरिक्त निर्देशांक जे अल्गोरिदम त्याच्या ऑपरेशन दरम्यान वापरतात.

विश्लेषण प्रक्रियेत वापरलेले अतिरिक्त निर्देशांक.ml-state — सांख्यिकीय मॉडेल्सबद्दल माहिती (विश्लेषण सेटिंग्ज);
.ml-विसंगती-* — ML अल्गोरिदमचे परिणाम;
.ml-सूचना — विश्लेषण परिणामांवर आधारित सूचनांसाठी सेटिंग्ज.

Elasticsearch डेटाबेसमधील डेटा स्ट्रक्चरमध्ये अनुक्रमणिका आणि दस्तऐवजांचा समावेश असतो. रिलेशनल डेटाबेसशी तुलना केल्यावर, निर्देशांकाची तुलना डेटाबेस स्कीमाशी केली जाऊ शकते आणि दस्तऐवजाची तुलना टेबलमधील रेकॉर्डशी केली जाऊ शकते. ही तुलना सशर्त आहे आणि ज्यांनी फक्त Elasticsearch बद्दल ऐकले आहे त्यांच्यासाठी पुढील सामग्रीची समज सुलभ करण्यासाठी प्रदान केली आहे.

वेब इंटरफेस सारखीच कार्यक्षमता API द्वारे उपलब्ध आहे, त्यामुळे संकल्पनांच्या स्पष्टतेसाठी आणि समजून घेण्यासाठी, आम्ही ते Kibana द्वारे कसे कॉन्फिगर करायचे ते दर्शवू. डावीकडील मेनूमध्ये एक मशीन लर्निंग विभाग आहे जेथे तुम्ही नवीन नोकरी तयार करू शकता. किबाना इंटरफेसमध्ये ते खालील प्रतिमेसारखे दिसते. आता आपण प्रत्येक प्रकारच्या कार्याचे विश्लेषण करू आणि विश्लेषणाचे प्रकार दाखवू जे येथे तयार केले जाऊ शकतात.

सिंगल मेट्रिक - एका मेट्रिकचे विश्लेषण, मल्टी मेट्रिक - दोन किंवा अधिक मेट्रिक्सचे विश्लेषण. दोन्ही प्रकरणांमध्ये, प्रत्येक मेट्रिकचे विश्लेषण एका वेगळ्या वातावरणात केले जाते, म्हणजे. अल्गोरिदम समांतर विश्लेषित मेट्रिक्सचे वर्तन विचारात घेत नाही, जसे मल्टी मेट्रिकच्या बाबतीत दिसते. विविध मेट्रिक्सचा सहसंबंध लक्षात घेऊन गणना करण्यासाठी, तुम्ही लोकसंख्या विश्लेषण वापरू शकता. आणि प्रगत विशिष्ट कार्यांसाठी अतिरिक्त पर्यायांसह अल्गोरिदमचे बारीक-ट्यूनिंग आहे.

एकल मेट्रिक

एका मेट्रिकमधील बदलांचे विश्लेषण करणे ही येथे करता येणारी सर्वात सोपी गोष्ट आहे. क्रिएट जॉब वर क्लिक केल्यानंतर, अल्गोरिदम विसंगती शोधेल.

क्षेत्रात एकत्रीकरण तुम्ही विसंगती शोधण्याचा दृष्टिकोन निवडू शकता. उदाहरणार्थ, जेव्हा मि ठराविक मूल्यांच्या खाली असलेली मूल्ये विसंगत मानली जातील. खा कमाल, उच्च मध्यम, निम्न, मीन, वेगळे आणि इतर. सर्व फंक्शन्सचे वर्णन आढळू शकते दुवा.

क्षेत्रात फील्ड दस्तऐवजातील अंकीय फील्ड सूचित करते ज्यावर आम्ही विश्लेषण करू.

क्षेत्रात बकेट स्पॅन — विश्लेषण केले जाईल त्या टाइमलाइनवर मध्यांतरांची ग्रॅन्युलॅरिटी. तुम्ही ऑटोमेशनवर विश्वास ठेवू शकता किंवा व्यक्तिचलितपणे निवडू शकता. खालील प्रतिमा ग्रॅन्युलॅरिटी खूप कमी असल्याचे उदाहरण आहे - तुमची विसंगती चुकू शकते. या सेटिंगचा वापर करून, तुम्ही अल्गोरिदमची संवेदनशीलता विसंगतींमध्ये बदलू शकता.

गोळा केलेल्या डेटाचा कालावधी ही एक महत्त्वाची गोष्ट आहे जी विश्लेषणाच्या परिणामकारकतेवर परिणाम करते. विश्लेषणादरम्यान, अल्गोरिदम पुनरावृत्ती अंतराल ओळखतो, आत्मविश्वास मध्यांतरांची (बेसलाइन्स) गणना करतो आणि विसंगती ओळखतो - मेट्रिकच्या सामान्य वर्तनातील असामान्य विचलन. फक्त उदाहरणार्थ:

डेटाच्या छोट्या तुकड्यासह बेसलाइन:

जेव्हा अल्गोरिदममधून शिकण्यासारखे काहीतरी असते, तेव्हा बेसलाइन असे दिसते:

कार्य सुरू केल्यानंतर, अल्गोरिदम सर्वसामान्य प्रमाणातील विसंगत विचलन निर्धारित करते आणि त्यांना विसंगतीच्या संभाव्यतेनुसार क्रमवारी लावते (संबंधित लेबलचा रंग कंसात दर्शविला जातो):

चेतावणी (निळा): 25 पेक्षा कमी
किरकोळ (पिवळा): 25-50
प्रमुख (नारिंगी): 50-75
गंभीर (लाल): 75-100

खालील आलेख आढळलेल्या विसंगतींचे उदाहरण दर्शवितो.

येथे आपण 94 क्रमांक पाहू शकता, जो विसंगतीची संभाव्यता दर्शवितो. हे स्पष्ट आहे की मूल्य 100 च्या जवळ असल्याने, याचा अर्थ असा आहे की आमच्यात विसंगती आहे. आलेखाच्या खाली असलेला स्तंभ तेथे दिसणार्‍या मेट्रिक मूल्याच्या 0.000063634% ची अपमानास्पद लहान संभाव्यता दर्शवितो.

विसंगती शोधण्याव्यतिरिक्त, तुम्ही किबाना मध्ये अंदाज चालवू शकता. हे विसंगतीसह आणि समान दृश्यातून केले जाते - बटण अंदाज वरच्या उजव्या कोपर्यात.

अंदाज कमाल 8 आठवडे अगोदर केला जातो. जरी तुम्‍हाला खरोखर करायचे असले तरी, डिझाईनद्वारे ते आता शक्य होणार नाही.

काही परिस्थितींमध्ये, अंदाज खूप उपयुक्त असेल, उदाहरणार्थ, पायाभूत सुविधांवर वापरकर्ता लोडचे निरीक्षण करताना.

मल्टी मेट्रिक

लवचिक स्टॅकमधील पुढील ML वैशिष्ट्याकडे जाऊ या - एका बॅचमध्ये अनेक मेट्रिक्सचे विश्लेषण करणे. परंतु याचा अर्थ असा नाही की एका मेट्रिकचे दुसर्‍यावर अवलंबून राहण्याचे विश्लेषण केले जाईल. हे सिंगल मेट्रिक सारखेच आहे, परंतु एका स्क्रीनवर एकाच्या प्रभावाची सहज तुलना करण्यासाठी एकाधिक मेट्रिक्ससह. आम्ही लोकसंख्या विभागात एका मेट्रिकच्या दुसर्‍या मेट्रिकच्या अवलंबनाचे विश्लेषण करण्याबद्दल बोलू.

मल्टी मेट्रिकसह स्क्वेअरवर क्लिक केल्यानंतर, सेटिंग्जसह एक विंडो दिसेल. चला त्यांना अधिक तपशीलवार पाहू या.

प्रथम तुम्हाला विश्लेषण आणि डेटा एकत्रीकरणासाठी फील्ड निवडण्याची आवश्यकता आहे. येथे एकत्रीकरण पर्याय सिंगल मेट्रिक सारखेच आहेत (कमाल, उच्च मध्यम, निम्न, मीन, वेगळे आणि इतर). पुढे, इच्छित असल्यास, डेटा एका फील्डमध्ये विभागला जातो (फील्ड डेटा विभाजित करा). उदाहरणामध्ये, आम्ही हे फील्डद्वारे केले OriginAirportID. लक्षात घ्या की उजवीकडील मेट्रिक्स आलेख आता एकाधिक आलेख म्हणून सादर केला आहे.

फील्ड मुख्य फील्ड (प्रभाव करणारे) आढळलेल्या विसंगतींवर थेट परिणाम होतो. डीफॉल्टनुसार येथे नेहमी किमान एक मूल्य असेल आणि तुम्ही अतिरिक्त जोडू शकता. विश्लेषण करताना अल्गोरिदम या फील्डचा प्रभाव विचारात घेईल आणि सर्वात "प्रभावी" मूल्ये दर्शवेल.

लॉन्च केल्यानंतर, किबाना इंटरफेसमध्ये असे काहीतरी दिसेल.

हे तथाकथित आहे प्रत्येक फील्ड मूल्यासाठी विसंगतींचा उष्मा नकाशा OriginAirportID, जे आम्ही सूचित केले आहे डेटा विभाजित करा. सिंगल मेट्रिक प्रमाणे, रंग असामान्य विचलनाची पातळी दर्शवतो. तत्सम विश्लेषण करणे सोयीचे आहे, उदाहरणार्थ, वर्कस्टेशन्सवर संशयास्पदरित्या मोठ्या संख्येने अधिकृतता इ.चा मागोवा घेण्यासाठी. आम्ही आधीच लिहिले आहे इव्हेंटलॉग विंडोजमधील संशयास्पद घटनांबद्दल, जे येथे देखील गोळा आणि विश्लेषण केले जाऊ शकते.

उष्मा नकाशाच्या खाली विसंगतींची सूची आहे, प्रत्येकातून तुम्ही तपशीलवार विश्लेषणासाठी सिंगल मेट्रिक दृश्यावर स्विच करू शकता.

लोकसंख्या

विविध मेट्रिक्समधील परस्परसंबंधांमधील विसंगती शोधण्यासाठी, लवचिक स्टॅकमध्ये एक विशेष लोकसंख्या विश्लेषण आहे. त्याच्या मदतीने आपण इतरांच्या तुलनेत सर्व्हरच्या कार्यप्रदर्शनात विसंगत मूल्ये शोधू शकता जेव्हा, उदाहरणार्थ, लक्ष्य सिस्टमला विनंतीची संख्या वाढते.

या चित्रात, लोकसंख्या फील्ड हे मूल्य सूचित करते ज्याशी विश्लेषित मेट्रिक्स संबंधित असतील. या प्रकरणात ते प्रक्रियेचे नाव आहे. परिणामी, प्रत्येक प्रक्रियेच्या प्रोसेसर लोडचा एकमेकांवर कसा प्रभाव पडतो ते आपण पाहू.

कृपया लक्षात घ्या की विश्लेषण केलेल्या डेटाचा आलेख सिंगल मेट्रिक आणि मल्टी मेट्रिकच्या केसेसपेक्षा वेगळा आहे. विश्लेषण केलेल्या डेटाच्या मूल्यांच्या वितरणाच्या सुधारित धारणासाठी हे किबानामध्ये डिझाइनद्वारे केले गेले.

आलेख दर्शवितो की प्रक्रिया असामान्यपणे वागली ताण (तसे, विशेष उपयुक्ततेद्वारे व्युत्पन्न) सर्व्हरवर poipu, ज्याने या विसंगतीच्या घटनेवर प्रभाव पाडला (किंवा प्रभावशाली ठरला).

प्रगत

उत्कृष्ट ट्यूनिंगसह विश्लेषण. प्रगत विश्लेषणासह, किबाना मध्ये अतिरिक्त सेटिंग्ज दिसतात. निर्मिती मेनूमधील Advanced टाइलवर क्लिक केल्यानंतर, टॅबसह ही विंडो दिसते. टॅब कार्य तपशील आम्ही ते हेतुपुरस्सर वगळले आहे, तेथे मूलभूत सेटिंग्ज आहेत ज्या थेट विश्लेषण सेट करण्याशी संबंधित नाहीत.

В summary_count_field_name वैकल्पिकरित्या, तुम्ही एकत्रित मूल्ये असलेल्या दस्तऐवजांमधून फील्डचे नाव निर्दिष्ट करू शकता. या उदाहरणात, प्रति मिनिट इव्हेंटची संख्या. IN वर्गीकरण_क्षेत्र_नाव दस्तऐवजातील फील्डचे नाव आणि मूल्य सूचित करते ज्यामध्ये काही व्हेरिएबल मूल्य आहे. या फील्डवरील मुखवटा वापरून, तुम्ही विश्लेषण केलेला डेटा उपसंचांमध्ये विभाजित करू शकता. बटणावर लक्ष द्या डिटेक्टर जोडा मागील चित्रात. या बटणावर क्लिक केल्याचा परिणाम खाली आहे.

विशिष्ट कार्यासाठी विसंगती डिटेक्टर कॉन्फिगर करण्यासाठी सेटिंग्जचा अतिरिक्त ब्लॉक येथे आहे. आम्ही पुढील लेखांमध्ये विशिष्ट वापर प्रकरणे (विशेषत: सुरक्षा प्रकरणांवर) चर्चा करण्याची योजना आखत आहोत. उदाहरणार्थ, इथे बघ वेगळे केलेल्या प्रकरणांपैकी एक. हे क्वचितच दिसणार्‍या मूल्यांच्या शोधाशी संबंधित आहे आणि अंमलात आणले आहे दुर्मिळ कार्य.

क्षेत्रात कार्य विसंगती शोधण्यासाठी तुम्ही विशिष्ट कार्य निवडू शकता. वगळता दुर्मिळ, आणखी काही मनोरंजक कार्ये आहेत - दिवसाची वेळ и आठवड्याची_वेळ. ते अनुक्रमे संपूर्ण दिवस किंवा आठवड्यात मेट्रिक्सच्या वर्तनातील विसंगती ओळखतात. इतर विश्लेषण कार्ये दस्तऐवजीकरणात आहे.

В फील्ड_नाव दस्तऐवजाचे क्षेत्र सूचित करते ज्यावर विश्लेषण केले जाईल. _क्षेत्र_नावाने येथे निर्दिष्ट केलेल्या दस्तऐवज फील्डच्या प्रत्येक वैयक्तिक मूल्यासाठी विश्लेषण परिणाम वेगळे करण्यासाठी वापरले जाऊ शकते. भरले तर over_field_name आम्ही वर चर्चा केलेल्या लोकसंख्येचे विश्लेषण तुम्हाला मिळेल. मध्ये मूल्य निर्दिष्ट केल्यास विभाजन_क्षेत्र_नाव, नंतर दस्तऐवजाच्या या फील्डसाठी प्रत्येक मूल्यासाठी स्वतंत्र आधाररेषा मोजली जाईल (मूल्य असू शकते, उदाहरणार्थ, सर्व्हरचे नाव किंवा सर्व्हरवरील प्रक्रिया). IN exclude_frequent निवडू शकता सर्व किंवा काहीही नाही, ज्याचा अर्थ वारंवार होणारी दस्तऐवज फील्ड मूल्ये वगळणे (किंवा समाविष्ट करणे) असेल.

या लेखात, आम्ही इलास्टिक स्टॅकमधील मशीन लर्निंगच्या क्षमतांबद्दल शक्य तितकी संक्षिप्त कल्पना देण्याचा प्रयत्न केला; पडद्यामागे अजूनही बरेच तपशील शिल्लक आहेत. इलॅस्टिक स्टॅक वापरून तुम्ही कोणती प्रकरणे सोडवता आली आणि तुम्ही ते कोणत्या कार्यांसाठी वापरता ते आम्हाला टिप्पण्यांमध्ये सांगा. आमच्याशी संपर्क साधण्यासाठी, तुम्ही Habré किंवा वर वैयक्तिक संदेश वापरू शकता वेबसाइटवर फीडबॅक फॉर्म.

स्त्रोत: www.habr.com