हामी विसंगतिहरू खोज्छौं र न्यूरल नेटवर्कहरू प्रयोग गरेर विफलताहरूको भविष्यवाणी गर्छौं

सफ्टवेयर प्रणालीहरूको औद्योगिक विकासले अन्तिम उत्पादनको दोष सहिष्णुतामा ठूलो ध्यान दिन आवश्यक छ, साथै असफलता र विफलताहरूको द्रुत प्रतिक्रिया यदि तिनीहरू हुन्छन् भने। निस्सन्देह, अनुगमनले असफलता र असफलताहरूलाई अझ प्रभावकारी र छिटो प्रतिक्रिया दिन मद्दत गर्दछ, तर पर्याप्त छैन। सबैभन्दा पहिले, सर्भरहरूको ठूलो संख्याको ट्रयाक राख्न धेरै गाह्रो छ - ठूलो संख्यामा मानिसहरू आवश्यक छ। दोस्रो, तपाइँसँग यसको अवस्थाको भविष्यवाणी गर्न अनुप्रयोगले कसरी काम गर्दछ भन्ने राम्रोसँग बुझ्नुपर्छ। तसर्थ, हामीलाई हामीले विकास गरिरहेका प्रणालीहरू, तिनीहरूको कार्यसम्पादन र सुविधाहरूको राम्रो बुझाइ भएका धेरै मानिसहरू चाहिन्छ। मानौं कि यदि तपाईंले यो गर्न इच्छुक व्यक्तिहरू फेला पार्नुभयो भने, तिनीहरूलाई तालिम दिन अझै धेरै समय लाग्छ।

के गर्ने? यहाँ कृत्रिम बुद्धिमत्ता हाम्रो सहायताको लागि आउँछ। लेखको बारेमा कुरा गर्नेछ भविष्यवाणी रखरखाव (भविष्यवाणी रखरखाव)। यो दृष्टिकोण सक्रिय रूपमा लोकप्रियता प्राप्त गर्दैछ। Habré सहित धेरै लेखहरू लेखिएका छन्। ठूला कम्पनीहरूले आफ्नो सर्भरको कार्यसम्पादन कायम राख्न यस दृष्टिकोणको पूर्ण प्रयोग गर्छन्। लेखहरूको ठूलो संख्या अध्ययन गरेपछि, हामीले यो दृष्टिकोण प्रयास गर्ने निर्णय गर्यौं। यसमा के आयो ?

परिचय

विकसित सफ्टवेयर प्रणाली ढिलो वा ढिलो सञ्चालनमा जान्छ। यो प्रयोगकर्ताको लागि महत्त्वपूर्ण छ कि प्रणाली विफलता बिना काम गर्दछ। यदि आपतकालीन अवस्था उत्पन्न हुन्छ भने, यसलाई न्यूनतम ढिलाइ संग समाधान गर्नुपर्छ।

सफ्टवेयर प्रणालीको प्राविधिक समर्थनलाई सरल बनाउन, विशेष गरी यदि त्यहाँ धेरै सर्भरहरू छन् भने, निगरानी कार्यक्रमहरू सामान्यतया प्रयोग गरिन्छ जसले चलिरहेको सफ्टवेयर प्रणालीबाट मेट्रिक्स लिन्छ, यसको अवस्था निदान गर्न सम्भव बनाउँदछ र वास्तवमा असफलताको कारण के हो भनेर निर्धारण गर्न मद्दत गर्दछ। यो प्रक्रियालाई सफ्टवेयर प्रणाली निगरानी भनिन्छ।

चित्र १. ग्राफाना निगरानी इन्टरफेस

मेट्रिकहरू सफ्टवेयर प्रणाली, यसको कार्यान्वयन वातावरण, वा भौतिक कम्प्युटरका विभिन्न सूचकहरू हुन् जस अन्तर्गत प्रणाली मेट्रिक्स प्राप्त भएको क्षणको टाइमस्ट्याम्पको साथ चलिरहेको छ। स्थिर विश्लेषणमा, यी मेट्रिक्सलाई समय श्रृंखला भनिन्छ। सफ्टवेयर प्रणालीको अवस्था अनुगमन गर्न, मेट्रिकहरू ग्राफको रूपमा प्रदर्शित हुन्छन्: समय X अक्षमा छ, र मानहरू Y अक्ष (चित्र 1) सँगसँगै छन्। चलिरहेको सफ्टवेयर प्रणालीबाट (प्रत्येक नोडबाट) धेरै हजार मेट्रिक्स लिन सकिन्छ। तिनीहरू मेट्रिक्स (बहु-आयामी समय श्रृंखला) को एक ठाउँ बनाउँछन्।

जटिल सफ्टवेयर प्रणालीहरूको लागि ठूलो संख्यामा मेट्रिकहरू सङ्कलन गरिएको हुनाले, म्यानुअल निगरानी एक कठिन कार्य हुन्छ। प्रशासक द्वारा विश्लेषण गरिएको डाटा को मात्रा कम गर्न को लागी, निगरानी उपकरणहरु स्वचालित रूपमा सम्भावित समस्याहरु पहिचान गर्न उपकरणहरु समावेश गर्दछ। उदाहरणका लागि, तपाईंले खाली डिस्क स्पेस निर्दिष्ट थ्रेसहोल्डभन्दा कम हुँदा फायर गर्न ट्रिगर कन्फिगर गर्न सक्नुहुन्छ। तपाईं स्वचालित रूपमा सर्भर बन्द वा सेवा गतिमा एक महत्वपूर्ण ढिलो निदान गर्न सक्नुहुन्छ। अभ्यासमा, अनुगमन उपकरणहरूले असफलताहरू पत्ता लगाउन वा भविष्यमा असफलताहरूको साधारण लक्षणहरू पहिचान गर्न राम्रो काम गर्दछ, तर सामान्यतया, सम्भावित विफलताको भविष्यवाणी तिनीहरूका लागि क्र्याक गर्न गाह्रो नट नै रहन्छ। मेट्रिक्सको म्यानुअल विश्लेषण मार्फत भविष्यवाणी गर्न योग्य विशेषज्ञहरूको संलग्नता आवश्यक छ। यो कम उत्पादकता हो। धेरैजसो सम्भावित असफलताहरू बेवास्ता हुन सक्छन्।

भर्खरै, सफ्टवेयर प्रणालीहरूको तथाकथित भविष्यवाणी मर्मत ठूला आईटी सफ्टवेयर विकास कम्पनीहरू बीच बढ्दो लोकप्रिय भएको छ। यस दृष्टिकोणको सार भनेको प्रारम्भिक चरणहरूमा प्रणालीको ह्रास निम्त्याउने समस्याहरू फेला पार्नु हो, यो असफल हुनु अघि, कृत्रिम बुद्धिमत्ता प्रयोग गरेर। यो दृष्टिकोणले प्रणालीको म्यानुअल अनुगमनलाई पूर्ण रूपमा बहिष्कार गर्दैन। यो समग्र रूपमा अनुगमन प्रक्रियाको लागि सहायक छ।

भविष्यवाणी मर्मत कार्यान्वयनको लागि मुख्य उपकरण समय श्रृंखलामा विसंगतिहरू खोज्ने कार्य हो, किनकि जब एक विसंगति हुन्छ डाटा मा एक उच्च सम्भावना छ कि केहि समय पछि असफलता वा असफलता हुनेछ। एक विसंगति भनेको सफ्टवेयर प्रणालीको प्रदर्शनमा एक निश्चित विचलन हो, जस्तै एक प्रकारको अनुरोधको कार्यान्वयन गतिमा गिरावट वा ग्राहक सत्रहरूको स्थिर स्तरमा सेवा अनुरोधहरूको औसत संख्यामा कमी।

सफ्टवेयर प्रणालीहरूको लागि विसंगतिहरू खोज्ने कार्यको आफ्नै विशिष्टताहरू छन्। सिद्धान्तमा, प्रत्येक सफ्टवेयर प्रणालीको लागि अवस्थित विधिहरू विकास वा परिष्कृत गर्न आवश्यक छ, किनकि विसंगतिहरूको खोजी डाटामा धेरै निर्भर हुन्छ जसमा यो गरिन्छ, र सफ्टवेयर प्रणालीहरूको डाटा प्रणाली कार्यान्वयनका लागि उपकरणहरूमा निर्भर गर्दछ। , कुन कम्प्युटरमा चलिरहेको छ।

सफ्टवेयर प्रणालीहरूको असफलताको भविष्यवाणी गर्दा विसंगतिहरू खोज्ने तरिकाहरू

सबै भन्दा पहिले, यो भन्न लायक छ कि असफलता भविष्यवाणी को विचार लेख द्वारा प्रेरित थियो "आईटी अनुगमन मा मेशिन शिक्षा"। विसंगतिहरूको लागि स्वचालित खोजको साथ दृष्टिकोणको प्रभावकारिता परीक्षण गर्न, वेब-एकीकरण सफ्टवेयर प्रणाली छनोट गरिएको थियो, जुन एनपीओ क्रिस्टा कम्पनीको परियोजनाहरू मध्ये एक हो। पहिले, प्राप्त मेट्रिक्सको आधारमा यसको लागि म्यानुअल अनुगमन गरिएको थियो। प्रणाली एकदम जटिल भएकोले, यसको लागि ठूलो संख्यामा मेट्रिकहरू लिइन्छ: JVM संकेतकहरू (फोहोर सङ्कलन गर्ने लोड), OS को सूचकहरू जस अन्तर्गत कोड कार्यान्वयन गरिन्छ (भर्चुअल मेमोरी, % OS CPU लोड), नेटवर्क सूचकहरू (नेटवर्क लोड। ), सर्भर आफै (CPU लोड, मेमोरी), वाइल्डफ्लाइ मेट्रिक्स र सबै महत्वपूर्ण सबसिस्टमहरूको लागि अनुप्रयोगको आफ्नै मेट्रिक्स।

सबै मेट्रिक्स ग्रेफाइट प्रयोग गरेर प्रणालीबाट लिइन्छ। सुरुमा, व्हिस्पर डाटाबेस ग्राफानाको लागि मानक समाधानको रूपमा प्रयोग गरिएको थियो, तर ग्राहक आधार बढ्दै जाँदा, ग्रेफाइटले अब सामना गर्न सकेन, DC डिस्क सबसिस्टमको क्षमता समाप्त भयो। यस पछि, यो थप प्रभावकारी समाधान खोज्ने निर्णय गरियो। पक्षमा छनोट भयो ग्रेफाइट + क्लिकहाउस, जसले म्याग्निच्युडको अर्डरद्वारा डिस्क सबसिस्टममा लोड घटाउन र ओगटेड डिस्क स्पेसलाई पाँच देखि छ पटक घटाउन सम्भव बनायो। तल ग्रेफाइट+क्लिकहाउस (चित्र २) प्रयोग गरेर मेट्रिक्स सङ्कलन गर्ने मेकानिजमको रेखाचित्र छ।

चित्र २. मेट्रिक्स सङ्कलन गर्ने योजना

रेखाचित्र आन्तरिक कागजातबाट लिइएको हो। यसले ग्राफाना (हामीले प्रयोग गर्ने अनुगमन UI) र ग्रेफाइट बीचको सञ्चार देखाउँछ। एप्लिकेसनबाट मेट्रिक्स हटाउने छुट्टै सफ्टवेयरद्वारा गरिन्छ - jmxtrans। उसले तिनीहरूलाई ग्रेफाइटमा राख्छ।
वेब समेकन प्रणालीमा धेरै सुविधाहरू छन् जसले विफलताहरूको भविष्यवाणी गर्न समस्याहरू सिर्जना गर्दछ:

1. प्रवृत्ति अक्सर परिवर्तन हुन्छ। यस सफ्टवेयर प्रणालीको लागि विभिन्न संस्करणहरू उपलब्ध छन्। तिनीहरूमध्ये प्रत्येकले प्रणालीको सफ्टवेयर भागमा परिवर्तनहरू ल्याउँछ। तदनुसार, यस तरिकाले, विकासकर्ताहरूले सीधै दिइएको प्रणालीको मेट्रिक्सलाई प्रभाव पार्छ र प्रवृत्ति परिवर्तन गर्न सक्छ;
2. कार्यान्वयन सुविधा, साथै क्लाइन्टहरूले यो प्रणाली प्रयोग गर्ने उद्देश्यहरू, प्रायः पहिलेको गिरावट बिना विसंगतिहरू निम्त्याउँछ;
3. सम्पूर्ण डेटा सेटको सापेक्ष विसंगतिहरूको प्रतिशत सानो छ (<5%);
4. प्रणालीबाट सूचकहरू प्राप्त गर्नमा अन्तर हुन सक्छ। केही छोटो अवधिमा, अनुगमन प्रणाली मेट्रिक्स प्राप्त गर्न असफल हुन्छ। उदाहरण को लागी, यदि सर्भर ओभरलोड छ। यो एक तंत्रिका नेटवर्क को प्रशिक्षण को लागी महत्वपूर्ण छ। सिंथेटिक रूपमा खाली ठाउँहरू भर्न आवश्यक छ;
5. विसंगति भएका केसहरू प्रायः एक निश्चित मिति/महिना/समय (मौसम) को लागि मात्र सान्दर्भिक हुन्छन्। यस प्रणालीमा प्रयोगकर्ताहरूद्वारा यसको प्रयोगको लागि स्पष्ट नियमहरू छन्। तदनुसार, मेट्रिक्स केवल एक विशेष समय को लागी सान्दर्भिक छन्। प्रणाली लगातार प्रयोग गर्न सकिँदैन, तर केही महिनामा मात्र: चयन वर्षमा निर्भर गर्दछ। परिस्थिति उत्पन्न हुन्छ जब एक मामला मा मेट्रिक्स को समान व्यवहार सफ्टवेयर प्रणाली को विफलता को नेतृत्व गर्न सक्छ, तर अर्को मा।
   सुरुमा, सफ्टवेयर प्रणालीहरूको निगरानी डाटामा विसंगतिहरू पत्ता लगाउनका लागि विधिहरू विश्लेषण गरियो। यस विषयमा लेखहरूमा, जब डेटा सेटको बाँकी सापेक्ष विसंगतिहरूको प्रतिशत सानो छ, यो प्रायः न्यूरल नेटवर्कहरू प्रयोग गर्न प्रस्ताव गरिएको छ।

तंत्रिका सञ्जाल डेटा प्रयोग गरेर विसंगतिहरू खोज्नको लागि आधारभूत तर्क चित्र 3 मा देखाइएको छ:

चित्र 3. तंत्रिका नेटवर्क प्रयोग गरेर विसंगतिहरू खोज्दै

मेट्रिक्सको वर्तमान प्रवाहको सञ्झ्यालको पूर्वानुमान वा पुनर्स्थापनाको परिणामको आधारमा, चलिरहेको सफ्टवेयर प्रणालीबाट प्राप्त भएको विचलन गणना गरिन्छ। यदि सफ्टवेयर प्रणाली र न्यूरल नेटवर्कबाट प्राप्त मेट्रिक्स बीच ठूलो भिन्नता छ भने, हामी हालको डेटा खण्ड असामान्य छ भनेर निष्कर्षमा पुग्न सक्छौं। समस्याहरूको निम्न श्रृंखला तंत्रिका नेटवर्कहरूको प्रयोगको लागि उत्पन्न हुन्छ:

1. स्ट्रिमिङ मोडमा सही तरिकाले काम गर्न, तंत्रिका सञ्जाल मोडेलहरू प्रशिक्षणको लागि डाटाले "सामान्य" डाटा मात्र समावेश गर्नुपर्छ;
2. सही पत्ता लगाउनको लागि अद्यावधिक मोडेल हुनु आवश्यक छ। मेट्रिक्समा प्रवृति र मौसम परिवर्तनले मोडेलमा ठूलो संख्यामा झूटा सकारात्मकताहरू निम्त्याउन सक्छ। यसलाई अद्यावधिक गर्न, यो मोडेल पुरानो भएको समय स्पष्ट रूपमा निर्धारण गर्न आवश्यक छ। यदि तपाइँ मोडेल पछि वा पहिले अपडेट गर्नुहुन्छ भने, त्यसपछि, सम्भवतः, ठूलो संख्यामा झूटा सकारात्मक पछ्याउनेछ।
   हामीले झूटा सकारात्मकहरूको बारम्बार घटनाको खोजी र रोकथामको बारेमा पनि बिर्सनु हुँदैन। यो मानिन्छ कि तिनीहरू प्रायः आपतकालीन अवस्थामा हुनेछन्। यद्यपि, तिनीहरू अपर्याप्त प्रशिक्षणको कारणले न्यूरल नेटवर्क त्रुटिको परिणाम पनि हुन सक्छ। यो मोडेल को गलत सकारात्मक को संख्या कम गर्न आवश्यक छ। अन्यथा, गलत भविष्यवाणीहरूले प्रणाली जाँच गर्न इरादा प्रशासकको धेरै समय बर्बाद गर्नेछ। ढिलो वा चाँडो प्रशासकले "पारानोइड" अनुगमन प्रणालीलाई प्रतिक्रिया दिन बन्द गर्नेछ।

आवर्ती न्यूरल नेटवर्क

समय श्रृंखला मा विसंगतिहरू पत्ता लगाउन, तपाईं प्रयोग गर्न सक्नुहुन्छ आवर्ती तंत्रिका नेटवर्क LSTM मेमोरी संग। मात्र समस्या यो हो कि यो केवल पूर्वानुमान गरिएको समय श्रृंखला को लागी प्रयोग गर्न सकिन्छ। हाम्रो मामला मा, सबै मेट्रिक्स भविष्यवाणी गर्न योग्य छैन। समय श्रृंखलामा RNN LSTM लागू गर्ने प्रयास चित्र 4 मा देखाइएको छ।

चित्र 4. LSTM मेमोरी कक्षहरूको साथ पुनरावर्ती न्यूरल नेटवर्कको उदाहरण

चित्र 4 बाट देख्न सकिन्छ, RNN LSTM यस समय अवधिमा विसंगतिहरूको खोजीसँग सामना गर्न सक्षम थियो। जहाँ परिणाममा उच्च भविष्यवाणी त्रुटि (मतलब त्रुटि), सूचकहरूमा विसंगति वास्तवमा भएको छ। एकल RNN LSTM प्रयोग गर्नु स्पष्ट रूपमा पर्याप्त हुनेछैन, किनकि यो थोरै संख्यामा मेट्रिक्समा लागू हुन्छ। विसंगतिहरू खोज्नको लागि सहायक विधिको रूपमा प्रयोग गर्न सकिन्छ।

विफलता भविष्यवाणीको लागि स्वत: एन्कोडर

अटोइन्कोडर - अनिवार्य रूपमा एक कृत्रिम तंत्रिका नेटवर्क। इनपुट तह एन्कोडर हो, आउटपुट तह डिकोडर हो। यस प्रकारका सबै तंत्रिका नेटवर्कहरूको हानि यो हो कि तिनीहरूले विसंगतिहरूलाई राम्रोसँग स्थानीयकरण गर्दैनन्। एक सिंक्रोनस स्वत: एन्कोडर वास्तुकला छनोट गरियो।

चित्र 5. autoencoder सञ्चालनको उदाहरण

स्वत: एन्कोडरहरू सामान्य डेटामा प्रशिक्षित हुन्छन् र त्यसपछि मोडेलमा फिड गरिएको डेटामा केहि असामान्य फेला पार्छन्। तपाईलाई यो कार्यको लागि के चाहिन्छ। यो कार्यको लागि कुन स्वत: एन्कोडर उपयुक्त छ छनौट गर्न बाँकी छ। वास्तुकलाको रूपमा एक अटोएनकोडरको सबैभन्दा सरल रूप एक अगाडि, गैर-रिटर्निंग न्यूरल नेटवर्क हो, जुन धेरै समान छ। मल्टिलेयर पर्सेप्ट्रोन (multilayer perceptron, MLP), एक इनपुट तह, एक आउटपुट तह, र तिनीहरूलाई जोड्ने एक वा बढी लुकेका तहहरू।
जे होस्, autoencoders र MLP हरू बीचको भिन्नता यो हो कि एक autoencoder मा, आउटपुट लेयरमा इनपुट लेयरको रूपमा नोडहरूको एउटै संख्या हुन्छ, र इनपुट X द्वारा दिइएको लक्ष्य मान Y अनुमान गर्न प्रशिक्षित हुनुको सट्टा, autoencoder लाई प्रशिक्षित गरिन्छ। यसको आफ्नै Xs पुन: निर्माण गर्न। त्यसैले, Autoencoders असुरक्षित सिकाइ मोडेलहरू हुन्।

अटोइन्कोडरको कार्य भनेको इनपुट भेक्टर X मा विसंगत तत्वहरूसँग मिल्दोजुल्दो समय सूचकाङ्कहरू r0 ... rn फेला पार्नु हो। यो प्रभाव वर्ग त्रुटिको खोजी गरेर प्राप्त हुन्छ।

चित्र 6. सिंक्रोनस अटोएनकोडर

Autoencoder को लागि चयन गरिएको थियो सिंक्रोनस वास्तुकला। यसको फाइदाहरू: स्ट्रिमिङ प्रशोधन मोड प्रयोग गर्ने क्षमता र अन्य आर्किटेक्चरहरूको तुलनामा न्यूरल नेटवर्क प्यारामिटरहरूको अपेक्षाकृत सानो संख्या।

झूटा सकारात्मक कम गर्न को लागी संयन्त्र

यस तथ्यको कारणले गर्दा विभिन्न असामान्य अवस्थाहरू उत्पन्न हुन्छन्, साथै न्यूरल नेटवर्कको अपर्याप्त प्रशिक्षणको सम्भावित अवस्था, विसंगति पत्ता लगाउने मोडेलको विकासको लागि, यो निर्णय गरियो कि यो झूटा सकारात्मक कम गर्नको लागि एक संयन्त्र विकास गर्न आवश्यक थियो। यो संयन्त्र प्रशासक द्वारा वर्गीकृत टेम्प्लेट आधार मा आधारित छ।

गतिशील टाइमलाइन रूपान्तरणको लागि एल्गोरिथ्म (DTW एल्गोरिथ्म, अंग्रेजी डायनामिक टाइम वार्पिङबाट) तपाईंलाई समय अनुक्रमहरू बीचको इष्टतम पत्राचार फेला पार्न अनुमति दिन्छ। पहिलो पटक वाणी पहिचानमा प्रयोग गरियो: दुईवटा वाणी संकेतहरूले एउटै मौलिक बोलीको वाक्यांशलाई कसरी प्रतिनिधित्व गर्छ भनेर निर्धारण गर्न प्रयोग गरिन्छ। त्यसपछि अन्य क्षेत्रमा पनि त्यसका लागि आवेदन पाइएको थियो ।

झूटा सकारात्मकहरूलाई न्यूनीकरण गर्ने मुख्य सिद्धान्त भनेको एक अपरेटरको सहयोगमा मापदण्डहरूको डाटाबेस सङ्कलन गर्नु हो जसले तंत्रिका नेटवर्कहरू प्रयोग गरेर पत्ता लगाइएका शंकास्पद केसहरूलाई वर्गीकृत गर्दछ। अर्को, वर्गीकृत मानकलाई प्रणालीले पत्ता लगाएको केससँग तुलना गरिन्छ, र केस गलत छ वा असफलताको लागि एक निष्कर्ष निकालिन्छ। DTW एल्गोरिथ्म दुई समय श्रृंखला तुलना गर्न ठीक प्रयोग गरिन्छ। मुख्य न्यूनतम उपकरण अझै पनि वर्गीकरण हो। धेरै संख्यामा सन्दर्भ केसहरू सङ्कलन गरिसकेपछि प्रणालीले धेरै जसो केसहरूको समानता र उस्तै घटनाहरूको कारणले अपरेटरलाई कम सोध्न थाल्छ भन्ने आशा गरिन्छ।

नतिजाको रूपमा, माथि वर्णन गरिएको तंत्रिका सञ्जाल विधिहरूमा आधारित, "वेब-एकीकरण" प्रणालीको विफलताहरूको भविष्यवाणी गर्न प्रयोगात्मक कार्यक्रम बनाइएको थियो। यस कार्यक्रमको लक्ष्य, हाम्रो सफ्टवेयर प्रणालीहरूको लागि यस दृष्टिकोणको क्षमताको मूल्याङ्कन गर्न, अघिल्लो असफलताहरूको बारेमा निगरानी डेटा र जानकारीको अवस्थित अभिलेख प्रयोग गर्नु थियो। कार्यक्रमको योजना तल चित्र 7 मा प्रस्तुत गरिएको छ।

चित्र 7. मेट्रिक स्पेस विश्लेषणमा आधारित असफलता भविष्यवाणी योजना

रेखाचित्रमा, दुई मुख्य ब्लकहरू छुट्याउन सकिन्छ: अनुगमन डाटा स्ट्रिम (मेट्रिक्स) मा अनियमित समयको खोजी र गलत सकारात्मकहरूलाई कम गर्ने संयन्त्र। नोट: प्रयोगात्मक उद्देश्यका लागि, डाटाबेसबाट JDBC जडान मार्फत प्राप्त गरिन्छ जसमा ग्रेफाइटले यसलाई बचत गर्नेछ।
विकासको परिणाम स्वरूप प्राप्त अनुगमन प्रणालीको इन्टरफेस निम्न छ (चित्र ८)।

चित्र 8. प्रयोगात्मक निगरानी प्रणालीको इन्टरफेस

इन्टरफेसले प्राप्त मेट्रिक्समा आधारित विसंगतिको प्रतिशत देखाउँछ। हाम्रो अवस्थामा, रसिद सिमुलेटेड छ। हामीसँग पहिले नै धेरै हप्ताको लागि सबै डेटा छ र यसलाई बिस्तारै लोड गर्दैछौं कि विफलताको कारण विसंगतिको मामला जाँच गर्न। तल्लो स्थिति पट्टीले दिइएको समयमा डेटा विसंगतिको समग्र प्रतिशत प्रदर्शन गर्दछ, जुन एक autoencoder प्रयोग गरेर निर्धारण गरिन्छ। साथै, अनुमानित मेट्रिक्सका लागि छुट्टै प्रतिशत प्रदर्शित हुन्छ, जुन RNN LSTM द्वारा गणना गरिन्छ।

RNN LSTM न्यूरल नेटवर्क (चित्र 9) को प्रयोग गरेर CPU प्रदर्शनमा आधारित विसंगति पत्ता लगाउने उदाहरण।

चित्र 9. RNN LSTM खोज

एकदम सरल केस, अनिवार्य रूपमा एक साधारण आउटलायर, तर प्रणाली विफलताको नेतृत्वमा, RNN LSTM प्रयोग गरेर सफलतापूर्वक गणना गरियो। यस अवधिमा विसंगति सूचक 85-95% हो; 80% भन्दा माथिको सबै कुरा (थ्रेसहोल्ड प्रयोगात्मक रूपमा निर्धारण गरिएको थियो) एक विसंगति मानिन्छ।
एक विसंगति पत्ता लगाउने उदाहरण जब प्रणाली अपडेट पछि बुट गर्न असमर्थ थियो। यो अवस्था autoencoder द्वारा पत्ता लगाइएको छ (चित्र 10)।

चित्र 10. स्वत: एन्कोडर पत्ता लगाउने उदाहरण

तपाईले चित्रबाट देख्न सक्नुहुन्छ, PermGen एक स्तरमा अड्किएको छ। autoencoder लाई यो अनौठो लाग्यो किनकी यो पहिले जस्तो केहि देखेको थिएन। यहाँ विसंगति 100% रहन्छ जब सम्म प्रणाली एक कार्य स्थिति मा फर्किदैन। सबै मेट्रिक्सका लागि विसंगति देखाइएको छ। पहिले उल्लेख गरिए अनुसार, autoencoder ले विसंगतिहरू स्थानीयकरण गर्न सक्दैन। अपरेटरलाई यी परिस्थितिहरूमा यो प्रकार्य प्रदर्शन गर्न आह्वान गरिएको छ।

निष्कर्षमा

पीसी "वेब-एकीकरण" धेरै वर्षको लागि विकासमा रहेको छ। प्रणाली एकदम स्थिर अवस्थामा छ, र रेकर्ड घटनाहरूको संख्या सानो छ। यद्यपि, विफलता हुन 5 - 10 मिनेट अघि विफलतामा नेतृत्व गर्ने विसंगतिहरू फेला पार्न सम्भव थियो। केहि अवस्थाहरूमा, असफलताको अग्रिम सूचनाले "मरम्मत" कार्य गर्नको लागि छुट्याइएको निर्धारित समय बचत गर्न मद्दत गर्दछ।

गरिएका प्रयोगहरूको आधारमा, अन्तिम निष्कर्ष निकाल्न धेरै चाँडो छ। अहिलेसम्म नतिजा विरोधाभासपूर्ण छ । एकातिर, यो स्पष्ट छ कि न्यूरल नेटवर्कहरूमा आधारित एल्गोरिदमहरू "उपयोगी" विसंगतिहरू फेला पार्न सक्षम छन्। अर्कोतर्फ, त्यहाँ झूटा सकारात्मकहरूको ठूलो प्रतिशत रहन्छ, र न्यूरल नेटवर्कमा योग्य विशेषज्ञले पत्ता लगाएका सबै विसंगतिहरू पत्ता लगाउन सकिँदैन। बेफाइदाहरूमा यो तथ्य समावेश छ कि अब तंत्रिका नेटवर्कलाई सामान्य सञ्चालनको लागि शिक्षकसँग प्रशिक्षण चाहिन्छ।

असफलता भविष्यवाणी प्रणालीलाई थप विकास गर्न र यसलाई सन्तोषजनक अवस्थामा ल्याउन, धेरै तरिकाहरू परिकल्पना गर्न सकिन्छ। यो प्रणालीको अवस्थालाई धेरै प्रभाव पार्ने महत्त्वपूर्ण मेट्रिक्सको सूचीमा यो थपको कारणले गर्दा, असफलता निम्त्याउने विसंगतिहरू भएका केसहरूको थप विस्तृत विश्लेषण हो, र यसलाई असर नगर्ने अनावश्यकहरूलाई खारेज गर्ने। साथै, यदि हामी यस दिशामा अघि बढ्छौं भने, हामी विशेष गरी हाम्रा केसहरूको विसंगतिहरूका लागि एल्गोरिदमहरू विशेषज्ञ बनाउने प्रयास गर्न सक्छौं जसले विफलताहरू निम्त्याउँछ। त्यहाँ अर्को तरिका छ। यो तंत्रिका सञ्जाल आर्किटेक्चरमा सुधार हो र यसैले प्रशिक्षण समयमा कमीको साथ पत्ता लगाउने सटीकता बढाउँछ।

म यस लेखको सान्दर्भिकतालाई लेख्न र कायम राख्न मद्दत गर्ने मेरा सहकर्मीहरूप्रति आभार व्यक्त गर्दछु: भिक्टर Verbitsky र सर्गेई फिनोगेनोभ।

स्रोत: www.habr.com