اسان غير معموليات کي ڳوليندا آهيون ۽ نيورل نيٽ ورڪ استعمال ڪندي ناڪامين جي اڳڪٿي ڪندا آهيون

صنعتي سافٽ ويئر ڊولپمينٽ لاءِ آخري پراڊڪٽ جي غلطي برداشت تي تمام گهڻي ڌيان ڏيڻ جي ضرورت آهي، انهي سان گڏ ناڪامين ۽ خرابين جي صورت ۾ تيز جواب ڏيڻ جي ضرورت آهي. نگراني يقيني طور تي ناڪامين ۽ خرابين کي وڌيڪ اثرائتي ۽ تيزيءَ سان جواب ڏيڻ ۾ مدد ڪري ٿي، پر اهو ڪافي ناهي. پهرين، وڏي تعداد ۾ سرورز جي نگراني ڪرڻ تمام ڏکيو آهي - ان لاءِ وڏي تعداد ۾ ماڻهن جي ضرورت آهي. ٻيو، ان جي حالت جي اڳڪٿي ڪرڻ لاءِ ايپليڪيشن جي جوڙجڪ کي چڱي طرح سمجهڻ ضروري آهي. نتيجي طور، اسان کي ڪيترن ئي ماڻهن جي ضرورت آهي جيڪي اسان جي ترقي ڪيل سسٽم، انهن جي ميٽرڪس ۽ مخصوص خاصيتن جي مڪمل سمجھ رکن ٿا. اچو ته فرض ڪريون ته جيتوڻيڪ اسان ڪافي ماڻهو ڳوليون ٿا جيڪي اهو ڪرڻ لاءِ تيار آهن، انهن کي تربيت ڏيڻ ۾ اڃا به ڪافي وقت لڳندو.

تنهنڪري اسان کي ڇا ڪرڻ گهرجي؟ هي اهو هنڌ آهي جتي مصنوعي ذهانت اسان جي مدد لاءِ ايندي آهي. هي مضمون بحث ڪندو اڳڪٿي ڪندڙ سار سنڀال (اڳڪٿي ڪندڙ سار سنڀال). هي طريقو تيزي سان مقبوليت حاصل ڪري رهيو آهي. ان بابت ڪيترائي مضمون لکيا ويا آهن، جن ۾ هيبر به شامل آهي. وڏيون ڪمپنيون پنهنجي سرور جي ڪارڪردگي کي برقرار رکڻ لاءِ هن طريقي کي فعال طور تي استعمال ڪري رهيون آهن. ڪيترن ئي مضمونن جو جائزو وٺڻ کان پوءِ، اسان ان کي آزمائڻ جو فيصلو ڪيو. ان مان ڇا نڪتو؟

تعارف

ترقي يافته سافٽ ويئر سسٽم آخرڪار ڪم ۾ اچي ويندو آهي. استعمال ڪندڙ لاءِ اهو ضروري آهي ته سسٽم بغير ڪنهن رڪاوٽ جي ڪم ڪري. جيڪڏهن ڪا ايمرجنسي ٿئي ٿي، ته ان کي گهٽ ۾ گهٽ دير سان حل ڪيو وڃي.

سافٽ ويئر سسٽم لاءِ ٽيڪنيڪل سپورٽ کي آسان بڻائڻ لاءِ، خاص طور تي جيڪڏهن ڪيترائي سرور آهن، مانيٽرنگ پروگرام عام طور تي استعمال ڪيا ويندا آهن. اهي پروگرام هلندڙ سافٽ ويئر سسٽم مان ميٽرڪس گڏ ڪن ٿا، ان جي حالت جي تشخيص کي فعال ڪن ٿا، ۽ ناڪامي جي سبب کي طئي ڪرڻ ۾ مدد ڪن ٿا. هن عمل کي سافٽ ويئر سسٽم مانيٽرنگ چيو ويندو آهي.

شڪل 1. گرافانا مانيٽرنگ انٽرفيس

ميٽرڪس هڪ سافٽ ويئر سسٽم، ان جي عملدرآمد ماحول، يا جسماني ڪمپيوٽر جا مختلف اشارا آهن جنهن تي سسٽم هلي رهيو آهي، هڪ ٽائيم اسٽيمپ سان گڏ جيڪو ميٽرڪس حاصل ڪرڻ جي لمحي کي ظاهر ڪري ٿو. جامد تجزيي ۾، ميٽرڪ ڊيٽا کي ٽائيم سيريز سڏيو ويندو آهي. سافٽ ويئر سسٽم جي حالت جي نگراني ڪرڻ لاءِ، ميٽرڪس گراف جي طور تي ڏيکاريا ويندا آهن: وقت x-محور تي آهي ۽ قدر y-محور تي آهن (شڪل 1). هلندڙ سافٽ ويئر سسٽم (في نوڊ) مان ڪيترائي هزار ميٽرڪس گڏ ڪري سگهجن ٿا. اهي ميٽرڪس هڪ ميٽرڪ اسپيس (هڪ گهڻ-جہتي ٽائيم سيريز) ٺاهيندا آهن.

ڇاڪاڻ ته پيچيده سافٽ ويئر سسٽم وڏي تعداد ۾ ميٽرڪس گڏ ڪن ٿا، دستي نگراني هڪ پيچيده ڪم بڻجي ويندو آهي. ايڊمنسٽريٽر کي تجزيو ڪرڻ لاءِ ڊيٽا جي مقدار کي گهٽائڻ لاءِ، نگراني جي اوزارن ۾ خودڪار طريقي سان امڪاني مسئلن جي سڃاڻپ ڪرڻ جا اوزار شامل آهن. مثال طور، هڪ ٽرگر کي فائر ڪرڻ لاءِ ترتيب ڏئي سگهجي ٿو جڏهن خالي ڊسڪ اسپيس هڪ مخصوص حد تائين پهچي ٿي. سرور بند ٿيڻ يا نازڪ سروس سست ٿيڻ جي پڻ خودڪار طريقي سان تشخيص ڪري سگهجي ٿي. عملي طور تي، نگراني جا اوزار ماضي جي ناڪامين کي ڳولڻ يا مستقبل جي ناڪامين جي سادي علامتن کي سڃاڻڻ ۾ ڪافي سٺا آهن، پر امڪاني ناڪامين جي اڳڪٿي ڪرڻ هڪ سخت نٽ رهي ٿو. دستي ميٽرڪ تجزيي ذريعي اڳڪٿي ڪرڻ لاءِ قابليت رکندڙ ماهرن جي شموليت جي ضرورت آهي ۽ اهو غير پيداواري آهي. گهڻيون امڪاني ناڪاميون شايد اڻ ڏٺيون وڃن.

تازو، سافٽ ويئر سسٽم جي نام نهاد اڳڪٿي ڪندڙ سار سنڀال وڏين آئي ٽي سافٽ ويئر ڊولپمينٽ ڪمپنين ۾ تيزي سان مشهور ٿي چڪي آهي. هي طريقو مصنوعي ذهانت کي استعمال ڪري ٿو ته جيئن انهن مسئلن جي سڃاڻپ ڪري سگهجي جيڪي ناڪامي کان اڳ، شروعاتي مرحلي ۾ سسٽم جي تباهي جو سبب بڻجن ٿا. هي طريقو دستي سسٽم جي نگراني کي مڪمل طور تي ختم نٿو ڪري، پر مجموعي نگراني جي عمل جي اضافي طور ڪم ڪري ٿو.

اڳڪٿي ڪندڙ سار سنڀال کي لاڳو ڪرڻ جو مکيه اوزار وقت جي سلسلي ۾ بي ضابطگين جي ڳولا جو ڪم آهي، ڇاڪاڻ ته جڏهن ڪا بي ضابطگي ٿئي ٿي ڊيٽا ۾ هڪ وڏو امڪان آهي ته ڪجهه وقت کان پوءِ ڪا ناڪامي يا خرابي ٿينديهڪ انوملي هڪ سافٽ ويئر سسٽم جي ڪارڪردگي ۾ هڪ انحراف آهي، جهڙوڪ هڪ قسم جي درخواست تي عمل ڪرڻ جي رفتار ۾ گهٽتائي يا ڪلائنٽ سيشن جي مسلسل سطح سان پروسيس ٿيل درخواستن جي سراسري تعداد ۾ گهٽتائي.

سافٽ ويئر سسٽم ۾ بي ضابطگين کي ڳولڻ جي ڪم جون پنهنجون خاصيتون آهن. مثالي طور تي، هر سافٽ ويئر سسٽم کي موجوده طريقن جي ترقي يا اصلاح جي ضرورت آهي، ڇاڪاڻ ته بي ضابطگي جي ڳولا ان ڊيٽا تي تمام گهڻو منحصر آهي جنهن تي ان کي پروسيس ڪيو پيو وڃي، ۽ سافٽ ويئر سسٽم ۾ ڊيٽا استعمال ٿيندڙ عملدرآمد جي اوزارن جي لحاظ کان تمام گهڻو مختلف هوندو آهي، جنهن ۾ ڪمپيوٽر به شامل آهي جنهن تي سسٽم هلي رهيو آهي.

سافٽ ويئر سسٽم جي ناڪامين جي اڳڪٿي ڪرڻ ۾ بي ضابطگين کي ڳولڻ جا طريقا

سڀ کان پهرين، اهو چوڻ جي لائق آهي ته ناڪامي جي اڳڪٿي جو خيال مضمون کان متاثر ٿيو هو. آئي ٽي مانيٽرنگ ۾ مشين لرننگخودڪار انوملي ڊيٽيڪشن اپروچ جي اثرائتي کي جانچڻ لاءِ، ويب ڪنسوليڊيشن سافٽ ويئر سسٽم، اين پي او ڪرسٽا جو هڪ منصوبو، چونڊيو ويو. نتيجي ۾ ايندڙ ميٽرڪس جي دستي نگراني اڳ ۾ هن سسٽم لاءِ ڪئي وئي هئي. سسٽم جي پيچيدگي جي ڪري، وڏي تعداد ۾ ميٽرڪس گڏ ڪيا ويا آهن: JVM ميٽرڪس (ڪچرو ڪليڪٽر لوڊ)، او ايس ميٽرڪس (ورچوئل ميموري، % CPU لوڊ)، نيٽ ورڪ ميٽرڪس (نيٽ ورڪ لوڊ)، سرور پاڻ (سي پي يو لوڊ، ميموري لوڊ)، وائلڊ فلائي ميٽرڪس، ۽ سڀني نازڪ سب سسٽم لاءِ ايپليڪيشن جا پنهنجا ميٽرڪس.

سڀ ميٽرڪس سسٽم مان گريفائٽ استعمال ڪندي گڏ ڪيا ويندا آهن. شروعات ۾، ويسپر ڊيٽابيس کي گرافانا لاءِ معياري حل طور استعمال ڪيو ويندو هو، پر جيئن ڪلائنٽ بيس وڌندو ويو، گرافائٽ غير مستحڪم ٿي ويو، ڊيٽا سينٽر جي ڊسڪ سب سسٽم جي ٿرو پُٽ کي ختم ڪري ڇڏيو. ان کان پوءِ، هڪ وڌيڪ ڪارآمد حل ڳولڻ جو فيصلو ڪيو ويو. چونڊ جي حق ۾ ڪئي وئي گريفائيٽ + ڪلڪ هائوس، جنهن ڊسڪ سب سسٽم تي لوڊ کي شدت جي ترتيب سان گهٽايو ۽ ڊسڪ جي جاءِ کي پنج کان ڇهه ڀيرا گهٽايو. هيٺ ڏنل گرافائٽ + ڪلڪ هائوس استعمال ڪندي ميٽرڪس ڪليڪشن ميڪانيزم جو هڪ ڊاگرام آهي (شڪل 2).

شڪل 2. ميٽرڪس وٺڻ لاءِ اسڪيم

هي ڊاگرام اندروني دستاويزن مان ورتو ويو آهي. اهو گرافانا (اسان استعمال ڪندڙ مانيٽرنگ يوزر انٽرفيس) ۽ گريفائٽ جي وچ ۾ ڊيٽا جي مٽاسٽا ڏيکاري ٿو. ميٽرڪس الڳ سافٽ ويئر استعمال ڪندي ايپليڪيشن مان گڏ ڪيا ويندا آهن - جي ايم ايڪس ٽرانسهو انهن کي گريفائيٽ ۾ پڻ رکي ٿو.
ويب ڪنسوليڊيشن سسٽم ۾ ڪيتريون ئي خاصيتون آهن جيڪي ناڪامي جي اڳڪٿي لاءِ مسئلا پيدا ڪن ٿيون:

1. رجحانات اڪثر تبديل ٿيندا رهن ٿا. ڏنل سافٽ ويئر سسٽم جا مختلف نسخا جاري ڪيا ويندا آهن. هر نسخو سسٽم جي سافٽ ويئر ۾ تبديليون متعارف ڪرائيندو آهي. نتيجي طور، ڊولپرز سڌو سنئون سسٽم جي ميٽرڪس تي اثر انداز ٿين ٿا ۽ رجحان جي تبديلي کي شروع ڪري سگهن ٿا.
2. عملدرآمد جون خاصيتون، ۽ گڏوگڏ اهي مقصد جن لاءِ گراهڪ هن سسٽم کي استعمال ڪن ٿا، اڪثر ڪري اڳواٽ خرابي کان سواءِ بي ضابطگيون پيدا ڪن ٿا؛
3. پوري ڊيٽا سيٽ جي مقابلي ۾ بي ضابطگين جو سيڪڙو ننڍو آهي (< 5%)؛
4. سسٽم مان ميٽرڪس حاصل ڪرڻ ۾ خال پيدا ٿي سگهن ٿا. ڪجهه مختصر وقت دوران، مانيٽرنگ سسٽم ميٽرڪس حاصل ڪرڻ جي قابل نه ٿي سگهي ٿو. مثال طور، جيڪڏهن سرور اوورلوڊ ٿيل آهي. اهو نيورل نيٽ ورڪ جي تربيت لاءِ اهم آهي. مصنوعي طور تي خال ڀرڻ ضروري ٿي ويندو آهي؛
5. غير معمولي شيون اڪثر ڪري صرف هڪ مخصوص تاريخ/مهيني/وقت (موسمي) لاءِ لاڳاپيل هونديون آهن. هن سسٽم ۾ استعمال ڪندڙن پاران ان جي استعمال لاءِ واضح هدايتون آهن. ان مطابق، ميٽرڪس صرف هڪ مخصوص وقت لاءِ لاڳاپيل آهن. سسٽم کي مسلسل استعمال نه ٿو ڪري سگهجي، پر صرف ڪجهه مهينن ۾، چونڊيل طور تي سال جي لحاظ کان. حالتون پيدا ٿين ٿيون جتي ساڳيو ميٽرڪ رويو هڪ صورت ۾ سافٽ ويئر سسٽم جي ناڪامي جو سبب بڻجي سگهي ٿو، پر ٻئي ۾ نه.
   شروع ڪرڻ لاءِ، اسان سافٽ ويئر سسٽم مانيٽرنگ ڊيٽا ۾ بي ضابطگين کي ڳولڻ جي طريقن جو تجزيو ڪيو. هن موضوع تي آرٽيڪل اڪثر ڪري نيورل نيٽ ورڪ استعمال ڪرڻ جو مشورو ڏين ٿا جڏهن بي ضابطگين جو سيڪڙو باقي ڊيٽا سيٽ جي مقابلي ۾ ننڍو هوندو آهي.

نيورل نيٽ ورڪ ڊيٽا استعمال ڪندي بي ضابطگيون ڳولڻ لاءِ بنيادي منطق شڪل 3 ۾ ڏيکاريل آهي:

شڪل 3. نيورل نيٽ ورڪ استعمال ڪندي بي ضابطگين جي ڳولا

موجوده ميٽرڪ فلو ونڊو جي اڳڪٿي يا تعمير نو جي بنياد تي، هلندڙ سافٽ ويئر سسٽم مان حاصل ڪيل ڊيٽا مان انحراف جو حساب لڳايو ويندو آهي. جيڪڏهن سافٽ ويئر سسٽم ۽ نيورل نيٽ ورڪ مان حاصل ڪيل ميٽرڪس جي وچ ۾ هڪ اهم فرق آهي، ته اهو نتيجو ڪڍي سگهجي ٿو ته موجوده ڊيٽا سيگمينٽ غير معمولي آهي. نيورل نيٽ ورڪ استعمال ڪرڻ وقت چئلينجن جو هيٺيون سيٽ پيدا ٿئي ٿو:

1. اسٽريمنگ موڊ ۾ صحيح طريقي سان ڪم ڪرڻ لاءِ، تربيتي نيورل نيٽ ورڪ ماڊلز جي ڊيٽا ۾ صرف "عام" ڊيٽا شامل هجڻ گهرجي؛
2. صحيح سڃاڻپ لاءِ هڪ جديد ماڊل ضروري آهي. ميٽرڪس ۾ رجحانات ۽ موسمي تبديليون وڏي تعداد ۾ غلط مثبت نتيجا پيدا ڪري سگهن ٿيون. ماڊل کي اپڊيٽ ڪرڻ لاءِ، اهو ضروري آهي ته ماڊل جي پراڻي هجڻ جو وقت واضح طور تي بيان ڪيو وڃي. ماڊل کي تمام جلدي يا تمام دير سان اپڊيٽ ڪرڻ سان وڏي تعداد ۾ غلط مثبت نتيجا پيدا ٿيندا.
   اهو پڻ ياد رکڻ ضروري آهي ته بار بار غلط مثبت کي سڃاڻڻ ۽ روڪڻ. اهي هنگامي حالتن ۾ اڪثر ٿيڻ جي اميد رکن ٿا. بهرحال، اهي ناکافي تربيت جي ڪري نيورل نيٽ ورڪ جي غلطي جو نتيجو پڻ ٿي سگهن ٿا. ماڊل پاران پيدا ٿيندڙ غلط مثبت جي تعداد کي گھٽائڻ ضروري آهي. ٻي صورت ۾، غلط اڳڪٿيون منتظم جي وقت جي هڪ اهم مقدار کي ضايع ڪنديون، جيڪو ٻي صورت ۾ سسٽم کي جانچڻ لاءِ وقف ڪيو ويندو آهي. جلد يا دير سان، منتظم صرف هڪ "بيوقوف" نگراني نظام جو جواب ڏيڻ بند ڪري ڇڏيندو.

بار بار نيورل نيٽ ورڪ

وقت جي سلسلي ۾ بي ضابطگين کي ڳولڻ لاءِ، ڪو به لاڳو ڪري سگهي ٿو بار بار ٿيندڙ نيورل نيٽ ورڪ LSTM ياداشت سان. رڳو مسئلو اهو آهي ته اهو صرف پيش گوئي واري وقت جي سيريز تي لاڳو ٿي سگهي ٿو. اسان جي صورت ۾، سڀئي ميٽرڪ پيش گوئي لائق نه آهن. RNN LSTM کي وقت جي سيريز تي لاڳو ڪرڻ جي ڪوشش شڪل 4 ۾ ڏيکاريل آهي.

شڪل 4. LSTM ميموري سيلز سان گڏ بار بار ٿيندڙ نيورل نيٽ ورڪ جو هڪ مثال.

جيئن شڪل 4 ڏيکاري ٿي، RNN LSTM هن وقت جي عرصي ۾ بي ضابطگين کي ڳولڻ ۾ ڪامياب ٿيو. جتي نتيجي ۾ هڪ اعلي اوسط غلطي آهي، هڪ ميٽرڪ بي ضابطگي اصل ۾ واقع ٿي. صرف RNN LSTM استعمال ڪرڻ واضح طور تي ڪافي ناهي، ڇاڪاڻ ته اهو ڪجهه ميٽرڪس تي لاڳو ٿئي ٿو. ان کي هڪ معاون بي ضابطگي جي ڳولا جي طريقي طور استعمال ڪري سگهجي ٿو.

ناڪامي جي اڳڪٿي لاءِ Autoencoder

آٽو انڪوڊر - بنيادي طور تي هڪ مصنوعي نيورل نيٽ ورڪ. ان پٽ پرت انڪوڊر آهي، آئوٽ پُٽ پرت ڊيڪوڊر آهي. هن قسم جي سڀني نيورل نيٽ ورڪن جي هڪ خرابي انهن جي بي ضابطگين کي مقامي ڪرڻ جي خراب صلاحيت آهي. هڪ هم وقت ساز آٽو اينڪوڊر آرڪيٽيڪچر چونڊيو ويو هو.

شڪل 5. آٽو انڪوڊر جي آپريشن جو هڪ مثال

آٽو اينڪوڊرز کي عام ڊيٽا تي تربيت ڏني ويندي آهي ۽ پوءِ ماڊل کي فراهم ڪيل ڊيٽا ۾ ڪنهن به غير معمولي معلومات کي ڳوليندا آهن. اهو بلڪل اهو آهي جيڪو هن ڪم لاءِ گهربل آهي. صرف باقي چونڊ اهو آهي ته ڪهڙو آٽو اينڪوڊر هن ڪم لاءِ مناسب آهي. تعميراتي طور تي، آٽو اينڪوڊر جو آسان ترين روپ هڪ فيڊ فارورڊ نيورل نيٽ ورڪ آهي، جيڪو تمام گهڻو ملندڙ جلندڙ آهي. ملٽي ليئر پرسيپٽرون (ملٽي ليئر پرسيپٽرون، ايم ايل پي)، هڪ ان پٽ ليئر، هڪ آئوٽ پُٽ ليئر، ۽ هڪ يا وڌيڪ لڪيل ليئر جيڪي انهن کي ڳنڍيندا آهن.
جڏهن ته، آٽو اينڪوڊرز ۽ ايم ايل پيز جي وچ ۾ فرق اهو آهي ته هڪ آٽو اينڪوڊر ۾، آئوٽ پُٽ پرت ۾ ان پٽ پرت جيترا نوڊس هوندا آهن، ۽ هڪ ان پٽ X کي ڏنل ٽارگيٽ ويليو Y جي اڳڪٿي ڪرڻ سکڻ جي بدران، هڪ آٽو اينڪوڊر پنهنجي X کي ٻيهر ٺاهڻ سکي ٿو. تنهن ڪري، آٽو اينڪوڊر غير نگراني ٿيل سکيا جا ماڊل آهن.

آٽو اينڪوڊر جو ڪم ان پٽ ویکٹر X ۾ غير معمولي عنصرن سان ملندڙ وقت جي انڊيڪس r0 … rn ڳولڻ آهي. هي اثر اسڪوائر غلطي جي ڳولا سان حاصل ڪيو ويندو آهي.

شڪل 6. هم وقت ساز آٽو اينڪوڊر

آٽو انڪوڊر لاءِ چونڊيو ويو هو هم وقت ساز آرڪيٽيڪچران جي فائدن ۾ اسٽريمنگ پروسيسنگ استعمال ڪرڻ جي صلاحيت ۽ ٻين آرڪيٽيڪچر جي مقابلي ۾ نيورل نيٽ ورڪ پيرا ميٽرز جو نسبتاً ننڍو تعداد شامل آهي.

غلط الارم گھٽائڻ جو طريقو

مختلف غير معمولي حالتن جي امڪان جي ڪري، ۽ گڏوگڏ ناکافي نيورل نيٽ ورڪ ٽريننگ جي امڪان جي ڪري، اهو فيصلو ڪيو ويو ته هڪ اهڙو طريقو تيار ڪيو وڃي جيڪو انوملي ڊيٽيڪشن ماڊل لاءِ غلط مثبت کي گهٽ ۾ گهٽ ڪري سگهجي. هي طريقو ايڊمنسٽريٽر پاران درجه بندي ڪيل ٽيمپليٽ ڊيٽابيس تي ٻڌل آهي.

متحرڪ ٽائم لائن ٽرانسفارميشن الگورتھم ڊي ٽي ڊبليو الگورتھم (انگريزي لفظ "ڊائنامڪ ٽائيم وارپنگ" مان) ڪنهن کي وقت جي ترتيبن جي وچ ۾ بهترين خط و ڪتابت ڳولڻ جي اجازت ڏئي ٿو. اهو پهريون ڀيرو تقرير جي سڃاڻپ ۾ لاڳو ڪيو ويو: اهو طئي ڪرڻ لاءِ استعمال ڪيو ويو ته ٻه تقرير سگنل هڪ ئي اصل ڳالهائيندڙ جملي جي نمائندگي ڪيئن ڪن ٿا. ان کي بعد ۾ ٻين شعبن ۾ لاڳو ڪيو ويو.

غلط مثبت کي گھٽ ڪرڻ جو بنيادي اصول هڪ آپريٽر جي استعمال سان ريفرنس ڪيسن جو ڊيٽابيس گڏ ڪرڻ آهي جيڪو نيورل نيٽ ورڪ استعمال ڪندي معلوم ٿيل مشڪوڪ ڪيسن کي درجه بندي ڪري ٿو. پوءِ درجه بندي ريفرنس ڪيس جو مقابلو سسٽم پاران معلوم ڪيل ڪيس سان ڪيو ويندو آهي، ۽ هڪ نتيجي تي پهچبو آهي ته ڇا ڪيس غلط آهي يا ناڪامي جو سبب بڻجندو آهي. DTW الگورتھم ٻن ٽائيم سيريز جي مقابلي لاءِ استعمال ڪيو ويندو آهي. درجه بندي غلط مثبت کي گھٽ ڪرڻ لاءِ بنيادي اوزار رهي ٿي. اهو فرض ڪيو ويو آهي ته وڏي تعداد ۾ ريفرنس ڪيس گڏ ڪرڻ کان پوءِ، سسٽم کي گهٽ آپريٽر سوالن جي ضرورت پوندي ڇاڪاڻ ته گھڻن ڪيسن جي هڪجهڙائي ۽ ساڳين ڪيسن جي موجودگي جي ڪري.

آخرڪار، مٿي بيان ڪيل نيورل نيٽ ورڪ طريقن جي بنياد تي، ويب ڪنسوليڊيشن سسٽم ۾ ناڪامين جي اڳڪٿي ڪرڻ لاءِ هڪ تجرباتي پروگرام تيار ڪيو ويو. هن پروگرام جو مقصد موجوده مانيٽرنگ ڊيٽا آرڪائيو ۽ ماضي جي ناڪامين بابت معلومات استعمال ڪندي اسان جي سافٽ ويئر سسٽم لاءِ هن طريقي جي مناسبيت جو جائزو وٺڻ هو. پروگرام جو فلو چارٽ هيٺ ڏنل شڪل 7 ۾ ڏيکاريل آهي.

شڪل 7. ميٽرڪ اسپيس تجزيي جي بنياد تي ناڪامي جي اڳڪٿي جو منصوبو

ڊاگرام ٻه مکيه بلاڪ ڏيکاري ٿو: مانيٽرنگ ڊيٽا اسٽريم (ميٽرڪس) ۾ غير معمولي وقت جي دورن جي ڳولا ۽ غلط مثبت کي گھٽائڻ لاءِ هڪ طريقو. نوٽ: تجرباتي مقصدن لاءِ، ڊيٽا ڊيٽابيس مان JDBC ڪنيڪشن ذريعي حاصل ڪيو ويندو آهي، جتي ان کي گريفائٽ ذريعي محفوظ ڪيو ويندو.
نتيجي ۾ ايندڙ نگراني نظام جو انٽرفيس هيٺ ڏنل آهي (شڪل 8).

شڪل 8. تجرباتي نگراني نظام جو انٽرفيس

انٽرفيس حاصل ڪيل ميٽرڪس ۾ بي ضابطگين جو سيڪڙو ڏيکاري ٿو. اسان جي صورت ۾، ڊيٽا نقل ٿيل آهي. اسان وٽ اڳ ۾ ئي ڪيترن ئي هفتن جو سڀ ڊيٽا آهي ۽ ان کي بتدريج لوڊ ڪري رهيا آهيون ته جيئن ناڪامي جو سبب بڻجندڙ بي ضابطگين جي جانچ ڪري سگهجي. هيٺيون اسٽيٽس بار هڪ ڏنل نقطي تي ڊيٽا ۾ بي ضابطگين جو مجموعي سيڪڙو ڏيکاري ٿو، جيڪو آٽو اينڪوڊر استعمال ڪندي طئي ڪيو ويندو آهي. هڪ الڳ سيڪڙو، جيڪو RNN LSTM پاران حساب ڪيو ويندو آهي، پيشنگوئي ڪيل ميٽرڪس لاءِ پڻ ڏيکاريو ويندو آهي.

آر اين اين ايل ايس ٽي ايم نيورل نيٽ ورڪ استعمال ڪندي سي پي يو ميٽرڪس ۾ بي ضابطگين کي ڳولڻ جو هڪ مثال (شڪل 9).

شڪل 9. آر اين اين ايل ايس ٽي ايم جي ڳولا

هڪ بلڪل سادو ڪيس، بنيادي طور تي هڪ عام آئوٽليئر جيڪو سسٽم جي ناڪامي جو سبب بڻجندو آهي، ڪاميابي سان RNN LSTM استعمال ڪندي حساب ڪيو ويو. هن وقت جي وقفي ۾ انوملي جي شرح 85-95٪ آهي؛ 80٪ کان مٿي ڪا به شيءِ (حد تجرباتي طور تي طئي ڪئي وئي هئي) کي انوملي سمجهيو ويندو آهي.
انوملي جي ڳولا جو هڪ مثال: اپڊيٽ کان پوءِ سسٽم بوٽ ڪرڻ ۾ ناڪام ٿيو. هي صورتحال آٽو اينڪوڊر ذريعي معلوم ڪئي وئي آهي (شڪل 10).

شڪل 10. آٽو انڪوڊر جي ڳولا جو مثال

جيئن توهان شڪل مان ڏسي سگهو ٿا، پرمجن هڪ سطح تي ڦاسي پيو آهي. آٽو اينڪوڊر کي اهو عجيب لڳو ڇاڪاڻ ته ان اڳ ڪڏهن به اهڙو ڪجهه نه ڏٺو هو. هتي، انوملي 100٪ برقرار رهي ٿي جيستائين سسٽم ڪم ڪندڙ حالت ۾ واپس نه اچي. انوملي سڀني ميٽرڪس ۾ ظاهر ٿئي ٿي. جيئن اڳ ذڪر ڪيو ويو آهي، آٽو اينڪوڊر انوملي کي مقامي نه ٿو ڪري سگهي. آپريٽر کي اهڙين حالتن ۾ هن فنڪشن کي انجام ڏيڻ لاءِ چيو ويندو آهي.

ٿڪل

ويب-ڪنسوليڊيشن سافٽ ويئر پيڪيج ڪيترن ئي سالن کان ترقي ۾ آهي. سسٽم نسبتاً مستحڪم آهي، ۽ رڪارڊ ٿيل واقعن جو تعداد گهٽ آهي. تنهن هوندي به، اسان ناڪامين جي سبب بڻجندڙ بي ضابطگين کي سڃاڻڻ جي قابل هئاسين جيڪي انهن جي ٿيڻ کان 5-10 منٽ اڳ. ڪجهه حالتن ۾، ناڪامين جي شروعاتي اطلاع شيڊول ڪيل سار سنڀال جي وقت کي بچائڻ ۾ مدد ڪندي.

اسان جي ڪيل تجربن مان قطعي نتيجا ڪڍڻ تمام جلد آهي. هاڻي تائين جا نتيجا متضاد آهن. هڪ طرف، اهو واضح آهي ته نيورل نيٽ ورڪ تي ٻڌل الگورتھم "مفيد" بي ضابطگين کي ڳولڻ جي قابل آهن. ٻئي طرف، غلط مثبت جي هڪ اعلي شرح رهي ٿي، ۽ هڪ قابل ماهر پاران ڳوليل سڀئي بي ضابطگيون نيورل نيٽ ورڪ پاران نه ڳوليون وينديون آهن. هڪ ٻي خرابي اها آهي ته نيورل نيٽ ورڪ کي هن وقت صحيح طريقي سان ڪم ڪرڻ لاءِ نگراني ڪيل سکيا جي ضرورت آهي.

ناڪامي جي اڳڪٿي واري نظام جي وڌيڪ ترقي ۽ ان جي اطمينان بخش مڪمل ٿيڻ لاءِ ڪيترائي رستا تصور ڪري سگهجن ٿا. انهن ۾ ناڪامي جو سبب بڻجندڙ بي ضابطگين جو وڌيڪ تفصيلي تجزيو شامل آهي، انهي ڪري اهم ميٽرڪس جي فهرست کي وڌايو وڃي ٿو جيڪي سسٽم جي حالت تي خاص طور تي اثر انداز ٿين ٿا ۽ غير ضروري ميٽرڪس کي رد ڪيو وڃي ٿو جن جو ڪو به اثر نه آهي. وڌيڪ، جيڪڏهن اسان هن طرف وڌون ٿا، ته اسان ڪوشش ڪري سگهون ٿا ته الگورتھم کي خاص طور تي اسان جي ناڪامي جو سبب بڻجندڙ بي ضابطگي جي ڪيسن جي مطابق ترتيب ڏيون. ٻيو طريقو نيورل نيٽ ورڪ آرڪيٽيڪچر کي بهتر ڪرڻ آهي، انهي ڪري ڳولا جي درستگي کي وڌائڻ ۽ تربيت جو وقت گهٽائڻ.

مان پنهنجن ساٿين جو شڪريو ادا ڪرڻ چاهيان ٿو جن مون کي هن مضمون کي لکڻ ۽ برقرار رکڻ ۾ مدد ڪئي: وڪٽر وربٽسڪي ۽ سرگئي فينجينوف.

جو ذريعو: www.habr.com