আমরা অসঙ্গতিগুলি সন্ধান করি এবং নিউরাল নেটওয়ার্ক ব্যবহার করে ব্যর্থতার পূর্বাভাস দিই

সফ্টওয়্যার সিস্টেমের শিল্প বিকাশের জন্য চূড়ান্ত পণ্যের ত্রুটি সহনশীলতার দিকে খুব মনোযোগ দেওয়া প্রয়োজন, সেইসাথে ব্যর্থতা এবং ব্যর্থতাগুলির দ্রুত প্রতিক্রিয়া, যদি সেগুলি ঘটে থাকে। পর্যবেক্ষণ, অবশ্যই, ব্যর্থতা এবং ব্যর্থতা আরো দক্ষতার সাথে এবং দ্রুত প্রতিক্রিয়া করতে সাহায্য করে, কিন্তু যথেষ্ট নয়। প্রথমত, প্রচুর সংখ্যক সার্ভারের ট্র্যাক রাখা খুব কঠিন - প্রচুর সংখ্যক লোকের প্রয়োজন। দ্বিতীয়ত, অ্যাপ্লিকেশানটি কীভাবে কাজ করে তার অবস্থার পূর্বাভাস দেওয়ার জন্য আপনার ভাল ধারণা থাকতে হবে। অতএব, আমাদের এমন অনেক লোকের প্রয়োজন যারা আমাদের তৈরি করা সিস্টেম, তাদের কার্যকারিতা এবং বৈশিষ্ট্যগুলি সম্পর্কে ভাল ধারণা রাখে। ধরুন, আপনি যদি পর্যাপ্ত লোক খুঁজে পান যারা এটি করতে চান, তবুও তাদের প্রশিক্ষণ দিতে অনেক সময় লাগে।

কি করো? এখানেই কৃত্রিম বুদ্ধিমত্তা উদ্ধারে আসে। নিবন্ধ সম্পর্কে হবে ভবিষ্যদ্বাণীপূর্ণ রক্ষণাবেক্ষণ (ভবিষ্যদ্বাণীপূর্ণ রক্ষণাবেক্ষণ). এই পদ্ধতিটি দ্রুত জনপ্রিয়তা অর্জন করছে। হাব্রে সহ প্রচুর নিবন্ধ লেখা হয়েছে। বড় কোম্পানিগুলি তাদের সার্ভারের স্বাস্থ্য বজায় রাখতে শক্তি এবং প্রধানের সাথে এই পদ্ধতিটি ব্যবহার করছে। প্রচুর সংখ্যক নিবন্ধ পর্যালোচনা করার পরে, আমরা এই পদ্ধতিটি চেষ্টা করার সিদ্ধান্ত নিয়েছি। এটা কি এসেছে?

ভূমিকা

উন্নত সফ্টওয়্যার সিস্টেম শীঘ্রই বা পরে কার্যকর হয়. এটি ব্যবহারকারীর জন্য গুরুত্বপূর্ণ যে সিস্টেমটি ব্যর্থতা ছাড়াই কাজ করে। যদি একটি জরুরী পরিস্থিতি দেখা দেয়, তবে এটি ন্যূনতম বিলম্বের সাথে নির্মূল করা উচিত।

একটি সফ্টওয়্যার সিস্টেমের প্রযুক্তিগত সহায়তাকে সহজ করার জন্য, বিশেষ করে যদি প্রচুর সার্ভার থাকে, পর্যবেক্ষণ প্রোগ্রামগুলি সাধারণত ব্যবহার করা হয় যা একটি চলমান সফ্টওয়্যার সিস্টেম থেকে মেট্রিক্স নেয়, এটির অবস্থা নির্ণয় করা সম্ভব করে এবং ঠিক কী কারণে ব্যর্থতা হয়েছে তা নির্ধারণ করতে সহায়তা করে। এই প্রক্রিয়াটিকে সফ্টওয়্যার সিস্টেম মনিটরিং বলা হয়।

চিত্র 1. Grafana মনিটরিং ইন্টারফেস

মেট্রিক্স হল একটি সফ্টওয়্যার সিস্টেমের বিভিন্ন সূচক, এটি কার্যকর করার পরিবেশ বা একটি শারীরিক কম্পিউটার যার অধীনে মেট্রিক্স প্রাপ্ত হওয়ার মুহূর্তের একটি টাইমস্ট্যাম্প সহ সিস্টেমটি চলছে। স্ট্যাটিক বিশ্লেষণে, মেট্রিক ডেটাকে টাইম সিরিজ বলা হয়। সফ্টওয়্যার সিস্টেমের অবস্থা নিরীক্ষণ করতে, মেট্রিকগুলি গ্রাফ আকারে প্রদর্শিত হয়: X অক্ষ বরাবর - সময়, এবং Y অক্ষ বরাবর - মান (চিত্র 1)। চলমান সফ্টওয়্যার সিস্টেম থেকে (প্রতিটি নোড থেকে) কয়েক হাজার মেট্রিক নেওয়া যেতে পারে। তারা মেট্রিক্সের স্থান (বহুমাত্রিক সময় সিরিজ) গঠন করে।

যেহেতু জটিল সফ্টওয়্যার সিস্টেমগুলি থেকে প্রচুর সংখ্যক মেট্রিক্স সরানো হয়, তাই ম্যানুয়াল মনিটরিং একটি কঠিন কাজ হয়ে ওঠে। একজন অ্যাডমিনিস্ট্রেটর বিশ্লেষণ করে এমন ডেটার পরিমাণ কমাতে, মনিটরিং টুলগুলি স্বয়ংক্রিয়ভাবে সম্ভাব্য সমস্যা শনাক্ত করার জন্য টুলগুলি অন্তর্ভুক্ত করে। উদাহরণস্বরূপ, আপনি একটি ট্রিগার সেট আপ করতে পারেন যা একটি নির্দিষ্ট থ্রেশহোল্ডের নিচে মুক্ত ডিস্কের স্থান নেমে গেলে ফায়ার হয়। আপনি স্বয়ংক্রিয়ভাবে একটি সার্ভার শাটডাউন বা একটি গুরুত্বপূর্ণ পরিষেবা মন্থর নির্ণয় করতে পারেন। অনুশীলনে, মনিটরিং সরঞ্জামগুলি ইতিমধ্যে ঘটে যাওয়া ব্যর্থতাগুলি সনাক্ত করতে বা ভবিষ্যতের ব্যর্থতার সাধারণ লক্ষণগুলি সনাক্ত করতে একটি ভাল কাজ করে, তবে সাধারণভাবে, সম্ভাব্য ব্যর্থতার ভবিষ্যদ্বাণী করা তাদের জন্য ক্র্যাক করা কঠিন বাদাম থেকে যায়। মেট্রিক্সের ম্যানুয়াল বিশ্লেষণের মাধ্যমে ভবিষ্যদ্বাণী করার জন্য যোগ্য বিশেষজ্ঞদের অংশগ্রহণ প্রয়োজন। এটি কম উৎপাদনশীল। অধিকাংশ সম্ভাব্য ব্যর্থতা অলক্ষিত যেতে পারে.

সম্প্রতি, সফ্টওয়্যার সিস্টেমের তথাকথিত ভবিষ্যদ্বাণীমূলক রক্ষণাবেক্ষণ বৃহৎ আইটি সফ্টওয়্যার উন্নয়ন সংস্থাগুলির মধ্যে ক্রমবর্ধমান জনপ্রিয় হয়ে উঠেছে। এই পদ্ধতির সারমর্ম হল কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে ব্যর্থ হওয়ার আগে প্রাথমিক পর্যায়ে সিস্টেমের অবক্ষয়ের দিকে পরিচালিত সমস্যাগুলি খুঁজে বের করা। এই পদ্ধতিটি সম্পূর্ণরূপে সিস্টেমের ম্যানুয়াল পর্যবেক্ষণকে বাদ দেয় না। এটি সামগ্রিকভাবে পর্যবেক্ষণ প্রক্রিয়ার জন্য সহায়ক।

ভবিষ্যদ্বাণীমূলক রক্ষণাবেক্ষণ বাস্তবায়নের জন্য প্রধান হাতিয়ার হল সময় সিরিজে অসামঞ্জস্যগুলি খুঁজে বের করা, যেহেতু যখন একটি অসঙ্গতি ঘটে তথ্য, একটি উচ্চ সম্ভাবনা আছে যে কিছু সময় পরে ব্যর্থতা বা ব্যর্থতা ঘটে. একটি অসামঞ্জস্য হল একটি সফ্টওয়্যার সিস্টেমের কর্মক্ষমতার মধ্যে কিছু বিচ্যুতি, যেমন এক ধরণের প্রশ্ন চালানোর গতিতে অবনতি সনাক্ত করা বা ক্লায়েন্ট সেশনের একটি ধ্রুবক স্তরের সাথে পরিবেশিত অনুরোধের গড় সংখ্যা হ্রাস।

সফ্টওয়্যার সিস্টেমের জন্য অসঙ্গতি খুঁজে বের করার কাজটির নিজস্ব সুনির্দিষ্ট বৈশিষ্ট্য রয়েছে। তাত্ত্বিকভাবে, প্রতিটি সফ্টওয়্যার সিস্টেমের জন্য, বিদ্যমান পদ্ধতিগুলি বিকাশ বা পরিমার্জন করা প্রয়োজন, যেহেতু অসামঞ্জস্যগুলির অনুসন্ধান করা ডেটার উপর নির্ভর করে যেখানে এটি সঞ্চালিত হয় এবং সফ্টওয়্যার সিস্টেমের ডেটাগুলি বাস্তবায়নের সরঞ্জামগুলির উপর নির্ভর করে ব্যাপকভাবে পরিবর্তিত হয়। সিস্টেম, কোন কম্পিউটারের অধীনে এটি চলছে।

সফ্টওয়্যার সিস্টেম ব্যর্থতার পূর্বাভাস দেওয়ার জন্য অসঙ্গতি অনুসন্ধান পদ্ধতি

প্রথমত, এটি বলা উচিত যে ব্যর্থতার পূর্বাভাস দেওয়ার ধারণাটি নিবন্ধটি দ্বারা অনুপ্রাণিত হয়েছিল "আইটি পর্যবেক্ষণে মেশিন লার্নিং". অসঙ্গতিগুলির জন্য স্বয়ংক্রিয় অনুসন্ধানের সাথে পদ্ধতির কার্যকারিতা পরীক্ষা করার জন্য, ওয়েব-একত্রীকরণ সফ্টওয়্যার সিস্টেমটি বেছে নেওয়া হয়েছিল, যা NPO ক্রিস্টা-এর অন্যতম প্রকল্প। এটির জন্য, প্রাপ্ত মেট্রিক্স অনুযায়ী আগে ম্যানুয়াল পর্যবেক্ষণ করা হয়েছিল। যেহেতু সিস্টেমটি বেশ জটিল, তাই এর জন্য প্রচুর সংখ্যক মেট্রিক্স নেওয়া হয়: JVM সূচক (আবর্জনা সংগ্রহকারী লোড), OS এর সূচক যার অধীনে কোডটি কার্যকর করা হয় (ভার্চুয়াল মেমরি, % OS CPU লোড), নেটওয়ার্ক সূচক (নেটওয়ার্ক লোড) ), সার্ভার নিজেই (CPU লোড , মেমরি), ওয়াইল্ডফ্লাই মেট্রিক্স এবং সমস্ত গুরুত্বপূর্ণ সাবসিস্টেমের জন্য নেটিভ অ্যাপ্লিকেশন মেট্রিক্স।

সমস্ত মেট্রিক্স গ্রাফাইট ব্যবহার করে সিস্টেম থেকে নেওয়া হয়। প্রাথমিকভাবে, হুইস্পার ডাটাবেসটি গ্রাফানার জন্য একটি আদর্শ সমাধান হিসাবে ব্যবহৃত হয়েছিল, কিন্তু ক্লায়েন্ট বেসের বৃদ্ধির সাথে, গ্রাফাইট ডিসি ডিস্ক সাবসিস্টেমের ব্যান্ডউইথ নিঃশেষ করে মোকাবিলা করা বন্ধ করে দেয়। এর পরে, এটি আরও কার্যকর সমাধান সন্ধান করার সিদ্ধান্ত নেওয়া হয়েছিল। পছন্দের পক্ষে করা হয়েছিল গ্রাফাইট+ক্লিকহাউস, যার ফলে ডিস্ক সাবসিস্টেমের উপর লোড কমানো সম্ভব হয়েছে ম্যাগনিটিউডের ক্রম দ্বারা এবং ডিস্কের স্থান পাঁচ থেকে ছয় গুণ কমানো। নীচে গ্রাফাইট + ক্লিকহাউস (চিত্র 2) ব্যবহার করে মেট্রিক্স সংগ্রহ করার পদ্ধতির একটি চিত্র রয়েছে।

চিত্র 2. মেট্রিক্স অপসারণের জন্য স্কিম

স্কিমটি অভ্যন্তরীণ ডকুমেন্টেশন থেকে নেওয়া হয়েছে। এটি গ্রাফানা (আমরা যে মনিটরিং ইউজার ইন্টারফেসটি ব্যবহার করি) এবং গ্রাফাইটের মধ্যে ডেটা বিনিময় দেখায়। অ্যাপ্লিকেশন থেকে মেট্রিক্স অপসারণ একটি পৃথক সফ্টওয়্যার দ্বারা সঞ্চালিত হয় - jmxtrans. সে সেগুলোও গ্রাফাইটে রাখে।
ওয়েব একত্রীকরণ সিস্টেমের অনেকগুলি বৈশিষ্ট্য রয়েছে যা ব্যর্থতার পূর্বাভাস দেওয়ার জন্য সমস্যা তৈরি করে:

1. প্রায়ই প্রবণতা একটি পরিবর্তন আছে. এই সফটওয়্যার সিস্টেমের বিভিন্ন সংস্করণ আছে। তাদের প্রত্যেকেই সিস্টেমের সফ্টওয়্যার অংশে পরিবর্তন আনে। তদনুসারে, এইভাবে, বিকাশকারীরা সরাসরি এই সিস্টেমের মেট্রিক্সকে প্রভাবিত করে এবং একটি প্রবণতা পরিবর্তনের কারণ হতে পারে;
2. বাস্তবায়নের অদ্ভুততা, সেইসাথে ক্লায়েন্টদের দ্বারা এই সিস্টেমটি ব্যবহার করার লক্ষ্যগুলি প্রায়ই পূর্ববর্তী অবনতি ছাড়াই অসামঞ্জস্যতার জন্য আহ্বান করে;
3. সম্পূর্ণ ডেটা সেটের তুলনায় অসামঞ্জস্যের শতাংশ ছোট (<5%);
4. সিস্টেম থেকে সূচক প্রাপ্তিতে ফাঁক থাকতে পারে। কিছু সংক্ষিপ্ত বিরতিতে, পর্যবেক্ষণ ব্যবস্থা মেট্রিক্স পেতে ব্যর্থ হয়। উদাহরণস্বরূপ, যদি সার্ভার ওভারলোড হয়। এটি নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য গুরুত্বপূর্ণ। কৃত্রিমভাবে শূন্যস্থান পূরণ করার প্রয়োজন আছে;
5. অসামঞ্জস্যের ক্ষেত্রে প্রায়শই শুধুমাত্র একটি নির্দিষ্ট দিন/মাস/সময়ের জন্য প্রাসঙ্গিক হয় (মৌসুমি)। এই সিস্টেমের ব্যবহারকারীদের ব্যবহারের একটি সুস্পষ্ট নিয়ন্ত্রণ আছে। তদনুসারে, মেট্রিক্স শুধুমাত্র একটি নির্দিষ্ট সময়ের জন্য প্রাসঙ্গিক। সিস্টেমটি ক্রমাগত নয়, তবে শুধুমাত্র কিছু মাসে ব্যবহার করা যেতে পারে: নির্বাচনীভাবে বছরের উপর নির্ভর করে। এমন পরিস্থিতি রয়েছে যখন একটি ক্ষেত্রে মেট্রিক্সের একই আচরণ সফ্টওয়্যার সিস্টেমের ব্যর্থতার দিকে নিয়ে যেতে পারে, তবে অন্য ক্ষেত্রে নয়।
   শুরুতে, সফ্টওয়্যার সিস্টেমের ডেটা পর্যবেক্ষণে অসঙ্গতিগুলি সনাক্ত করার পদ্ধতিগুলি বিশ্লেষণ করা হয়েছিল। এই বিষয়ের নিবন্ধগুলিতে, বাকি ডেটা সেটের তুলনায় সামান্য অসামঞ্জস্যের সাথে, এটি প্রায়শই নিউরাল নেটওয়ার্ক ব্যবহার করার প্রস্তাব করা হয়।

নিউরাল নেটওয়ার্ক ডেটা ব্যবহার করে অসঙ্গতি খুঁজে বের করার জন্য মৌলিক যুক্তি চিত্র 3 এ দেখানো হয়েছে:

চিত্র 3. একটি নিউরাল নেটওয়ার্ক ব্যবহার করে অসঙ্গতির জন্য অনুসন্ধান করুন

মেট্রিক্সের বর্তমান প্রবাহের উইন্ডোটি পূর্বাভাস বা পুনরুদ্ধারের ফলাফলের উপর ভিত্তি করে, চলমান সফ্টওয়্যার সিস্টেম থেকে প্রাপ্ত বিচ্যুতি গণনা করা হয়। সফ্টওয়্যার সিস্টেম এবং নিউরাল নেটওয়ার্ক থেকে প্রাপ্ত মেট্রিক্সের মধ্যে একটি বড় পার্থক্যের ক্ষেত্রে, আমরা উপসংহারে আসতে পারি যে বর্তমান ডেটা সেগমেন্টটি অস্বাভাবিক। নিউরাল নেটওয়ার্ক ব্যবহারের জন্য নিম্নলিখিত সংখ্যক সমস্যা দেখা দেয়:

1. স্ট্রিমিং মোডে সঠিক কাজের জন্য, নিউরাল নেটওয়ার্ক মডেলের প্রশিক্ষণের ডেটাতে শুধুমাত্র "সাধারণ" ডেটা অন্তর্ভুক্ত করা উচিত;
2. সঠিক সনাক্তকরণের জন্য আপনার অবশ্যই একটি আপ-টু-ডেট মডেল থাকতে হবে। মেট্রিক্সে প্রবণতা এবং ঋতু পরিবর্তনের ফলে মডেলটিতে প্রচুর পরিমাণে মিথ্যা ইতিবাচক হতে পারে। এটি আপডেট করার জন্য, মডেলটি পুরানো হওয়ার সময়টি স্পষ্টভাবে সংজ্ঞায়িত করা প্রয়োজন। যদি মডেলটি পরে বা আগে আপডেট করা হয়, তবে সম্ভবত প্রচুর পরিমাণে মিথ্যা ইতিবাচক অনুসরণ করবে।
   এছাড়াও, মিথ্যা ইতিবাচকগুলির ঘন ঘন ঘটনাটি খুঁজে বের করা এবং প্রতিরোধ করা সম্পর্কে ভুলে যাওয়া উচিত নয়। এটা অনুমান করা হয় যে তারা প্রায়শই জরুরী পরিস্থিতিতে ঘটবে। যাইহোক, তারা অপর্যাপ্ত প্রশিক্ষণের কারণে নিউরাল নেটওয়ার্ক ত্রুটির ফলাফলও হতে পারে। মডেলের মিথ্যা ইতিবাচক সংখ্যা হ্রাস করা প্রয়োজন। অন্যথায়, মিথ্যা ভবিষ্যদ্বাণীগুলি সিস্টেমটি পরীক্ষা করার জন্য নিবেদিত প্রশাসকের অনেক সময় নষ্ট করবে। শীঘ্রই বা পরে, প্রশাসক কেবল "প্যারানয়েড" মনিটরিং সিস্টেমে সাড়া দেওয়া বন্ধ করে দেবেন।

বারবার নিউরাল নেটওয়ার্ক

টাইম সিরিজে অসঙ্গতি সনাক্ত করতে, আপনি আবেদন করতে পারেন পুনরাবৃত্ত নিউরাল নেটওয়ার্ক LSTM মেমরি সহ। একমাত্র সমস্যা হল এটি শুধুমাত্র অনুমানযোগ্য সময় সিরিজে প্রয়োগ করা যেতে পারে। আমাদের ক্ষেত্রে, সমস্ত মেট্রিক্স অনুমানযোগ্য নয়। একটি সময় সিরিজের জন্য RNN LSTM প্রয়োগ করার একটি প্রচেষ্টা চিত্র 4 এ দেখানো হয়েছে।

চিত্র 4. LSTM মেমরি কোষের সাথে একটি পুনরাবৃত্ত নিউরাল নেটওয়ার্কের অপারেশনের একটি উদাহরণ

চিত্র 4 থেকে দেখা যায়, RNN LSTM এই সময়ের ব্যবধানে একটি অসঙ্গতির অনুসন্ধানের সাথে মানিয়ে নিতে পেরেছে। যেখানে ফলাফলের একটি উচ্চ ভবিষ্যদ্বাণী ত্রুটি (মানে ত্রুটি), সূচকের পরিপ্রেক্ষিতে একটি অসঙ্গতি ঘটেছে। একটি RNN LSTM ব্যবহার করা স্পষ্টতই যথেষ্ট হবে না, কারণ এটি অল্প সংখ্যক মেট্রিকের ক্ষেত্রে প্রযোজ্য। অসঙ্গতি খুঁজে বের করার জন্য একটি সহায়ক পদ্ধতি হিসাবে ব্যবহার করা যেতে পারে।

ব্যর্থতার পূর্বাভাসের জন্য অটোএনকোডার

অটোএনকোডার মূলত একটি কৃত্রিম নিউরাল নেটওয়ার্ক। ইনপুট স্তরটি এনকোডার, আউটপুট স্তরটি ডিকোডার। এই ধরণের সমস্ত নিউরাল নেটওয়ার্কের অসুবিধা হল যে এটি অসামঞ্জস্যগুলিকে খারাপভাবে স্থানীয়করণ করে। সিঙ্ক্রোনাস অটোএনকোডারের আর্কিটেকচার বেছে নেওয়া হয়েছে।

চিত্র 5. অটোএনকোডারের কাজের একটি উদাহরণ

অটোএনকোডারগুলি সাধারণ ডেটার উপর প্রশিক্ষণ দেয় এবং তারপরে মডেলে দেওয়া ডেটাতে অস্বাভাবিক কিছু খুঁজে পায়। এই কাজের জন্য আপনার যা প্রয়োজন। এই কাজের জন্য অটোএনকোডারগুলির মধ্যে কোনটি উপযুক্ত তা বেছে নেওয়ার জন্য এটি কেবল অবশেষ। একটি অটোএনকোডারের স্থাপত্যগতভাবে সহজতম রূপ হল একটি ফরোয়ার্ড, নন-রিকারেন্ট নিউরাল নেটওয়ার্ক, যা অনেকটা একই রকম মাল্টিলেয়ার পারসেপ্টরন (মাল্টিলেয়ার পারসেপ্টরন, এমএলপি), একটি ইনপুট লেয়ার, একটি আউটপুট লেয়ার এবং এক বা একাধিক লুকানো স্তরগুলিকে সংযুক্ত করে।
যাইহোক, অটোএনকোডার এবং এমএলপি-এর মধ্যে পার্থক্য হল যে একটি অটোএনকোডারে, আউটপুট স্তরে ইনপুট স্তরের সমান সংখ্যক নোড থাকে এবং ইনপুট X দ্বারা প্রদত্ত লক্ষ্য মান Y-এর পূর্বাভাস শেখার পরিবর্তে, অটোএনকোডার পুনর্গঠন করতে শেখে। এর নিজস্ব X। তাই অটোএনকোডারগুলি হল তত্ত্বাবধানহীন শিক্ষার মডেল।

অটোএনকোডারের কাজ হল সময় সূচকগুলি খুঁজে বের করা r0 ... rn ইনপুট ভেক্টর X-এ অস্বাভাবিক উপাদানগুলির সাথে সম্পর্কিত। এই প্রভাবটি একটি দ্বিঘাত ত্রুটি অনুসন্ধান করে অর্জন করা হয়।

চিত্র 6. সিঙ্ক্রোনাস অটোএনকোডার

অটোএনকোডারের জন্য নির্বাচন করা হয়েছিল সিঙ্ক্রোনাস আর্কিটেকচার. এর সুবিধা: স্ট্রিমিং প্রসেসিং মোড ব্যবহার করার ক্ষমতা এবং অন্যান্য আর্কিটেকচারের তুলনায় তুলনামূলকভাবে কম সংখ্যক নিউরাল নেটওয়ার্ক প্যারামিটার।

মিথ্যা পজিটিভ মিনিমাইজেশন মেকানিজম

বিভিন্ন জরুরী পরিস্থিতির উদ্ভব হওয়ার কারণে এবং নিউরাল নেটওয়ার্কের অপর্যাপ্ত প্রশিক্ষণের পরিস্থিতিও সম্ভব, উন্নত অসঙ্গতি সনাক্তকরণ মডেলের জন্য, এটি সিদ্ধান্ত নেওয়া হয়েছিল যে মিথ্যা ইতিবাচকগুলি হ্রাস করার জন্য একটি প্রক্রিয়া বিকাশ করা প্রয়োজন। এই প্রক্রিয়াটি একটি টেমপ্লেট বেসের উপর ভিত্তি করে যা প্রশাসক শ্রেণিবদ্ধ করে।

টাইমলাইন ডায়নামিক ট্রান্সফরমেশন অ্যালগরিদম (DTW-অ্যালগরিদম, ইংরেজি ডাইনামিক টাইম ওয়ার্পিং থেকে) আপনাকে সময়ের ক্রমগুলির মধ্যে সর্বোত্তম মিল খুঁজে পেতে দেয়। প্রথম বক্তৃতা শনাক্তকরণে ব্যবহৃত হয়: কিভাবে দুটি বক্তৃতা সংকেত একই মূল কথ্য বাক্যাংশকে উপস্থাপন করে তা নির্ধারণ করতে ব্যবহৃত হয়। পরবর্তীকালে, এটি অন্যান্য এলাকায় ব্যবহার করা হয়.

মিথ্যা ইতিবাচক কমানোর মূল নীতি হল একটি অপারেটরের সাহায্যে স্ট্যান্ডার্ডের একটি ডাটাবেস সংগ্রহ করা যা নিউরাল নেটওয়ার্ক ব্যবহার করে সনাক্ত করা সন্দেহজনক কেস শ্রেণীবদ্ধ করে। এরপরে, শ্রেণীবদ্ধ মানকে সিস্টেমটি সনাক্ত করা কেসের সাথে তুলনা করা হয় এবং কেসটি মিথ্যা বা ব্যর্থতার দিকে পরিচালিত করে সে সম্পর্কে একটি উপসংহার তৈরি করা হয়। শুধু দুই সময়ের সিরিজ তুলনা করার জন্য, DTW অ্যালগরিদম ব্যবহার করা হয়। প্রধান মিনিমাইজেশন টুল এখনও শ্রেণীবিভাগ। এটা ধরে নেওয়া হয় যে বিপুল সংখ্যক রেফারেন্স কেস সংগ্রহ করার পরে, বেশিরভাগ ক্ষেত্রে মিল এবং একই রকমের ঘটনার কারণে সিস্টেমটি অপারেটরকে কম জিজ্ঞাসা করতে শুরু করবে।

ফলস্বরূপ, নিউরাল নেটওয়ার্কগুলির উপরে বর্ণিত পদ্ধতির উপর ভিত্তি করে, ওয়েব-একত্রীকরণ সিস্টেমের ব্যর্থতার পূর্বাভাস দেওয়ার জন্য একটি পরীক্ষামূলক প্রোগ্রাম তৈরি করা হয়েছিল। এই প্রোগ্রামের লক্ষ্য ছিল, আমাদের সফ্টওয়্যার সিস্টেমের জন্য এই পদ্ধতির দক্ষতার মূল্যায়ন করা ইতিমধ্যেই ঘটে যাওয়া ব্যর্থতা সম্পর্কে পর্যবেক্ষণ ডেটা এবং তথ্যের বিদ্যমান সংরক্ষণাগার ব্যবহার করে। প্রোগ্রামটির স্কিমটি চিত্র 7-এ নীচে দেখানো হয়েছে।

চিত্র 7. মেট্রিক্সের স্থান বিশ্লেষণের উপর ভিত্তি করে ব্যর্থতার পূর্বাভাসের স্কিম

ডায়াগ্রামে দুটি প্রধান ব্লককে আলাদা করা যেতে পারে: মনিটরিং ডেটা স্ট্রীম (মেট্রিক্স) এ অস্বাভাবিক সময়ের জন্য অনুসন্ধান এবং মিথ্যা ইতিবাচক কমানোর প্রক্রিয়া। দ্রষ্টব্য: পরীক্ষামূলক উদ্দেশ্যে, ডেটাবেস থেকে একটি JDBC সংযোগের মাধ্যমে প্রাপ্ত করা হয় যা গ্রাফাইট এটিকে সংরক্ষণ করবে।
নিম্নলিখিত ফলাফল পর্যবেক্ষণ সিস্টেমের ইন্টারফেস (চিত্র 8)।

চিত্র 8. পরীক্ষামূলক পর্যবেক্ষণ সিস্টেমের ইন্টারফেস

ইন্টারফেস প্রাপ্ত মেট্রিক্স অনুযায়ী অসঙ্গতির শতাংশ প্রদর্শন করে। আমাদের ক্ষেত্রে, অধিগ্রহণ অনুকরণ করা হয়. আমাদের কাছে ইতিমধ্যেই বেশ কয়েক সপ্তাহের সমস্ত ডেটা আছে এবং ব্যর্থতার দিকে নিয়ে যাওয়া অস্বাভাবিকতার সাথে কেসটি পরীক্ষা করার জন্য ধীরে ধীরে এটি লোড করছি। নিম্ন স্থিতি বার একটি নির্দিষ্ট সময়ে ডেটা অসামঞ্জস্যের মোট শতাংশ প্রদর্শন করে, যা অটোএনকোডার ব্যবহার করে নির্ধারিত হয়। ভবিষ্যদ্বাণীমূলক মেট্রিক্সের জন্য একটি পৃথক শতাংশও প্রদর্শিত হয়, যা RNN LSTM দ্বারা গণনা করা হয়।

RNN LSTM নিউরাল নেটওয়ার্ক (চিত্র 9) ব্যবহার করে CPU সূচক দ্বারা অসঙ্গতি সনাক্তকরণের একটি উদাহরণ।

চিত্র 9. LSTM RNN সনাক্তকরণ

একটি বরং সাধারণ কেস, মূলত একটি স্বাভাবিক বহিঃপ্রকাশ, কিন্তু একটি সিস্টেম ব্যর্থতার দিকে পরিচালিত করে, RNN LSTM ব্যবহার করে সফলভাবে গণনা করা হয়েছিল। এই সময়ের মধ্যে অসঙ্গতির সূচক হল 85 - 95%, 80% এর উপরে সবকিছু (থ্রেশহোল্ড পরীক্ষামূলকভাবে নির্ধারিত হয়) একটি অসঙ্গতি হিসাবে বিবেচিত হয়।
একটি অসঙ্গতি সনাক্তকরণের একটি উদাহরণ যেখানে একটি আপডেটের পরে সিস্টেম বুট করতে ব্যর্থ হয়েছে। এই পরিস্থিতি অটোএনকোডার দ্বারা সনাক্ত করা হয় (চিত্র 10)।

চিত্র 10. অটোএনকোডার সনাক্তকরণ উদাহরণ

আপনি চিত্র থেকে দেখতে পাচ্ছেন, PermGen এক স্তরে আটকে আছে। অটোএনকোডার ভেবেছিল এটি অদ্ভুত কারণ এটি আগে এরকম কিছু দেখেনি। সিস্টেমটি একটি কার্যকরী অবস্থায় ফিরে না আসা পর্যন্ত এখানে অসঙ্গতিটি 100% ধরে রাখে। সমস্ত মেট্রিকের জন্য অসঙ্গতি প্রদর্শিত হয়। পূর্বে উল্লিখিত হিসাবে, অটোএনকোডার অসঙ্গতিগুলি স্থানীয়করণ করতে জানে না। এই পরিস্থিতিতে এই ফাংশনটি সম্পাদন করার জন্য অপারেটরকে বলা হয়।

উপসংহার

পিসি "ওয়েব-একত্রীকরণ" এক বছরেরও বেশি সময় ধরে তৈরি করা হয়েছে। সিস্টেমটি মোটামুটি স্থিতিশীল অবস্থায় রয়েছে এবং রেকর্ডকৃত ঘটনার সংখ্যা কম। যাইহোক, ব্যর্থতা হওয়ার 5 থেকে 10 মিনিট আগে ব্যর্থতার দিকে পরিচালিত অসামঞ্জস্যগুলি খুঁজে পাওয়া সম্ভব ছিল। অনেক ক্ষেত্রে, অগ্রিম ব্যর্থতার বিজ্ঞপ্তি "মেরামত" কাজের জন্য বরাদ্দ করা নির্ধারিত সময় বাঁচাতে সাহায্য করবে।

যে পরীক্ষাগুলি করা হয়েছে তার উপর ভিত্তি করে, চূড়ান্ত সিদ্ধান্তে পৌঁছানো খুব তাড়াতাড়ি। এখন পর্যন্ত, ফলাফল অসামঞ্জস্যপূর্ণ. একদিকে, এটা স্পষ্ট যে নিউরাল নেটওয়ার্কের উপর ভিত্তি করে অ্যালগরিদমগুলি "উপযোগী" অসঙ্গতিগুলি খুঁজে পেতে সক্ষম। অন্যদিকে, মিথ্যা ইতিবাচকের একটি বড় শতাংশ রয়ে গেছে, এবং একটি নিউরাল নেটওয়ার্কে একজন যোগ্যতাসম্পন্ন বিশেষজ্ঞ দ্বারা সনাক্ত করা সমস্ত অসঙ্গতি সনাক্ত করা যায় না। অসুবিধাগুলির মধ্যে রয়েছে যে এখন নিউরাল নেটওয়ার্কের স্বাভাবিক অপারেশনের জন্য একজন শিক্ষকের সাথে প্রশিক্ষণের প্রয়োজন।

ব্যর্থতার পূর্বাভাস দেওয়ার জন্য এবং এটিকে সন্তোষজনক অবস্থায় আনার জন্য সিস্টেমের আরও বিকাশের জন্য, বেশ কয়েকটি উপায় কল্পনা করা যেতে পারে। এটি একটি অসঙ্গতি সহ মামলাগুলির আরও বিশদ বিশ্লেষণ যা ব্যর্থতার দিকে পরিচালিত করে, গুরুত্বপূর্ণ মেট্রিকগুলির তালিকায় এই সংযোজনের কারণে যা সিস্টেমের অবস্থাকে ব্যাপকভাবে প্রভাবিত করে এবং অপ্রয়োজনীয়গুলিকে বাদ দেয় যা এটিকে প্রভাবিত করে না। এছাড়াও, যদি আমরা এই দিকে অগ্রসর হই, আমরা বিশেষ করে আমাদের ক্ষেত্রে অ্যালগরিদমগুলিকে বিশেষায়িত করার চেষ্টা করতে পারি যেগুলি ব্যর্থতার দিকে পরিচালিত করে। অন্য উপায় আছে. এটি নিউরাল নেটওয়ার্কগুলির আর্কিটেকচারের একটি উন্নতি এবং এর কারণে, প্রশিক্ষণের সময় হ্রাসের সাথে সনাক্তকরণের নির্ভুলতা বৃদ্ধি।

আমি সহকর্মীদের প্রতি কৃতজ্ঞতা প্রকাশ করছি যারা আমাকে এই নিবন্ধটির প্রাসঙ্গিকতা লিখতে এবং বজায় রাখতে সাহায্য করেছেন: ভিক্টর ভার্বিটস্কি এবং সের্গেই ফিনোজেনভ।

উত্স: www.habr.com