অসঙ্গতি সনাক্ত করার জন্য 9 পন্থা

В পূর্ববর্তী নিবন্ধ আমরা সময় সিরিজের পূর্বাভাস সম্পর্কে কথা বলেছি। একটি যৌক্তিক ধারাবাহিকতা অসঙ্গতি সনাক্তকরণের একটি নিবন্ধ হবে।

আবেদন

অসংগতি সনাক্তকরণ এমন এলাকায় ব্যবহৃত হয়:

1) সরঞ্জাম ভাঙ্গনের পূর্বাভাস

এইভাবে, 2010 সালে, ইরানী সেন্ট্রিফিউজগুলি Stuxnet ভাইরাস দ্বারা আক্রান্ত হয়েছিল, যা সরঞ্জামগুলিকে অ-অনুকূল অপারেশনে সেট করেছিল এবং ত্বরিত পরিধানের কারণে কিছু সরঞ্জামকে নিষ্ক্রিয় করেছিল।

যদি অসঙ্গতি সনাক্তকরণ অ্যালগরিদমগুলি সরঞ্জামগুলিতে ব্যবহার করা হত তবে ব্যর্থতার পরিস্থিতি এড়ানো যেত।

সরঞ্জামের অপারেশনে অসঙ্গতির অনুসন্ধান শুধুমাত্র পারমাণবিক শিল্পেই নয়, ধাতুবিদ্যা এবং বিমানের টারবাইনের অপারেশনেও ব্যবহৃত হয়। এবং অন্যান্য ক্ষেত্রে যেখানে ভবিষ্যদ্বাণীমূলক ডায়গনিস্টিক ব্যবহার একটি অপ্রত্যাশিত ভাঙ্গনের কারণে সম্ভাব্য ক্ষতির চেয়ে সস্তা।

2) জালিয়াতির পূর্বাভাস

যদি আপনি আলবেনিয়ার পোডলস্কে যে কার্ডটি ব্যবহার করেন তা থেকে অর্থ উত্তোলন করা হয়, লেনদেনগুলি আরও চেক করার প্রয়োজন হতে পারে।

3) অস্বাভাবিক ভোক্তা নিদর্শন সনাক্তকরণ

কিছু গ্রাহক অস্বাভাবিক আচরণ প্রদর্শন করলে, এমন একটি সমস্যা হতে পারে যা আপনি জানেন না।

4) অস্বাভাবিক চাহিদা এবং লোড সনাক্তকরণ

যদি একটি FMCG দোকানে বিক্রয় পূর্বাভাসের আত্মবিশ্বাসের ব্যবধানের নিচে নেমে যায়, তাহলে কী ঘটছে তার কারণ খুঁজে বের করা মূল্যবান।

অসঙ্গতি সনাক্ত করার পদ্ধতি

1) ওয়ান ক্লাস ওয়ান-ক্লাস এসভিএম সহ ভেক্টর মেশিন সমর্থন করে

উপযুক্ত যখন প্রশিক্ষণ সেটের ডেটা একটি স্বাভাবিক বন্টন অনুসরণ করে, কিন্তু পরীক্ষার সেটে অসামঞ্জস্য রয়েছে।

এক শ্রেণীর সমর্থন ভেক্টর মেশিন মূলের চারপাশে একটি অরৈখিক পৃষ্ঠ তৈরি করে। একটি কাটঅফ সীমা সেট করা সম্ভব যার জন্য ডেটা অস্বাভাবিক বলে বিবেচিত হয়।

আমাদের DATA4 টিমের অভিজ্ঞতার উপর ভিত্তি করে, ওয়ান-ক্লাস এসভিএম হল অসামঞ্জস্যতা খুঁজে বের করার সমস্যা সমাধানের জন্য সবচেয়ে বেশি ব্যবহৃত অ্যালগরিদম।

2) বিচ্ছিন্ন বন পদ্ধতি

গাছ নির্মাণের "এলোমেলো" পদ্ধতিতে, নির্গমন প্রাথমিক পর্যায়ে (গাছের অগভীর গভীরতায়) পাতায় প্রবেশ করবে, যেমন নির্গমন "বিচ্ছিন্ন" করা সহজ। অ্যালগরিদমের প্রথম পুনরাবৃত্তিতে অস্বাভাবিক মানগুলির বিচ্ছিন্নতা ঘটে।

3) উপবৃত্তাকার খাম এবং পরিসংখ্যান পদ্ধতি

ডেটা সাধারণত বিতরণ করা হলে ব্যবহৃত হয়। পরিমাপটি বিতরণের মিশ্রণের লেজের কাছাকাছি, মানটি তত বেশি অস্বাভাবিক।

অন্যান্য পরিসংখ্যান পদ্ধতিও এই শ্রেণীতে অন্তর্ভুক্ত করা যেতে পারে।

dyakonov.org থেকে ছবি

4) মেট্রিক পদ্ধতি

পদ্ধতির মধ্যে রয়েছে অ্যালগরিদম যেমন কে-নিকটবর্তী প্রতিবেশী, কে-নিকটবর্তী প্রতিবেশী, ABOD (কোণ-ভিত্তিক আউটলায়ার সনাক্তকরণ) বা LOF (স্থানীয় আউটলায়ার ফ্যাক্টর)।

উপযুক্ত যদি বৈশিষ্ট্যের মানগুলির মধ্যে দূরত্ব সমতুল্য বা স্বাভাবিক করা হয় (যাতে তোতাতে বোয়া কনস্ট্রিক্টর পরিমাপ না হয়)।

k- নিকটতম প্রতিবেশী অ্যালগরিদম অনুমান করে যে স্বাভাবিক মানগুলি বহুমাত্রিক স্থানের একটি নির্দিষ্ট অঞ্চলে অবস্থিত এবং অসঙ্গতির দূরত্ব পৃথক হাইপারপ্লেন থেকে বেশি হবে।

5) ক্লাস্টার পদ্ধতি

ক্লাস্টার পদ্ধতির সারমর্ম হল যে যদি একটি মান ক্লাস্টার কেন্দ্রগুলি থেকে একটি নির্দিষ্ট পরিমাণের বেশি দূরে থাকে তবে মানটিকে অস্বাভাবিক হিসাবে বিবেচনা করা যেতে পারে।

প্রধান জিনিস হল একটি অ্যালগরিদম ব্যবহার করা যা সঠিকভাবে ডেটা ক্লাস্টার করে, যা নির্দিষ্ট কাজের উপর নির্ভর করে।

6) প্রধান উপাদান পদ্ধতি

উপযুক্ত যেখানে বিচ্ছুরণের সর্বাধিক পরিবর্তনের দিকগুলি হাইলাইট করা হয়।

7) সময় সিরিজের পূর্বাভাসের উপর ভিত্তি করে অ্যালগরিদম

ধারণাটি হল যে যদি একটি মান ভবিষ্যদ্বাণী আত্মবিশ্বাসের ব্যবধানের বাইরে পড়ে, তাহলে মানটিকে অস্বাভাবিক বলে মনে করা হয়। একটি টাইম সিরিজের ভবিষ্যদ্বাণী করার জন্য, ট্রিপল স্মুথিং, S(ARIMA), বুস্টিং ইত্যাদির মতো অ্যালগরিদম ব্যবহার করা হয়।

টাইম সিরিজ পূর্বাভাস অ্যালগরিদম পূর্ববর্তী নিবন্ধে আলোচনা করা হয়েছে.

8) তত্ত্বাবধানে শিক্ষা (রিগ্রেশন, শ্রেণীবিভাগ)

যদি ডেটা অনুমতি দেয়, আমরা লিনিয়ার রিগ্রেশন থেকে পুনরাবৃত্ত নেটওয়ার্ক পর্যন্ত অ্যালগরিদম ব্যবহার করি। আসুন ভবিষ্যদ্বাণী এবং প্রকৃত মানের মধ্যে পার্থক্য পরিমাপ করি, এবং আদর্শ থেকে ডেটা কতটা বিচ্যুত হয় তা নিয়ে একটি উপসংহার আঁকুন। এটি গুরুত্বপূর্ণ যে অ্যালগরিদমের যথেষ্ট সাধারণীকরণ ক্ষমতা রয়েছে এবং প্রশিক্ষণ সেটে অস্বাভাবিক মান নেই।

9) মডেল টেস্ট

আসুন সুপারিশের জন্য অনুসন্ধানের সমস্যা হিসাবে অসঙ্গতিগুলি অনুসন্ধানের সমস্যাটির কাছে যাই। আসুন SVD বা ফ্যাক্টরাইজেশন মেশিন ব্যবহার করে আমাদের বৈশিষ্ট্য ম্যাট্রিক্সকে পচন করি, এবং নতুন ম্যাট্রিক্সের মানগুলিকে গ্রহণ করি যা অস্বাভাবিক হিসাবে আসলগুলি থেকে উল্লেখযোগ্যভাবে আলাদা।

dyakonov.org থেকে ছবি

উপসংহার

এই নিবন্ধে, আমরা অসঙ্গতি সনাক্তকরণের প্রধান পদ্ধতিগুলি পর্যালোচনা করেছি।

অসঙ্গতি খোঁজা অনেক উপায়ে একটি শিল্প বলা যেতে পারে। কোন আদর্শ অ্যালগরিদম বা পদ্ধতি নেই, যার ব্যবহার সমস্ত সমস্যার সমাধান করে। আরো প্রায়ই পদ্ধতি একটি সেট একটি নির্দিষ্ট কেস সমাধান করতে ব্যবহার করা হয়. অসঙ্গতি সনাক্তকরণ এক-শ্রেণীর সমর্থন ভেক্টর মেশিন, বন বিচ্ছিন্নকরণ, মেট্রিক এবং ক্লাস্টার পদ্ধতি, সেইসাথে প্রধান উপাদান এবং সময় সিরিজ পূর্বাভাস ব্যবহার করে বাহিত হয়।

আপনি যদি অন্যান্য পদ্ধতিগুলি জানেন তবে নিবন্ধের মন্তব্যে সেগুলি সম্পর্কে লিখুন।

উত্স: www.habr.com