মেশিন লার্নিং-এ বৈশিষ্ট্য নির্বাচন

হে হাবর!

আমরা Reksoft এ নিবন্ধটি রাশিয়ান ভাষায় অনুবাদ করেছি মেশিন লার্নিং-এ বৈশিষ্ট্য নির্বাচন. আমরা আশা করি যে বিষয়টিতে আগ্রহী প্রত্যেকের জন্য এটি কার্যকর হবে।

বাস্তব জগতে, ডেটা সবসময় ততটা পরিষ্কার হয় না যতটা ব্যবসায়িক গ্রাহকরা কখনও কখনও ভাবেন। এই কারণেই ডেটা মাইনিং এবং ডেটা র্যাংলিং এর চাহিদা রয়েছে। এটি ক্যোয়ারী-স্ট্রাকচার্ড ডেটাতে অনুপস্থিত মান এবং নিদর্শন সনাক্ত করতে সহায়তা করে যা মানুষ সনাক্ত করতে পারে না। ডেটাতে আবিষ্কৃত সম্পর্ক ব্যবহার করে ফলাফলের ভবিষ্যদ্বাণী করতে এই নিদর্শনগুলি খুঁজে পেতে এবং ব্যবহার করতে, মেশিন লার্নিং কাজে আসে।

যেকোনো অ্যালগরিদম বোঝার জন্য, আপনাকে ডেটার সমস্ত ভেরিয়েবলের দিকে তাকাতে হবে এবং সেই ভেরিয়েবলগুলি কী উপস্থাপন করে তা বের করতে হবে। এটি সমালোচনামূলক কারণ ফলাফলের পিছনে যুক্তি তথ্য বোঝার উপর ভিত্তি করে। যদি ডেটাতে 5 বা এমনকি 50টি ভেরিয়েবল থাকে তবে আপনি সেগুলি সব পরীক্ষা করতে পারেন। যদি তাদের মধ্যে 200টি থাকে? তারপর প্রতিটি একক পরিবর্তনশীল অধ্যয়ন করার জন্য যথেষ্ট সময় থাকবে না। তদুপরি, কিছু অ্যালগরিদম শ্রেণীবদ্ধ ডেটার জন্য কাজ করে না, এবং তারপরে মডেলে যোগ করার জন্য আপনাকে সমস্ত শ্রেণীবদ্ধ কলামগুলিকে পরিমাণগত ভেরিয়েবলে রূপান্তর করতে হবে (এগুলি পরিমাণগত দেখতে হতে পারে, তবে মেট্রিক্সগুলি দেখাবে যে সেগুলি শ্রেণীবদ্ধ)। এইভাবে, ভেরিয়েবলের সংখ্যা বৃদ্ধি পায়, এবং তাদের মধ্যে প্রায় 500 টি রয়েছে। এখন কি করতে হবে? কেউ ভাবতে পারে যে উত্তরটি হবে মাত্রিকতা হ্রাস করা। মাত্রিকতা হ্রাস অ্যালগরিদমগুলি পরামিতির সংখ্যা হ্রাস করে তবে ব্যাখ্যাযোগ্যতার উপর নেতিবাচক প্রভাব ফেলে। যদি এমন অন্যান্য কৌশল থাকে যা বৈশিষ্ট্যগুলিকে সরিয়ে দেয় এবং অবশিষ্টগুলিকে বোঝা এবং ব্যাখ্যা করা সহজ করে তোলে?

বিশ্লেষণটি রিগ্রেশন বা শ্রেণীবিভাগের উপর ভিত্তি করে কিনা তার উপর নির্ভর করে, বৈশিষ্ট্য নির্বাচনের অ্যালগরিদমগুলি ভিন্ন হতে পারে, তবে তাদের বাস্তবায়নের মূল ধারণাটি একই থাকে।

অত্যন্ত সম্পর্কযুক্ত ভেরিয়েবল

যে ভেরিয়েবলগুলি একে অপরের সাথে অত্যন্ত সম্পর্কযুক্ত তারা মডেলকে একই তথ্য সরবরাহ করে, তাই বিশ্লেষণের জন্য সেগুলি ব্যবহার করার দরকার নেই। উদাহরণস্বরূপ, যদি একটি ডেটাসেটে "অনলাইন সময়" এবং "ব্যবহৃত ট্র্যাফিক" বৈশিষ্ট্যগুলি থাকে, আমরা ধরে নিতে পারি যে সেগুলি কিছুটা সম্পর্কযুক্ত হবে এবং আমরা একটি নিরপেক্ষ ডেটা নমুনা নির্বাচন করলেও আমরা একটি শক্তিশালী সম্পর্ক দেখতে পাব৷ এই ক্ষেত্রে, মডেলটিতে এই ভেরিয়েবলগুলির মধ্যে শুধুমাত্র একটি প্রয়োজন। আপনি উভয়ই ব্যবহার করলে, মডেলটি ওভারফিট করা হবে এবং একটি নির্দিষ্ট বৈশিষ্ট্যের প্রতি পক্ষপাতদুষ্ট হবে৷

পি-মান

লিনিয়ার রিগ্রেশনের মতো অ্যালগরিদমগুলিতে, একটি প্রাথমিক পরিসংখ্যান মডেল সর্বদা একটি ভাল ধারণা। এটি তাদের পি-মানগুলির মাধ্যমে বৈশিষ্ট্যগুলির গুরুত্ব দেখাতে সাহায্য করে যা এই মডেল দ্বারা প্রাপ্ত হয়েছিল। তাত্পর্যের স্তর সেট করার পরে, আমরা ফলস্বরূপ p-মানগুলি পরীক্ষা করি এবং যদি কোনও মান নির্দিষ্ট তাত্পর্য স্তরের নীচে থাকে, তবে এই বৈশিষ্ট্যটিকে তাৎপর্যপূর্ণ ঘোষণা করা হয়, অর্থাৎ, এর মান পরিবর্তনের ফলে মানের পরিবর্তন হতে পারে লক্ষ্য.

সরাসরি নির্বাচন

ফরোয়ার্ড নির্বাচন একটি কৌশল যা ধাপে ধাপে রিগ্রেশন প্রয়োগ করে। মডেল বিল্ডিং একটি সম্পূর্ণ শূন্য দিয়ে শুরু হয়, অর্থাৎ, একটি খালি মডেল, এবং তারপর প্রতিটি পুনরাবৃত্তি একটি পরিবর্তনশীল যোগ করে যা তৈরি করা মডেলের উন্নতি করে। মডেলে কোন ভেরিয়েবল যোগ করা হয় তা তার তাৎপর্য দ্বারা নির্ধারিত হয়। এটি বিভিন্ন মেট্রিক্স ব্যবহার করে গণনা করা যেতে পারে। সবচেয়ে সাধারণ উপায় হল সমস্ত ভেরিয়েবল ব্যবহার করে মূল পরিসংখ্যান মডেলে প্রাপ্ত পি-মানগুলি ব্যবহার করা। কখনও কখনও ফরোয়ার্ড নির্বাচন একটি মডেলকে অত্যধিক ফিট করার দিকে নিয়ে যেতে পারে কারণ মডেলটিতে উচ্চ সম্পর্কযুক্ত ভেরিয়েবল থাকতে পারে, এমনকি যদি তারা মডেলটিকে একই তথ্য প্রদান করে (কিন্তু মডেলটি এখনও উন্নতি দেখায়)।

বিপরীত নির্বাচন

বিপরীত নির্বাচনের মধ্যে বৈশিষ্ট্যগুলির ধাপে ধাপে নির্মূল করাও জড়িত, তবে সামনের নির্বাচনের তুলনায় বিপরীত দিকে। এই ক্ষেত্রে, প্রাথমিক মডেলে সমস্ত স্বাধীন ভেরিয়েবল অন্তর্ভুক্ত থাকে। ভেরিয়েবলগুলি তখন মুছে ফেলা হয় (প্রতি পুনরাবৃত্তিতে একটি) যদি তারা প্রতিটি পুনরাবৃত্তিতে নতুন রিগ্রেশন মডেলে মান অবদান না রাখে। বৈশিষ্ট্য বর্জন প্রাথমিক মডেলের পি-মানগুলির উপর ভিত্তি করে। অত্যন্ত পারস্পরিক সম্পর্কযুক্ত ভেরিয়েবলগুলি সরানোর সময় এই পদ্ধতিতেও অনিশ্চয়তা রয়েছে।

পুনরাবৃত্ত বৈশিষ্ট্য নির্মূল

RFE হল একটি বহুল ব্যবহৃত কৌশল/অ্যালগরিদম যা উল্লেখযোগ্য বৈশিষ্ট্যের সঠিক সংখ্যা নির্বাচন করার জন্য। কখনও কখনও পদ্ধতিটি বেশ কয়েকটি "সবচেয়ে গুরুত্বপূর্ণ" বৈশিষ্ট্য ব্যাখ্যা করতে ব্যবহৃত হয় যা ফলাফলকে প্রভাবিত করে; এবং কখনও কখনও একটি খুব বড় সংখ্যক ভেরিয়েবল কমাতে (প্রায় 200-400), এবং শুধুমাত্র সেইগুলিই রাখা হয় যারা মডেলটিতে অন্তত কিছু অবদান রাখে, এবং অন্য সকলকে বাদ দেওয়া হয়। RFE একটি র্যাঙ্কিং সিস্টেম ব্যবহার করে। ডেটা সেটের বৈশিষ্ট্যগুলি র‌্যাঙ্ক বরাদ্দ করা হয়। এই র‌্যাঙ্কগুলি তারপরে তাদের মধ্যে সমকোনতা এবং মডেলে সেই বৈশিষ্ট্যগুলির গুরুত্বের উপর ভিত্তি করে বৈশিষ্ট্যগুলিকে পুনরাবৃত্তিমূলকভাবে নির্মূল করতে ব্যবহৃত হয়। র‌্যাঙ্কিং বৈশিষ্ট্যগুলি ছাড়াও, RFE দেখাতে পারে যে এই বৈশিষ্ট্যগুলি গুরুত্বপূর্ণ কিনা এমনকি নির্দিষ্ট সংখ্যক বৈশিষ্ট্যের জন্যও নয় (কারণ এটি খুব সম্ভবত যে নির্বাচিত সংখ্যক বৈশিষ্ট্যগুলি সর্বোত্তম নাও হতে পারে, এবং বৈশিষ্ট্যগুলির সর্বোত্তম সংখ্যাটি আরও বেশি হতে পারে। বা নির্বাচিত সংখ্যার চেয়ে কম)।

বৈশিষ্ট্য গুরুত্ব চিত্র

মেশিন লার্নিং অ্যালগরিদমগুলির ব্যাখ্যাযোগ্যতা সম্পর্কে কথা বলার সময়, আমরা সাধারণত লিনিয়ার রিগ্রেশন (যা আপনাকে পি-মান ব্যবহার করে বৈশিষ্ট্যগুলির গুরুত্ব বিশ্লেষণ করতে দেয়) এবং সিদ্ধান্ত গাছ (আক্ষরিক অর্থে একটি গাছের আকারে বৈশিষ্ট্যগুলির গুরুত্ব প্রদর্শন করে) নিয়ে আলোচনা করি। একই সময়ে তাদের অনুক্রম)। অন্যদিকে, র্যান্ডম ফরেস্ট, লাইটজিবিএম এবং এক্সজি বুস্টের মতো অ্যালগরিদমগুলি প্রায়শই একটি বৈশিষ্ট্যের গুরুত্ব ডায়াগ্রাম ব্যবহার করে, অর্থাৎ, ভেরিয়েবলের একটি চিত্র এবং "তাদের গুরুত্ব সংখ্যা" প্লট করা হয়। এটি বিশেষভাবে উপযোগী যখন আপনাকে ব্যবসার উপর তাদের প্রভাবের পরিপ্রেক্ষিতে বৈশিষ্ট্যগুলির গুরুত্বের জন্য একটি কাঠামোগত যুক্তি প্রদান করতে হবে।

নিয়মিতকরণ

পক্ষপাত ও বৈষম্যের মধ্যে ভারসাম্য নিয়ন্ত্রণ করতে নিয়মিতকরণ করা হয়। প্রশিক্ষণ ডেটা সেটে মডেলটি কতটা ওভারফিট করেছে তা বায়াস দেখায়। বিচ্যুতি দেখায় যে প্রশিক্ষণ এবং পরীক্ষার ডেটাসেটের মধ্যে পূর্বাভাস কতটা আলাদা ছিল। আদর্শভাবে, পক্ষপাত এবং পার্থক্য উভয়ই ছোট হওয়া উচিত। এখানেই রেসকিউ আসে নিয়মিতকরণ! দুটি প্রধান কৌশল আছে:

L1 Regularization - Lasso: Lasso মডেলের ওজনকে তাদের গুরুত্ব পরিবর্তন করার জন্য শাস্তি দেয় এবং এমনকি তাদের বাতিল করতে পারে (অর্থাৎ চূড়ান্ত মডেল থেকে সেই ভেরিয়েবলগুলিকে সরিয়ে দেয়)। সাধারণত, Lasso ব্যবহার করা হয় যখন একটি ডেটাসেটে প্রচুর সংখ্যক ভেরিয়েবল থাকে এবং আপনি কতটা গুরুত্বপূর্ণ বৈশিষ্ট্য মডেলকে প্রভাবিত করে তা আরও ভালভাবে বোঝার জন্য তাদের কিছু বাদ দিতে চান (অর্থাৎ, সেই বৈশিষ্ট্যগুলি যেগুলি Lasso দ্বারা নির্বাচিত হয়েছে এবং গুরুত্ব দেওয়া হয়েছে)।

L2 রেগুলারাইজেশন - রিজ পদ্ধতি: রিজের কাজ হল সমস্ত ভেরিয়েবল সংরক্ষণ করা এবং একই সাথে মডেলের পারফরম্যান্সে তাদের অবদানের উপর ভিত্তি করে তাদের গুরুত্ব প্রদান করা। রিজ একটি ভাল পছন্দ হবে যদি ডেটাসেটে অল্প সংখ্যক ভেরিয়েবল থাকে এবং প্রাপ্ত ফলাফল এবং ফলাফলগুলিকে ব্যাখ্যা করার জন্য সেগুলি প্রয়োজনীয় হয়।

যেহেতু রিজ সমস্ত ভেরিয়েবল রাখে এবং ল্যাসো তাদের গুরুত্ব প্রতিষ্ঠার জন্য আরও ভাল কাজ করে, তাই একটি অ্যালগরিদম তৈরি করা হয়েছিল যা উভয় নিয়মিতকরণের সেরা বৈশিষ্ট্যগুলিকে একত্রিত করে, যা ইলাস্টিক-নেট নামে পরিচিত।

মেশিন লার্নিংয়ের জন্য বৈশিষ্ট্যগুলি নির্বাচন করার আরও অনেক উপায় রয়েছে, তবে মূল ধারণাটি সর্বদা একই: ভেরিয়েবলের গুরুত্ব প্রদর্শন করুন এবং তারপরে ফলাফলের গুরুত্বের উপর ভিত্তি করে তাদের কয়েকটিকে বাদ দিন। গুরুত্ব একটি অত্যন্ত বিষয়গত শব্দ, কারণ এটি শুধুমাত্র একটি নয়, তবে মেট্রিক্স এবং চার্টগুলির একটি সম্পূর্ণ সেট যা মূল বৈশিষ্ট্যগুলি খুঁজে পেতে ব্যবহার করা যেতে পারে।

পড়ার জন্য আপনাকে ধন্যবাদ! সুখী শেখার!

উত্স: www.habr.com