এনসেম্বল লার্নিং এর ম্যাজিক

হে হাবর! আমরা বিনামূল্যে ডেমো পাঠে ডেটা ইঞ্জিনিয়ার এবং মেশিন লার্নিং বিশেষজ্ঞদের আমন্ত্রণ জানাই৷ "অনলাইন সুপারিশের উদাহরণ ব্যবহার করে একটি শিল্প পরিবেশে এমএল মডেলের আউটপুট". আমরা CDP SPA-এর আর্থিক বিশ্লেষণের প্রধান - লুকা মন্নো নিবন্ধটিও প্রকাশ করি।

সবচেয়ে দরকারী এবং সহজ মেশিন লার্নিং পদ্ধতি হল Ensemble লার্নিং। Ensemble Learning হল XGBoost, Bagging, Random Forest এবং অন্যান্য অনেক অ্যালগরিদমের পিছনের পদ্ধতি।

ডেটা সায়েন্সের দিকে প্রচুর দুর্দান্ত নিবন্ধ রয়েছে, তবে আমি দুটি গল্প বেছে নিয়েছি (প্রথম и দ্বিতীয়) যা আমি সবচেয়ে পছন্দ করেছি। তাহলে কেন ইএল সম্পর্কে অন্য নিবন্ধ লিখবেন? কারণ আমি তোমাকে দেখাতে চাই কিভাবে এটি একটি সহজ উদাহরণ দিয়ে কাজ করে, যা আমাকে বুঝতে পেরেছে যে এখানে কোন জাদু নেই।

যখন আমি প্রথম EL-কে অ্যাকশনে দেখেছিলাম (কিছু খুব সাধারণ রিগ্রেশন মডেলের সাথে কাজ করছি) তখন আমি আমার চোখকে বিশ্বাস করতে পারিনি, এবং আমি এখনও সেই অধ্যাপকের কথা মনে করি যিনি আমাকে এই পদ্ধতিটি শিখিয়েছিলেন।

আমার কাছে মেট্রিক্স সহ দুটি ভিন্ন মডেল (দুটি দুর্বল প্রশিক্ষণ অ্যালগরিদম) ছিল নমুনার বাইরে R² যথাক্রমে 0,90 এবং 0,93 এর সমান। ফলাফল দেখার আগে, আমি ভেবেছিলাম দুটি মূল মানের মধ্যে কোথাও আমি একটি R² পাব। অন্য কথায়, আমি বিশ্বাস করতাম যে EL একটি মডেলকে সবচেয়ে খারাপ মডেলের মতো খারাপভাবে পারফর্ম করার জন্য ব্যবহার করা যেতে পারে, তবে সেরা মডেলটি পারফর্ম করতে পারে না।

আমার বড় আশ্চর্যের জন্য, কেবলমাত্র ভবিষ্যদ্বাণীগুলির গড় 0,95 এর একটি R² পাওয়া গেছে। 

প্রথমে আমি ত্রুটি খুঁজতে শুরু করি, কিন্তু পরে ভাবলাম এখানে হয়তো কোনো জাদু লুকিয়ে আছে!

Ensemble লার্নিং কি

EL এর সাথে, আপনি আরও শক্তিশালী এবং পারফরম্যান্স মডেল তৈরি করতে দুই বা ততোধিক মডেলের ভবিষ্যদ্বাণীগুলিকে একত্রিত করতে পারেন। মডেল ensembles সঙ্গে কাজ করার জন্য অনেক পদ্ধতি আছে। এখানে আমি একটি ওভারভিউ দিতে সবচেয়ে দরকারী দুটি স্পর্শ করব।

এর সাহায্যে রিগ্রেশন উপলব্ধ মডেলের কর্মক্ষমতা গড় করা সম্ভব।

এর সাহায্যে শ্রেণিবিন্যাস আপনি মডেলদের লেবেল নির্বাচন করার সুযোগ দিতে পারেন। যে লেবেলটি প্রায়শই বেছে নেওয়া হয়েছিল সেটিই নতুন মডেল দ্বারা বেছে নেওয়া হবে।

কেন EL ভাল কাজ করে

EL কেন ভাল পারফর্ম করে তার প্রধান কারণ হল যে প্রতিটি ভবিষ্যদ্বাণীতে একটি ত্রুটি রয়েছে (আমরা এটি সম্ভাব্যতা তত্ত্ব থেকে জানি), দুটি ভবিষ্যদ্বাণী একত্রিত করা ত্রুটি কমাতে সাহায্য করতে পারে এবং সেইজন্য পারফরম্যান্স মেট্রিক্স (RMSE, R², ইত্যাদি) উন্নত করতে পারে।

নিম্নলিখিত চিত্রটি দেখায় কিভাবে দুটি দুর্বল অ্যালগরিদম একটি ডেটা সেটে কাজ করে। প্রথম অ্যালগরিদমটির প্রয়োজনের তুলনায় একটি বড় ঢাল রয়েছে, যখন দ্বিতীয়টিতে প্রায় শূন্য রয়েছে (সম্ভবত অতিরিক্ত-নিয়মিতকরণের কারণে)। কিন্তু একসঙ্গে অনেক ভালো ফলাফল দেখায়। 

আপনি যদি R² সূচকটি দেখেন, তাহলে প্রথম এবং দ্বিতীয় প্রশিক্ষণের অ্যালগরিদমের জন্য এটি যথাক্রমে -0.01¹, 0.22 এর সমান হবে, যখন সংযুক্তির জন্য এটি 0.73 এর সমান হবে।

এইরকম একটি মৌলিক উদাহরণেও একটি অ্যালগরিদম কেন খারাপ মডেল হতে পারে তার অনেক কারণ রয়েছে: হয়ত আপনি অতিরিক্ত ফিটিং এড়াতে নিয়মিতকরণ ব্যবহার করার সিদ্ধান্ত নিয়েছেন, অথবা আপনি কিছু অসঙ্গতিকে বাতিল না করার সিদ্ধান্ত নিয়েছেন, অথবা আপনি বহুপদী রিগ্রেশন ব্যবহার করেছেন এবং ভুল পেয়েছেন ডিগ্রি (উদাহরণস্বরূপ, আমরা দ্বিতীয় ডিগ্রির একটি বহুপদ ব্যবহার করেছি, এবং পরীক্ষার ডেটা একটি স্পষ্ট অসাম্যতা দেখায় যার জন্য তৃতীয় ডিগ্রিটি আরও উপযুক্ত হবে)।

যখন EL ভাল কাজ করে

আসুন একই ডেটা নিয়ে কাজ করা দুটি শেখার অ্যালগরিদম দেখি।

এখানে আপনি দেখতে পাচ্ছেন যে দুটি মডেল একত্রিত করার ফলে কর্মক্ষমতা খুব বেশি উন্নত হয়নি। প্রাথমিকভাবে, দুটি প্রশিক্ষণ অ্যালগরিদমের জন্য, R² সূচকগুলি যথাক্রমে -0,37 এবং 0,22 এর সমান ছিল, এবং সমাহারের জন্য এটি পরিণত হয়েছিল -0,04। অর্থাৎ, ইএল মডেল সূচকগুলির গড় মান পেয়েছে।

যাইহোক, এই দুটি উদাহরণের মধ্যে একটি বড় পার্থক্য রয়েছে: প্রথম উদাহরণে, মডেল ত্রুটিগুলি নেতিবাচকভাবে পারস্পরিক সম্পর্কযুক্ত ছিল এবং দ্বিতীয়টিতে, তারা ইতিবাচকভাবে সম্পর্কযুক্ত ছিল (তিনটি মডেলের সহগ অনুমান করা হয়নি, তবে সহজভাবে বেছে নেওয়া হয়েছিল উদাহরণ হিসাবে লেখক।)

অতএব, এনসেম্বল লার্নিং যেকোন ক্ষেত্রে পক্ষপাতিত্ব/ভেরিয়েন্স ভারসাম্য উন্নত করতে ব্যবহার করা যেতে পারে, কিন্তু কখন মডেলের ত্রুটিগুলি ইতিবাচকভাবে সম্পর্কযুক্ত নয়, EL ব্যবহার করলে কর্মক্ষমতা উন্নত হতে পারে.

একজাতীয় এবং ভিন্ন ভিন্ন মডেল

প্রায়শই EL সমজাতীয় মডেলগুলিতে ব্যবহৃত হয় (যেমন এই উদাহরণে বা র্যান্ডম ফরেস্ট), কিন্তু আসলে আপনি ব্যাখ্যামূলক ভেরিয়েবলের বিভিন্ন সেটের সাথে বিভিন্ন মডেল (লিনিয়ার রিগ্রেশন + নিউরাল নেটওয়ার্ক + XGBoost) একত্রিত করতে পারেন। এটি সম্ভবত অসম্পর্কিত ত্রুটি এবং উন্নত কর্মক্ষমতার ফলাফল হতে পারে।

পোর্টফোলিও বৈচিত্র্যের সাথে তুলনা

EL পোর্টফোলিও তত্ত্বের বৈচিত্র্যের অনুরূপভাবে কাজ করে, কিন্তু আমাদের জন্য তত বেশি ভালো। 

বৈচিত্র্য আনার সময়, আপনি সম্পর্কহীন স্টকগুলিতে বিনিয়োগ করে আপনার কর্মক্ষমতার বৈচিত্র্য কমানোর চেষ্টা করেন। স্টকগুলির একটি ভাল-বৈচিত্র্যপূর্ণ পোর্টফোলিও সবচেয়ে খারাপ ব্যক্তিগত স্টকের চেয়ে ভাল পারফরম্যান্স করবে, তবে সর্বোত্তম থেকে ভাল কখনই নয়।

ওয়ারেন বাফেটকে উদ্ধৃত করতে: 

"বৈচিত্রকরণ হল অজ্ঞতার বিরুদ্ধে একটি প্রতিরক্ষা; যে কেউ জানে না যে সে কি করছে, তার কাছে এটি [বৈচিত্র্য] খুব কম অর্থবহ।"

মেশিন লার্নিং-এ, EL আপনার মডেলের বৈচিত্র্য কমাতে সাহায্য করে, কিন্তু এর ফলে সেরা আসল মডেলের থেকে সামগ্রিক পারফরম্যান্স সহ একটি মডেল হতে পারে।

আসুন পরিণাম সম্পর্কে ফলাফল

একাধিক মডেলকে একত্রিত করা একটি অপেক্ষাকৃত সহজ কৌশল যা বৈষম্যের পক্ষপাতের সমস্যা সমাধান করতে এবং কর্মক্ষমতা উন্নত করতে পারে।

আপনার যদি দুটি বা ততোধিক মডেল থাকে যা ভাল কাজ করে, তবে তাদের মধ্যে নির্বাচন করবেন না: সেগুলি সব ব্যবহার করুন (কিন্তু সতর্কতার সাথে)!

এই দিকে উন্নয়ন করতে আগ্রহী? একটি বিনামূল্যে ডেমো পাঠের জন্য সাইন আপ করুন "অনলাইন সুপারিশের উদাহরণ ব্যবহার করে একটি শিল্প পরিবেশে এমএল মডেলের আউটপুট" এবং অংশগ্রহণ করুন আন্দ্রে কুজনেটসভের সাথে অনলাইন মিটিং — Mail.ru গ্রুপে মেশিন লার্নিং ইঞ্জিনিয়ার।

উত্স: www.habr.com