ارے حبر! ہم ڈیٹا انجینئرز اور مشین لرننگ کے ماہرین کو مفت ڈیمو سبق کے لیے مدعو کرتے ہیں۔ . ہم لوکا مونو کا ایک مضمون بھی شائع کرتے ہیں - CDP SPA میں مالیاتی تجزیات کے سربراہ۔
سب سے مفید اور آسان مشین لرننگ طریقوں میں سے ایک Ensemble Learning ہے۔ Ensemble Learning XGBoost، Bagging، Random Forest، اور بہت سے دوسرے الگورتھم کے لیے بنیادی تکنیک ہے۔
Towards Data Science پر بہت سے عظیم مضامین ہیں، لیکن میں نے دو کہانیوں کا انتخاب کیا ( и ) جو مجھے سب سے زیادہ پسند آیا۔ تو EL کے بارے میں ایک اور مضمون کیوں لکھیں؟ کیونکہ میں آپ کو دکھانا چاہتا ہوں۔ یہ ایک سادہ مثال پر کیسے کام کرتا ہے، جس نے مجھے سمجھا کہ یہاں کوئی جادو نہیں ہے۔
جب میں نے پہلی بار EL کو ایکشن میں دیکھا (کچھ بہت ہی آسان ریگریشن ماڈلز کے ساتھ کام کرتے ہوئے) مجھے اپنی آنکھوں پر یقین نہیں آیا، اور مجھے اب بھی وہ پروفیسر یاد ہے جس نے مجھے یہ طریقہ سکھایا تھا۔
میرے پاس exponents کے ساتھ دو مختلف ماڈل (دو کمزور سیکھنے کے الگورتھم) تھے۔ نمونے سے باہر R² بالترتیب 0,90 اور 0,93 کے برابر ہے۔ نتیجہ دیکھنے سے پہلے، میں نے سوچا کہ مجھے R² دو ابتدائی اقدار کے درمیان کہیں ملے گا۔ دوسرے لفظوں میں، میں نے سوچا کہ EL کا استعمال اس لیے کیا جا سکتا ہے کہ اس ماڈل کو بدترین ماڈل کی طرح بری کارکردگی نہ دکھائے، لیکن اس کے ساتھ ساتھ بہترین ماڈل کی طرح نہیں۔
میری حیرت کی بات یہ ہے کہ پیشین گوئیوں کی ایک سادہ اوسط کے نتائج نے R² کا 0,95 دیا ہے۔
پہلے تو میں نے غلطی ڈھونڈنی شروع کی، لیکن پھر سوچا کہ یہاں کوئی جادو چھپا ہوا ہے!
Ensemble لرننگ کیا ہے؟
EL کے ساتھ، آپ زیادہ قابل اعتماد اور پرفارمنس ماڈل حاصل کرنے کے لیے دو یا دو سے زیادہ ماڈلز کی پیشین گوئیوں کو یکجا کر سکتے ہیں۔ ماڈلز کے جوڑ کے ساتھ کام کرنے کے بہت سے طریقے ہیں۔ یہاں میں آپ کو ایک خیال دینے کے لیے دو سب سے زیادہ کارآمد چیزوں کو چھوؤں گا۔
کے ساتھ رجعت آپ دستیاب ماڈلز کی کارکردگی کا اوسط لے سکتے ہیں۔
کے ساتھ درجہ بندی آپ ماڈلز کو لیبل منتخب کرنے دے سکتے ہیں۔ وہ لیبل جو اکثر منتخب کیا جاتا ہے وہی ہے جسے نئے ماڈل کے ذریعے منتخب کیا جائے گا۔
EL کیوں بہتر کام کرتا ہے۔
EL کے بہتر کام کرنے کی بنیادی وجہ یہ ہے کہ ہر پیشین گوئی میں ایک غلطی ہوتی ہے (ہم اسے امکانی تھیوری سے جانتے ہیں)، دو پیشین گوئیوں کو ملانے سے غلطی کو کم کرنے میں مدد مل سکتی ہے، اور اس طرح کارکردگی کے اشارے (RMSE، R²، وغیرہ) کو بہتر بنایا جا سکتا ہے۔
درج ذیل خاکہ دکھاتا ہے کہ کس طرح دو کمزور الگورتھم ڈیٹاسیٹ پر کام کرتے ہیں۔ پہلے الگورتھم میں ضرورت سے زیادہ ڈھلوان ہے، جبکہ دوسرے میں تقریباً صفر ہے (ممکنہ طور پر ضرورت سے زیادہ ریگولرائزیشن کی وجہ سے)۔ لیکن پہناوا بہتر نتائج دکھاتا ہے۔
اگر آپ R² کو دیکھیں تو پہلے اور دوسرے ٹریننگ الگورتھم میں یہ بالترتیب -0.01¹، 0.22 کے برابر ہوگا، جب کہ جوڑ کے لیے یہ 0.73 کے برابر ہوگا۔
اس طرح کی ایک بنیادی مثال کے لیے بھی الگورتھم کیوں ناقص ماڈل ہو سکتا ہے اس کی بہت سی وجوہات ہیں: ہو سکتا ہے آپ نے اوور فٹنگ سے بچنے کے لیے ریگولرائزیشن کو استعمال کرنے کا فیصلہ کیا ہو، یا کچھ بے ضابطگیوں کو ختم نہ کرنے کا فیصلہ کیا ہو، یا ہو سکتا ہے کہ آپ نے کثیر الثانی رجعت کا استعمال کیا ہو اور غلط ڈگری کا انتخاب کیا ہو۔ (مثال کے طور پر، دوسری ڈگری کا کثیر الجہتی استعمال کیا جاتا ہے، اور ٹیسٹ کے اعداد و شمار میں واضح توازن ظاہر ہوتا ہے، جس کے لیے تیسری ڈگری زیادہ موزوں ہوگی)۔
جب EL بہترین کام کرتا ہے۔
آئیے دو سیکھنے کے الگورتھم کو دیکھتے ہیں جو ایک ہی ڈیٹا پر کام کرتے ہیں۔
یہاں آپ دیکھ سکتے ہیں کہ دونوں ماڈلز کو یکجا کرنے سے کارکردگی زیادہ بہتر نہیں ہوئی۔ ابتدائی طور پر، دو تربیتی الگورتھم کے لیے، R² کی قدریں بالترتیب -0,37 اور 0,22 تھیں، اور جوڑ کے لیے یہ -0,04 نکلا۔ یعنی، EL ماڈل نے اشارے کی اوسط قدر حاصل کی۔
تاہم، ان دو مثالوں کے درمیان ایک بڑا فرق ہے: پہلی مثال میں، ماڈلز کی غلطیوں کو منفی طور پر منسلک کیا گیا تھا، اور دوسری میں - مثبت طور پر (تینوں ماڈلز کے گتانک کا اندازہ نہیں لگایا گیا تھا، لیکن صرف مصنف کے ذریعہ منتخب کیا گیا تھا۔ ایک مثال کے طور.)
لہذا، Ensemble لرننگ کا استعمال تمام معاملات میں تعصب/منتشر توازن کو بہتر بنانے کے لیے کیا جا سکتا ہے، لیکن کب ماڈل کی غلطیاں مثبت طور پر منسلک نہیں ہیں، EL کا استعمال بہتر کارکردگی کا باعث بن سکتا ہے۔.
یکساں اور متضاد ماڈل
EL اکثر یکساں ماڈلز پر استعمال ہوتا ہے (جیسا کہ اس مثال یا بے ترتیب جنگل میں)، لیکن درحقیقت آپ مختلف ماڈلز (لکیری ریگریشن + نیورل نیٹ ورک + XGBoost) کو وضاحتی متغیرات کے مختلف سیٹوں کے ساتھ جوڑ سکتے ہیں۔ اس سے غیر متعلقہ غلطیاں پیدا ہونے اور کارکردگی بہتر ہونے کا امکان ہے۔
پورٹ فولیو تنوع کے ساتھ موازنہ
EL پورٹ فولیو تھیوری میں تنوع کے لیے اسی طرح کام کرتا ہے، لیکن ہمارے لیے اتنا ہی بہتر ہے۔
جب آپ متنوع بناتے ہیں، تو آپ غیر متعلقہ اسٹاک میں سرمایہ کاری کرکے اپنی کارکردگی میں فرق کو کم کرنے کی کوشش کرتے ہیں۔ اسٹاک کا ایک متنوع پورٹ فولیو بدترین واحد اسٹاک سے بہتر کارکردگی کا مظاہرہ کرے گا، لیکن کبھی بھی بہترین سے بہتر نہیں ہوگا۔
وارن بفیٹ کا حوالہ دیتے ہوئے:
"تنوع جہالت کے خلاف دفاع ہے، کسی ایسے شخص کے لیے جو نہیں جانتا کہ وہ کیا کر رہا ہے، یہ [تنوع] بہت کم معنی رکھتا ہے۔"
مشین لرننگ میں، EL آپ کے ماڈل کے فرق کو کم کرنے میں مدد کرتا ہے، لیکن اس کے نتیجے میں بہترین ابتدائی ماڈل سے بہتر مجموعی کارکردگی والا ماڈل ہو سکتا ہے۔
خلاصہ:
متعدد ماڈلز کو ایک میں ملانا ایک نسبتاً آسان تکنیک ہے جو متغیر تعصب کے مسئلے کا حل اور کارکردگی کو بہتر بنا سکتی ہے۔
اگر آپ کے پاس دو یا زیادہ ماڈلز ہیں جو اچھی طرح سے کام کرتے ہیں، تو ان میں سے انتخاب نہ کریں: ان سب کا استعمال کریں (لیکن احتیاط کے ساتھ)!
کیا آپ اس سمت میں ترقی کرنے میں دلچسپی رکھتے ہیں؟ مفت ڈیمو سبق کے لیے سائن اپ کریں۔ اور شرکت کریں — Mail.ru گروپ میں مشین لرننگ انجینئر۔
ماخذ: www.habr.com