म्याजिक एन्सेम्बल लर्निंग

हे हाबर! हामी डेटा इन्जिनियरहरू र मेसिन लर्निङ विशेषज्ञहरूलाई नि:शुल्क डेमो-पाठमा आमन्त्रित गर्छौं "अनलाइन सिफारिसहरूको उदाहरण प्रयोग गरेर औद्योगिक वातावरणमा एमएल मोडेलहरूको परिचय"। हामीले CDP SPA मा फाइनान्सियल एनालिटिक्सका प्रमुख - लुका मोनोको लेख पनि प्रकाशित गर्छौं।

सबैभन्दा उपयोगी र सरल मेसिन लर्निङ विधिहरू मध्ये एक Ensemble Learning हो। Ensemble Learning XGBoost, Bagging, Random Forest, र धेरै अन्य एल्गोरिदमहरूको लागि अन्तर्निहित प्रविधि हो।

त्यहाँ डाटा विज्ञान तर्फ धेरै उत्कृष्ट लेखहरू छन्, तर मैले दुई कथाहरू रोजें (पहिलो и दोस्रो) जुन मलाई धेरै मन पर्यो। त्यसोभए किन EL को बारेमा अर्को लेख लेख्ने? किनकि म तिमीलाई देखाउन चाहन्छु यो कसरी एक साधारण उदाहरण मा काम गर्दछ, जसले मलाई यहाँ कुनै जादू छैन भन्ने बुझायो।

जब मैले पहिलो पटक EL लाई कार्यमा देखेँ (केही धेरै सरल रिग्रेसन मोडेलहरूसँग काम गर्दै) मैले मेरो आँखालाई विश्वास गर्न सकिन, र मलाई अझै पनि यो विधि सिकाउने प्रोफेसर सम्झन्छु।

मसँग एक्सपोनन्टका साथ दुई फरक मोडेल (दुई कमजोर सिकाउने एल्गोरिदम) थिए नमूना बाहिर R² क्रमशः ०.९० र ०.९३ बराबर। नतिजा हेर्नु अघि, मैले सोचें कि मैले दुई प्रारम्भिक मानहरू बीच कतै R² प्राप्त गर्नेछु। अर्को शब्दमा, मैले सोचे कि EL लाई मोडेललाई सबैभन्दा खराब मोडेलको रूपमा नराम्रो प्रदर्शन नगर्न प्रयोग गर्न सकिन्छ, तर राम्रो मोडेलको रूपमा पनि होइन।

मेरो ठूलो आश्चर्यको लागि, भविष्यवाणीहरूको साधारण औसतको नतिजाले ०.९५ को R² दिएको छ। 

सुरुमा मैले त्रुटि खोज्न थालें, तर पछि यहाँ केही जादू लुकेको हुनसक्छ भन्ने लाग्यो!

Ensemble Learning भनेको के हो

EL को साथ, तपाईंले थप भरपर्दो र प्रदर्शनकारी मोडेल प्राप्त गर्न दुई वा बढी मोडेलहरूको भविष्यवाणीहरू संयोजन गर्न सक्नुहुन्छ। त्यहाँ मोडेल को ensembles संग काम को लागी धेरै विधिहरु छन्। यहाँ म तपाईंलाई एउटा विचार दिन दुईवटा सबैभन्दा उपयोगी व्यक्तिहरूलाई छुनेछु।

सहयोगको साथ प्रतिगमन तपाईं उपलब्ध मोडेलहरूको प्रदर्शन औसत गर्न सक्नुहुन्छ।

सहयोगको साथ वर्गीकरण तपाईंले मोडेलहरूलाई लेबलहरू छनौट गर्न दिन सक्नुहुन्छ। लेबल जुन प्रायः रोजिएको थियो त्यो नयाँ मोडेल द्वारा छनोट हुनेछ।

किन EL राम्रो काम गर्दछ

EL ले राम्रो काम गर्नुको मुख्य कारण भनेको प्रत्येक भविष्यवाणीमा त्रुटि छ (हामीलाई सम्भाव्यता सिद्धान्तबाट यो थाहा छ), दुई भविष्यवाणीहरू संयोजन गर्नाले त्रुटि कम गर्न मद्दत गर्न सक्छ, र यसरी कार्यसम्पादन सूचकहरू (RMSE, R², आदि) सुधार गर्न सकिन्छ। d.)।

निम्न रेखाचित्रले डेटासेटमा दुई कमजोर एल्गोरिदमले कसरी काम गर्छ भनेर देखाउँछ। पहिलो एल्गोरिथ्ममा आवश्यक भन्दा ठूलो ढलान छ, जबकि दोस्रोमा लगभग शून्य छ (सम्भवतः अत्यधिक नियमितीकरणको कारणले)। तर टुकडी राम्रो परिणाम देखाउँछ। 

यदि तपाइँ R² हेर्नुहुन्छ भने, त्यसपछि पहिलो र दोस्रो प्रशिक्षण एल्गोरिदममा क्रमशः -0.01¹, 0.22 बराबर हुनेछ, जबकि ensemble को लागि यो 0.73 बराबर हुनेछ।

त्यहाँ धेरै कारणहरू छन् किन एल्गोरिदम निम्न उदाहरणका लागि पनि कमजोर मोडेल हुन सक्छ: हुनसक्छ तपाईंले ओभरफिटिंगबाट बच्नको लागि नियमितीकरण प्रयोग गर्ने निर्णय गर्नुभयो, वा तपाईंले केही विसंगतिहरू हटाउने निर्णय गर्नुभयो, वा तपाईंले बहुपद प्रतिगमन प्रयोग गर्नुभयो र गलत डिग्री रोज्नुभयो। (उदाहरणका लागि, दोस्रो डिग्रीको बहुपद प्रयोग गरियो, र परीक्षण डेटाले स्पष्ट विषमता देखाउँदछ, जसको लागि तेस्रो डिग्री राम्रो उपयुक्त हुनेछ)।

जब EL ले राम्रो काम गर्छ

एउटै डाटामा काम गर्ने दुई सिकाउने एल्गोरिदमहरू हेरौं।

यहाँ तपाईले देख्न सक्नुहुन्छ कि दुई मोडेलहरू संयोजन गर्दा प्रदर्शनमा धेरै सुधार भएन। सुरुमा, दुई प्रशिक्षण एल्गोरिदमहरूको लागि, R² मानहरू क्रमशः -0,37 र 0,22 थिए, र समूहको लागि यो -0,04 भयो। त्यो हो, EL मोडेलले सूचकहरूको औसत मूल्य प्राप्त गर्यो।

यद्यपि, यी दुई उदाहरणहरू बीच ठूलो भिन्नता छ: पहिलो उदाहरणमा, मोडेलका त्रुटिहरू नकारात्मक रूपमा सहसम्बन्धित थिए, र दोस्रोमा - सकारात्मक रूपमा (तीन मोडेलहरूको गुणांकहरू अनुमान गरिएको थिएन, तर केवल लेखकद्वारा चयन गरिएको थियो। उदाहरणको रूपमा।)

तसर्थ, एन्सेम्बल लर्निङलाई सबै अवस्थामा पूर्वाग्रह/फैसला सन्तुलन सुधार गर्न प्रयोग गर्न सकिन्छ, तर कहिले मोडेल त्रुटिहरू सकारात्मक रूपमा सहसम्बन्धित छैनन्, EL को प्रयोगले राम्रो प्रदर्शन गर्न सक्छ.

सजातीय र विषम मोडेलहरू

प्रायः EL समरूप मोडेलहरूमा प्रयोग गरिन्छ (जस्तै यो उदाहरण वा अनियमित वनमा), तर वास्तवमा तपाईले विभिन्न मोडेलहरू (रैखिक प्रतिगमन + न्यूरल नेटवर्क + XGBoost) व्याख्यात्मक चरहरूको विभिन्न सेटहरूसँग संयोजन गर्न सक्नुहुन्छ। यसले असम्बन्धित त्रुटिहरू निम्त्याउने र कार्यसम्पादन सुधार गर्ने सम्भावना छ।

पोर्टफोलियो विविधीकरण संग तुलना

EL ले पोर्टफोलियो सिद्धान्तमा विविधीकरण गर्न समान रूपमा काम गर्दछ, तर हाम्रो लागि धेरै राम्रो। 

जब तपाइँ विविधीकरण गर्नुहुन्छ, तपाइँ असम्बन्धित स्टकहरूमा लगानी गरेर तपाइँको कार्यसम्पादनमा भिन्नता कम गर्ने प्रयास गर्नुहुन्छ। स्टकहरूको एक राम्रो-विविध पोर्टफोलियोले सबैभन्दा खराब एकल स्टक भन्दा राम्रो प्रदर्शन गर्दछ, तर उत्तम भन्दा राम्रो कहिल्यै।

वारेन बफेटलाई उद्धृत गर्दै: 

"विविधता भनेको अज्ञानता विरुद्धको रक्षा हो, जो के गर्दैछ भनेर थाहा नभएको व्यक्तिको लागि, यो [विविधता] ले धेरै कम अर्थ राख्छ।"

मेसिन लर्निङमा, EL ले तपाइँको मोडेलको भिन्नता कम गर्न मद्दत गर्दछ, तर यसले उत्कृष्ट प्रारम्भिक मोडेल भन्दा राम्रो समग्र प्रदर्शन भएको मोडेलमा परिणाम ल्याउन सक्छ।

नतिजाको परिणाम दिनुहोस्

बहुविध मोडेलहरू एकमा मिलाउनु एक अपेक्षाकृत सरल प्रविधि हो जसले भिन्नता पूर्वाग्रह समस्याको समाधान र सुधारिएको प्रदर्शनको नेतृत्व गर्न सक्छ।

यदि तपाइँसँग राम्रोसँग काम गर्ने दुई वा बढी मोडेलहरू छन् भने, तिनीहरू बीच छनौट नगर्नुहोस्: ती सबै प्रयोग गर्नुहोस् (तर सावधानीका साथ)!

के तपाई यस दिशामा विकास गर्न इच्छुक हुनुहुन्छ? नि: शुल्क डेमो पाठको लागि साइन अप गर्नुहोस् "अनलाइन सिफारिसहरूको उदाहरण प्रयोग गरेर औद्योगिक वातावरणमा एमएल मोडेलहरूको परिचय" र सहभागी Andrey Kuznetsov संग अनलाइन बैठक — Mail.ru समूहमा मेसिन लर्निङ इन्जिनियर।

स्रोत: www.habr.com