जादुई पहनावा सीखना

हे हबर! हम डेटा इंजीनियरों और मशीन लर्निंग विशेषज्ञों को निःशुल्क डेमो-पाठ के लिए आमंत्रित करते हैं "ऑनलाइन अनुशंसाओं के उदाहरण का उपयोग करके औद्योगिक वातावरण में एमएल मॉडल का परिचय". हम सीडीपी एसपीए में वित्तीय विश्लेषण के प्रमुख लुका मोन्नो का एक लेख भी प्रकाशित करते हैं।

सबसे उपयोगी और सरल मशीन लर्निंग विधियों में से एक एन्सेम्बल लर्निंग है। एन्सेम्बल लर्निंग XGBoost, बैगिंग, रैंडम फ़ॉरेस्ट और कई अन्य एल्गोरिदम के लिए अंतर्निहित तकनीक है।

डेटा साइंस की ओर कई बेहतरीन लेख हैं, लेकिन मैंने दो कहानियाँ चुनीं (पहले и दूसरा) जो मुझे सबसे ज्यादा पसंद आया. तो ईएल के बारे में एक और लेख क्यों लिखें? क्योंकि मैं तुम्हें दिखाना चाहता हूँ यह एक साधारण उदाहरण पर कैसे काम करता है, जिससे मुझे समझ आ गया कि यहाँ कोई जादू नहीं है।

जब मैंने पहली बार ईएल को क्रियान्वित होते देखा (कुछ बहुत ही सरल प्रतिगमन मॉडल के साथ काम करते हुए) तो मुझे अपनी आँखों पर विश्वास नहीं हुआ, और मुझे अभी भी वह प्रोफेसर याद हैं जिन्होंने मुझे यह विधि सिखाई थी।

मेरे पास घातांक के साथ दो अलग-अलग मॉडल (दो कमजोर शिक्षण एल्गोरिदम) थे आउट-ऑफ-सैंपल R² क्रमशः 0,90 और 0,93 के बराबर है। परिणाम देखने से पहले, मैंने सोचा था कि मुझे दो प्रारंभिक मूल्यों के बीच कहीं R² मिलेगा। दूसरे शब्दों में, मैंने सोचा कि ईएल का उपयोग मॉडल को सबसे खराब मॉडल जितना खराब प्रदर्शन नहीं करने के लिए किया जा सकता है, लेकिन उतना अच्छा प्रदर्शन नहीं कर सकता जितना सबसे अच्छा मॉडल कर सकता है।

मुझे बहुत आश्चर्य हुआ, भविष्यवाणियों के एक साधारण औसत के परिणामों ने 0,95 का आर² दिया। 

पहले तो मैंने कोई त्रुटि ढूँढ़नी शुरू की, लेकिन फिर मुझे लगा कि शायद यहाँ कोई जादू छिपा है!

एन्सेम्बल लर्निंग क्या है

ईएल के साथ, आप अधिक विश्वसनीय और प्रदर्शन करने वाला मॉडल प्राप्त करने के लिए दो या दो से अधिक मॉडलों की भविष्यवाणियों को जोड़ सकते हैं। मॉडलों के समूह के साथ काम करने की कई पद्धतियाँ हैं। यहां मैं आपको एक विचार देने के लिए दो सबसे उपयोगी पर बात करूंगा।

साथ प्रतिगमन आप उपलब्ध मॉडलों के प्रदर्शन का औसत निकाल सकते हैं।

साथ वर्गीकरण आप मॉडलों को लेबल चुनने दे सकते हैं। जो लेबल सबसे अधिक बार चुना गया वह वही है जिसे नए मॉडल द्वारा चुना जाएगा।

ईएल बेहतर क्यों काम करता है

ईएल के बेहतर काम करने का मुख्य कारण यह है कि प्रत्येक भविष्यवाणी में एक त्रुटि होती है (हम इसे संभाव्यता सिद्धांत से जानते हैं), दो भविष्यवाणियों के संयोजन से त्रुटि को कम करने में मदद मिल सकती है, और इस प्रकार प्रदर्शन संकेतक (आरएमएसई, आर², आदि) में सुधार हो सकता है। डी।)।

निम्नलिखित चित्र दिखाता है कि दो कमजोर एल्गोरिदम एक डेटासेट पर कैसे काम करते हैं। पहले एल्गोरिदम में आवश्यकता से अधिक ढलान है, जबकि दूसरे में लगभग शून्य है (संभवतः अत्यधिक नियमितीकरण के कारण)। लेकिन एक साथ बेहतर परिणाम दिखाता है. 

यदि आप R² को देखें, तो पहले और दूसरे प्रशिक्षण एल्गोरिदम में यह क्रमशः -0.01¹, 0.22 के बराबर होगा, जबकि संयोजन के लिए यह 0.73 के बराबर होगा।

इस तरह के बुनियादी उदाहरण के लिए भी एक एल्गोरिदम खराब मॉडल क्यों हो सकता है, इसके कई कारण हैं: हो सकता है कि आपने ओवरफिटिंग से बचने के लिए नियमितीकरण का उपयोग करने का निर्णय लिया हो, या कुछ विसंगतियों को खत्म न करने का निर्णय लिया हो, या हो सकता है कि आपने बहुपद प्रतिगमन का उपयोग किया हो और गलत डिग्री चुनी हो (उदाहरण के लिए, दूसरी डिग्री के बहुपद का उपयोग किया गया है, और परीक्षण डेटा एक स्पष्ट विषमता दिखाता है, जिसके लिए तीसरी डिग्री बेहतर उपयुक्त होगी)।

जब ईएल सबसे अच्छा काम करता है

आइए दो शिक्षण एल्गोरिदम देखें जो एक ही डेटा पर काम करते हैं।

यहां आप देख सकते हैं कि दोनों मॉडलों को मिलाने से प्रदर्शन में ज्यादा सुधार नहीं हुआ। प्रारंभ में, दो प्रशिक्षण एल्गोरिदम के लिए, R² मान क्रमशः -0,37 और 0,22 थे, और संयोजन के लिए यह -0,04 निकला। अर्थात्, ईएल मॉडल को संकेतकों का औसत मूल्य प्राप्त हुआ।

हालाँकि, इन दो उदाहरणों के बीच एक बड़ा अंतर है: पहले उदाहरण में, मॉडलों की त्रुटियाँ नकारात्मक रूप से सहसंबद्ध थीं, और दूसरे में - सकारात्मक रूप से (तीन मॉडलों के गुणांकों का अनुमान नहीं लगाया गया था, लेकिन केवल लेखक द्वारा चुना गया था) उदहारण के लिए।)

इसलिए, एन्सेम्बल लर्निंग का उपयोग सभी मामलों में पूर्वाग्रह/फैलाव संतुलन को बेहतर बनाने के लिए किया जा सकता है, लेकिन कब मॉडल त्रुटियां सकारात्मक रूप से सहसंबद्ध नहीं हैं, ईएल का उपयोग करने से बेहतर प्रदर्शन हो सकता है.

सजातीय और विषमांगी मॉडल

बहुत बार ईएल का उपयोग सजातीय मॉडल पर किया जाता है (जैसा कि इस उदाहरण या यादृच्छिक वन में), लेकिन वास्तव में आप विभिन्न मॉडलों (रैखिक प्रतिगमन + तंत्रिका नेटवर्क + XGBoost) को व्याख्यात्मक चर के विभिन्न सेटों के साथ जोड़ सकते हैं। इससे असंबद्ध त्रुटियाँ होने और प्रदर्शन में सुधार होने की संभावना है।

पोर्टफोलियो विविधीकरण के साथ तुलना

ईएल पोर्टफोलियो सिद्धांत में विविधीकरण के समान काम करता है, लेकिन हमारे लिए उतना ही बेहतर है। 

जब आप विविधता लाते हैं, तो आप असंबद्ध शेयरों में निवेश करके अपने प्रदर्शन में भिन्नता को कम करने का प्रयास करते हैं। शेयरों का एक अच्छी तरह से विविध पोर्टफोलियो सबसे खराब एकल स्टॉक से बेहतर प्रदर्शन करेगा, लेकिन कभी भी सर्वश्रेष्ठ से बेहतर प्रदर्शन नहीं करेगा।

वॉरेन बफेट का उद्धरण: 

"विविधीकरण अज्ञानता के विरुद्ध एक बचाव है, किसी ऐसे व्यक्ति के लिए जो नहीं जानता कि वह क्या कर रहा है, यह [विविधीकरण] बहुत कम अर्थ रखता है।"

मशीन लर्निंग में, ईएल आपके मॉडल के विचरण को कम करने में मदद करता है, लेकिन इसके परिणामस्वरूप सर्वोत्तम प्रारंभिक मॉडल की तुलना में बेहतर समग्र प्रदर्शन वाला मॉडल बन सकता है।

संक्षेप करने के लिए

कई मॉडलों को एक में जोड़ना एक अपेक्षाकृत सरल तकनीक है जिससे विचरण पूर्वाग्रह समस्या का समाधान हो सकता है और प्रदर्शन में सुधार हो सकता है।

यदि आपके पास दो या अधिक मॉडल हैं जो अच्छी तरह से काम करते हैं, तो उनके बीच चयन न करें: उन सभी का उपयोग करें (लेकिन सावधानी के साथ)!

क्या आप इस दिशा में विकास करने में रुचि रखते हैं? निःशुल्क डेमो पाठ के लिए साइन अप करें "ऑनलाइन अनुशंसाओं के उदाहरण का उपयोग करके औद्योगिक वातावरण में एमएल मॉडल का परिचय" और भाग लें एंड्री कुज़नेत्सोव के साथ ऑनलाइन बैठक — Mail.ru ग्रुप में मशीन लर्निंग इंजीनियर।

स्रोत: www.habr.com