मशीन लर्निंग में फीचर चयन

हे हबर!

हमने रेक्सॉफ्ट में लेख का रूसी में अनुवाद किया मशीन लर्निंग में फ़ीचर चयन. हमें उम्मीद है कि यह इस विषय में रुचि रखने वाले सभी लोगों के लिए उपयोगी होगा।

वास्तविक दुनिया में, डेटा हमेशा उतना साफ़ नहीं होता जितना व्यावसायिक ग्राहक कभी-कभी सोचते हैं। यही कारण है कि डेटा माइनिंग और डेटा रैंगलिंग की मांग है। यह क्वेरी-संरचित डेटा में गुम मूल्यों और पैटर्न की पहचान करने में मदद करता है जिन्हें मनुष्य पहचान नहीं सकते हैं। डेटा में खोजे गए संबंधों का उपयोग करके परिणामों की भविष्यवाणी करने के लिए इन पैटर्न को खोजने और उनका उपयोग करने के लिए, मशीन लर्निंग काम आती है।

किसी भी एल्गोरिदम को समझने के लिए, आपको डेटा में सभी वेरिएबल्स को देखना होगा और यह पता लगाना होगा कि वे वेरिएबल्स क्या दर्शाते हैं। यह महत्वपूर्ण है क्योंकि परिणामों के पीछे का तर्क डेटा को समझने पर आधारित है। यदि डेटा में 5 या 50 चर भी हैं, तो आप उन सभी की जांच कर सकते हैं। यदि उनमें से 200 हों तो क्या होगा? तब हर एक चर का अध्ययन करने के लिए पर्याप्त समय नहीं होगा। इसके अलावा, कुछ एल्गोरिदम श्रेणीबद्ध डेटा के लिए काम नहीं करते हैं, और फिर आपको उन्हें मॉडल में जोड़ने के लिए सभी श्रेणीगत कॉलमों को मात्रात्मक चर में परिवर्तित करना होगा (वे मात्रात्मक दिख सकते हैं, लेकिन मीट्रिक दिखाएंगे कि वे श्रेणीबद्ध हैं)। इस प्रकार, चरों की संख्या बढ़ जाती है और उनकी संख्या लगभग 500 हो जाती है। अब क्या करें? कोई सोच सकता है कि इसका उत्तर आयामीता को कम करना होगा। आयामी कमी एल्गोरिदम मापदंडों की संख्या को कम करते हैं लेकिन व्याख्या पर नकारात्मक प्रभाव डालते हैं। क्या होगा यदि ऐसी अन्य तकनीकें हैं जो सुविधाओं को खत्म कर देती हैं और शेष को समझने और व्याख्या करने में आसान बनाती हैं?

इस पर निर्भर करते हुए कि विश्लेषण प्रतिगमन या वर्गीकरण पर आधारित है, सुविधा चयन एल्गोरिदम भिन्न हो सकते हैं, लेकिन उनके कार्यान्वयन का मुख्य विचार वही रहता है।

अत्यधिक सहसंबद्ध चर

वेरिएबल जो एक-दूसरे के साथ अत्यधिक सहसंबद्ध होते हैं, मॉडल को समान जानकारी प्रदान करते हैं, इसलिए विश्लेषण के लिए उन सभी का उपयोग करने की कोई आवश्यकता नहीं है। उदाहरण के लिए, यदि किसी डेटासेट में "ऑनलाइन समय" और "ट्रैफ़िक प्रयुक्त" सुविधाएं शामिल हैं, तो हम मान सकते हैं कि वे कुछ हद तक सहसंबद्ध होंगे, और अगर हम एक निष्पक्ष डेटा नमूना चुनते हैं तो भी हम एक मजबूत सहसंबंध देखेंगे। इस मामले में, मॉडल में इनमें से केवल एक चर की आवश्यकता है। यदि आप दोनों का उपयोग करते हैं, तो मॉडल ओवरफिट हो जाएगा और एक विशेष सुविधा के प्रति पक्षपाती हो जाएगा।

पी-मूल्यों

रैखिक प्रतिगमन जैसे एल्गोरिदम में, एक प्रारंभिक सांख्यिकीय मॉडल हमेशा एक अच्छा विचार होता है। यह सुविधाओं के महत्व को उनके पी-वैल्यू के माध्यम से दिखाने में मदद करता है जो इस मॉडल द्वारा प्राप्त किए गए थे। महत्व स्तर निर्धारित करने के बाद, हम परिणामी पी-मानों की जांच करते हैं, और यदि कोई मान निर्दिष्ट महत्व स्तर से नीचे है, तो इस सुविधा को महत्वपूर्ण घोषित किया जाता है, यानी, इसके मूल्य में बदलाव से इसके मूल्य में बदलाव की संभावना होगी लक्ष्य।

सीधा चयन

फॉरवर्ड चयन एक ऐसी तकनीक है जिसमें चरणबद्ध प्रतिगमन लागू करना शामिल है। मॉडल का निर्माण पूर्ण शून्य से शुरू होता है, यानी एक खाली मॉडल, और फिर प्रत्येक पुनरावृत्ति एक चर जोड़ता है जो बनाए जा रहे मॉडल में सुधार करता है। मॉडल में कौन सा वेरिएबल जोड़ा गया है यह उसके महत्व से निर्धारित होता है। इसकी गणना विभिन्न मैट्रिक्स का उपयोग करके की जा सकती है। सबसे आम तरीका सभी चर का उपयोग करके मूल सांख्यिकीय मॉडल में प्राप्त पी-मानों का उपयोग करना है। कभी-कभी आगे के चयन से मॉडल की ओवरफिटिंग हो सकती है क्योंकि मॉडल में अत्यधिक सहसंबद्ध चर हो सकते हैं, भले ही वे मॉडल को समान जानकारी प्रदान करते हों (लेकिन मॉडल अभी भी सुधार दिखाता है)।

उलटा चयन

रिवर्स चयन में लक्षणों का चरण-दर-चरण उन्मूलन भी शामिल है, लेकिन आगे के चयन की तुलना में विपरीत दिशा में। इस मामले में, प्रारंभिक मॉडल में सभी स्वतंत्र चर शामिल हैं। यदि वे प्रत्येक पुनरावृत्ति में नए प्रतिगमन मॉडल में मूल्य का योगदान नहीं करते हैं तो चर को हटा दिया जाता है (प्रति पुनरावृत्ति एक)। फ़ीचर बहिष्करण प्रारंभिक मॉडल के पी-मानों पर आधारित है। अत्यधिक सहसंबद्ध चर को हटाते समय इस विधि में अनिश्चितता भी होती है।

पुनरावर्ती सुविधा उन्मूलन

महत्वपूर्ण विशेषताओं की सटीक संख्या का चयन करने के लिए आरएफई एक व्यापक रूप से उपयोग की जाने वाली तकनीक/एल्गोरिदम है। कभी-कभी इस पद्धति का उपयोग परिणामों को प्रभावित करने वाली कई "सबसे महत्वपूर्ण" विशेषताओं को समझाने के लिए किया जाता है; और कभी-कभी बहुत बड़ी संख्या में चर (लगभग 200-400) को कम करने के लिए, और केवल वे जो मॉडल में कम से कम कुछ योगदान देते हैं, उन्हें बरकरार रखा जाता है, और अन्य सभी को बाहर रखा जाता है। RFE एक रैंकिंग प्रणाली का उपयोग करता है। डेटा सेट में सुविधाओं को रैंक दी गई है। फिर इन रैंकों का उपयोग उनके बीच समानता और मॉडल में उन सुविधाओं के महत्व के आधार पर सुविधाओं को पुनरावर्ती रूप से खत्म करने के लिए किया जाता है। रैंकिंग सुविधाओं के अलावा, आरएफई यह दिखा सकता है कि ये सुविधाएं दी गई सुविधाओं की संख्या के लिए भी महत्वपूर्ण हैं या नहीं (क्योंकि यह बहुत संभावना है कि सुविधाओं की चयनित संख्या इष्टतम नहीं हो सकती है, और सुविधाओं की इष्टतम संख्या या तो अधिक हो सकती है) या चयनित संख्या से कम)।

फ़ीचर महत्व आरेख

मशीन लर्निंग एल्गोरिदम की व्याख्या के बारे में बात करते समय, हम आम तौर पर रैखिक प्रतिगमन (जो आपको पी-वैल्यू का उपयोग करके सुविधाओं के महत्व का विश्लेषण करने की अनुमति देते हैं) और निर्णय पेड़ों (शाब्दिक रूप से एक पेड़ के रूप में सुविधाओं के महत्व को दर्शाते हैं) पर चर्चा करते हैं। उसी समय उनका पदानुक्रम)। दूसरी ओर, रैंडम फ़ॉरेस्ट, लाइटजीबीएम और एक्सजी बूस्ट जैसे एल्गोरिदम अक्सर एक फीचर महत्व आरेख का उपयोग करते हैं, अर्थात, चर का एक आरेख और "उनकी महत्व संख्याएं" प्लॉट की जाती हैं। यह विशेष रूप से तब उपयोगी होता है जब आपको व्यवसाय पर उनके प्रभाव के संदर्भ में विशेषताओं के महत्व के लिए एक संरचित तर्क प्रदान करने की आवश्यकता होती है।

नियमितीकरण

पूर्वाग्रह और भिन्नता के बीच संतुलन को नियंत्रित करने के लिए नियमितीकरण किया जाता है। बायस दिखाता है कि मॉडल ने प्रशिक्षण डेटा सेट पर कितना ओवरफिट किया है। विचलन से पता चलता है कि प्रशिक्षण और परीक्षण डेटासेट के बीच भविष्यवाणियाँ कितनी भिन्न थीं। आदर्श रूप से, पूर्वाग्रह और भिन्नता दोनों छोटे होने चाहिए। यहीं पर नियमितीकरण बचाव में आता है! दो मुख्य तकनीकें हैं:

L1 नियमितीकरण - लासो: लासो मॉडल के महत्व को बदलने के लिए मॉडल भार को दंडित करता है और उन्हें शून्य भी कर सकता है (यानी उन चर को अंतिम मॉडल से हटा सकता है)। आमतौर पर, लासो का उपयोग तब किया जाता है जब किसी डेटासेट में बड़ी संख्या में वेरिएबल होते हैं और आप उनमें से कुछ को बेहतर ढंग से समझने के लिए बाहर करना चाहते हैं कि महत्वपूर्ण विशेषताएं मॉडल को कैसे प्रभावित करती हैं (अर्थात, वे विशेषताएं जिन्हें लासो द्वारा चुना गया है और महत्व दिया गया है)।

L2 नियमितीकरण - रिज विधि: रिज का काम सभी वेरिएबल्स को संग्रहीत करना है और साथ ही मॉडल के प्रदर्शन में उनके योगदान के आधार पर उन्हें महत्व देना है। यदि डेटासेट में कम संख्या में वेरिएबल हैं और प्राप्त निष्कर्षों और परिणामों की व्याख्या करने के लिए वे सभी आवश्यक हैं तो रिज एक अच्छा विकल्प होगा।

चूंकि रिज सभी चर रखता है और लैस्सो उनके महत्व को स्थापित करने का बेहतर काम करता है, एक एल्गोरिदम विकसित किया गया था जो दोनों नियमितीकरण की सर्वोत्तम विशेषताओं को जोड़ता है, जिसे इलास्टिक-नेट के रूप में जाना जाता है।

मशीन लर्निंग के लिए सुविधाओं का चयन करने के कई और तरीके हैं, लेकिन मुख्य विचार हमेशा एक ही होता है: चर के महत्व को प्रदर्शित करना और फिर परिणामी महत्व के आधार पर उनमें से कुछ को खत्म करना। महत्व एक बहुत ही व्यक्तिपरक शब्द है, क्योंकि यह सिर्फ एक नहीं है, बल्कि मैट्रिक्स और चार्ट का एक पूरा सेट है जिसका उपयोग प्रमुख विशेषताओं को खोजने के लिए किया जा सकता है।

पढ़ने के लिए आपका शुक्रिया! सीखने का आनंद!

स्रोत: www.habr.com