मशीन लर्निंगमधील वैशिष्ट्यांची निवड

अहो हाब्र!

आम्ही Reksoft येथे लेखाचे रशियनमध्ये भाषांतर केले मशीन लर्निंगमधील वैशिष्ट्यांची निवड. आम्हाला आशा आहे की या विषयामध्ये स्वारस्य असलेल्या प्रत्येकासाठी ते उपयुक्त ठरेल.

वास्तविक जगात, डेटा नेहमी तितका स्वच्छ नसतो जितका व्यवसाय ग्राहक कधीकधी विचार करतात. म्हणूनच डेटा मायनिंग आणि डेटा रॅंगलिंगला मागणी आहे. हे क्वेरी-संरचित डेटामधील गहाळ मूल्ये आणि नमुने ओळखण्यात मदत करते जे मानव ओळखू शकत नाहीत. डेटामधील शोधलेल्या संबंधांचा वापर करून परिणामांचा अंदाज लावण्यासाठी हे नमुने शोधण्यासाठी आणि वापरण्यासाठी, मशीन लर्निंग उपयोगी पडते.

कोणतेही अल्गोरिदम समजून घेण्यासाठी, तुम्हाला डेटामधील सर्व व्हेरिएबल्स पाहण्याची आणि ते व्हेरिएबल्स कशाचे प्रतिनिधित्व करतात ते शोधणे आवश्यक आहे. हे गंभीर आहे कारण निकालांमागील तर्क डेटा समजून घेण्यावर आधारित आहे. डेटामध्ये 5 किंवा 50 व्हेरिएबल्स असल्यास, तुम्ही त्या सर्वांचे परीक्षण करू शकता. त्यापैकी 200 असतील तर? मग प्रत्येक व्हेरिएबलचा अभ्यास करण्यासाठी पुरेसा वेळ मिळणार नाही. शिवाय, काही अल्गोरिदम श्रेणीबद्ध डेटासाठी कार्य करत नाहीत, आणि नंतर तुम्हाला मॉडेलमध्ये जोडण्यासाठी सर्व वर्गीय स्तंभ परिमाणवाचक व्हेरिएबल्समध्ये रूपांतरित करावे लागतील (ते परिमाणवाचक वाटू शकतात, परंतु मेट्रिक्स दर्शवतील की ते श्रेणीबद्ध आहेत). अशा प्रकारे, व्हेरिएबल्सची संख्या वाढते, आणि त्यापैकी सुमारे 500 आहेत. आता काय करावे? एखाद्याला असे वाटेल की त्याचे उत्तर आयामीपणा कमी करणे असेल. डायमेंशनॅलिटी रिडक्शन अल्गोरिदम पॅरामीटर्सची संख्या कमी करतात परंतु व्याख्यातेवर नकारात्मक परिणाम करतात. उरलेल्यांना समजण्यास आणि अर्थ लावणे सोपे बनवताना वैशिष्ट्ये काढून टाकणारी इतर तंत्रे असतील तर?

विश्लेषण प्रतिगमन किंवा वर्गीकरणावर आधारित आहे की नाही यावर अवलंबून, वैशिष्ट्य निवड अल्गोरिदम भिन्न असू शकतात, परंतु त्यांच्या अंमलबजावणीची मुख्य कल्पना समान राहते.

उच्च सहसंबंधित चल

एकमेकांशी अत्यंत सहसंबंधित व्हेरिएबल्स मॉडेलला समान माहिती देतात, त्यामुळे विश्लेषणासाठी त्या सर्वांचा वापर करण्याची आवश्यकता नाही. उदाहरणार्थ, डेटासेटमध्ये "ऑनलाइन वेळ" आणि "वापरलेली वाहतूक" ही वैशिष्ट्ये असल्यास, आम्ही असे गृहीत धरू शकतो की ते काही प्रमाणात परस्परसंबंधित असतील आणि आम्ही निष्पक्ष डेटा नमुना निवडला तरीही आम्हाला मजबूत सहसंबंध दिसेल. या प्रकरणात, मॉडेलमध्ये यापैकी फक्त एक चल आवश्यक आहे. तुम्ही दोन्ही वापरल्यास, मॉडेल ओव्हरफिट केले जाईल आणि एका विशिष्ट वैशिष्ट्याकडे पक्षपाती असेल.

P-मूल्ये

रेखीय प्रतिगमन सारख्या अल्गोरिदममध्ये, प्रारंभिक सांख्यिकीय मॉडेल नेहमीच चांगली कल्पना असते. हे या मॉडेलद्वारे प्राप्त केलेल्या त्यांच्या p-मूल्यांद्वारे वैशिष्ट्यांचे महत्त्व दर्शविण्यास मदत करते. महत्त्व पातळी सेट केल्यावर, आम्ही परिणामी p-मूल्ये तपासतो आणि कोणतेही मूल्य निर्दिष्ट महत्त्व पातळीपेक्षा कमी असल्यास, हे वैशिष्ट्य महत्त्वपूर्ण घोषित केले जाते, म्हणजेच, त्याच्या मूल्यातील बदलामुळे मूल्य बदलण्याची शक्यता असते. लक्ष्य

थेट निवड

फॉरवर्ड सिलेक्शन हे एक तंत्र आहे ज्यामध्ये स्टेपवाइज रिग्रेशन लागू करणे समाविष्ट आहे. मॉडेल बिल्डिंग पूर्ण शून्याने सुरू होते, म्हणजे रिकामे मॉडेल, आणि नंतर प्रत्येक पुनरावृत्ती एक व्हेरिएबल जोडते ज्यामुळे तयार केलेल्या मॉडेलमध्ये सुधारणा होते. मॉडेलमध्ये कोणते व्हेरिएबल जोडले जाते ते त्याच्या महत्त्वानुसार निर्धारित केले जाते. हे विविध मेट्रिक्स वापरून मोजले जाऊ शकते. सर्व व्हेरिएबल्स वापरून मूळ सांख्यिकीय मॉडेलमध्ये प्राप्त केलेली p-मूल्ये वापरणे हा सर्वात सामान्य मार्ग आहे. काहीवेळा फॉरवर्ड सिलेक्शनमुळे मॉडेल ओव्हरफिटिंग होऊ शकते कारण मॉडेलमध्ये उच्च परस्परसंबंधित व्हेरिएबल्स असू शकतात, जरी ते मॉडेलला समान माहिती देत ​​असले तरीही (परंतु मॉडेल अद्याप सुधारणा दर्शवते).

उलट निवड

रिव्हर्स सिलेक्शनमध्ये चरण-दर-चरण गुणधर्म काढून टाकणे देखील समाविष्ट आहे, परंतु फॉरवर्ड सिलेक्शनच्या तुलनेत उलट दिशेने. या प्रकरणात, प्रारंभिक मॉडेलमध्ये सर्व स्वतंत्र व्हेरिएबल्स समाविष्ट आहेत. व्हेरिएबल्स नंतर काढून टाकले जातात (एक प्रति पुनरावृत्ती) जर ते प्रत्येक पुनरावृत्तीमध्ये नवीन प्रतिगमन मॉडेलमध्ये मूल्य योगदान देत नाहीत. वैशिष्ट्य अपवर्जन प्रारंभिक मॉडेलच्या p-मूल्यांवर आधारित आहे. अत्यंत सहसंबंधित चल काढून टाकताना या पद्धतीमध्ये अनिश्चितता देखील असते.

आवर्ती वैशिष्ट्य निर्मूलन

लक्षणीय वैशिष्ट्यांची अचूक संख्या निवडण्यासाठी RFE हे मोठ्या प्रमाणावर वापरले जाणारे तंत्र/अल्गोरिदम आहे. काहीवेळा ही पद्धत परिणामांवर परिणाम करणाऱ्या अनेक “सर्वात महत्त्वाच्या” वैशिष्ट्यांचे स्पष्टीकरण देण्यासाठी वापरली जाते; आणि काहीवेळा व्हेरिएबल्सची खूप मोठी संख्या (सुमारे 200-400) कमी करण्यासाठी आणि मॉडेलमध्ये कमीतकमी काही योगदान देणारेच कायम ठेवले जातात आणि इतर सर्व वगळले जातात. RFE रँकिंग सिस्टम वापरते. डेटा सेटमधील वैशिष्ट्ये रँक नियुक्त केल्या आहेत. या रँकचा वापर नंतर त्यांच्यामधील समरेखता आणि मॉडेलमधील त्या वैशिष्ट्यांचे महत्त्व यावर आधारित वैशिष्ट्ये काढून टाकण्यासाठी केला जातो. रँकिंग वैशिष्ट्यांव्यतिरिक्त, RFE दर्शवू शकते की ही वैशिष्ट्ये महत्त्वाची आहेत की नाही दिलेल्या वैशिष्ट्यांसाठी देखील (कारण निवडलेल्या वैशिष्ट्यांची संख्या इष्टतम नसण्याची शक्यता आहे आणि वैशिष्ट्यांची इष्टतम संख्या एकतर जास्त असू शकते. किंवा निवडलेल्या संख्येपेक्षा कमी).

वैशिष्ट्य महत्त्व आकृती

मशीन लर्निंग अल्गोरिदमच्या व्याख्याक्षमतेबद्दल बोलत असताना, आम्ही सामान्यतः रेखीय प्रतिगमन (जे तुम्हाला p-मूल्यांचा वापर करून वैशिष्ट्यांचे महत्त्व विश्लेषित करण्यास अनुमती देतात) आणि निर्णय वृक्ष (शब्दशः झाडाच्या स्वरूपात वैशिष्ट्यांचे महत्त्व दर्शवितात) यावर चर्चा करतो. त्याच वेळी त्यांचे पदानुक्रम). दुसरीकडे, रँडम फॉरेस्ट, लाइटजीबीएम आणि एक्सजी बूस्ट यांसारखे अल्गोरिदम सहसा वैशिष्ट्य महत्त्व आकृती वापरतात, म्हणजेच व्हेरिएबल्सचे आकृती आणि "त्यांचे महत्त्व क्रमांक" प्लॉट केलेले असतात. हे विशेषतः उपयोगी ठरते जेव्हा तुम्हाला व्यवसायावरील त्यांच्या प्रभावाच्या दृष्टीने गुणधर्मांच्या महत्त्वासाठी एक संरचित तर्क प्रदान करणे आवश्यक असते.

नियमितीकरण

पूर्वाग्रह आणि भिन्नता यांच्यातील समतोल नियंत्रित करण्यासाठी नियमितीकरण केले जाते. प्रशिक्षण डेटा सेटवर मॉडेलने किती ओव्हरफिट केले आहे हे बायस दाखवते. प्रशिक्षण आणि चाचणी डेटासेटमधील अंदाज किती भिन्न होते हे विचलन दर्शवते. तद्वतच, पूर्वाग्रह आणि भिन्नता दोन्ही लहान असावेत. येथेच नियमितीकरण बचावासाठी येते! दोन मुख्य तंत्रे आहेत:

L1 रेग्युलरायझेशन - लॅसो: लॅसो मॉडेलचे महत्त्व बदलण्यासाठी मॉडेलच्या वजनांना दंड करते आणि ते रद्द देखील करू शकते (म्हणजे अंतिम मॉडेलमधून ते व्हेरिएबल्स काढून टाकू शकतात). सामान्यतः, जेव्हा डेटासेटमध्ये मोठ्या संख्येने व्हेरिएबल्स असतात तेव्हा Lasso वापरला जातो आणि महत्त्वाच्या वैशिष्ट्यांचा मॉडेलवर कसा प्रभाव पडतो हे समजून घेण्यासाठी तुम्हाला त्यापैकी काही वगळायचे आहेत (म्हणजेच Lasso द्वारे निवडलेली आणि महत्त्व दिलेली वैशिष्ट्ये).

L2 रेग्युलरायझेशन - रिज पद्धत: रिजचे कार्य सर्व व्हेरिएबल्स संग्रहित करणे आणि त्याच वेळी मॉडेलच्या कार्यक्षमतेमध्ये त्यांच्या योगदानाच्या आधारे त्यांना महत्त्व देणे हे आहे. जर डेटासेटमध्ये थोड्या प्रमाणात व्हेरिएबल्स असतील आणि ते सर्व निष्कर्ष आणि प्राप्त परिणामांचा अर्थ लावण्यासाठी आवश्यक असतील तर रिज हा एक चांगला पर्याय असेल.

रिज सर्व व्हेरिएबल्स ठेवत असल्याने आणि लॅसो त्यांचे महत्त्व प्रस्थापित करण्यासाठी अधिक चांगले काम करत असल्याने, एक अल्गोरिदम विकसित केला गेला आहे जो दोन्ही नियमितीकरणांच्या सर्वोत्कृष्ट वैशिष्ट्यांना एकत्र करतो, ज्याला इलास्टिक-नेट म्हणून ओळखले जाते.

मशीन लर्निंगसाठी वैशिष्ट्ये निवडण्याचे आणखी बरेच मार्ग आहेत, परंतु मुख्य कल्पना नेहमीच सारखीच असते: व्हेरिएबल्सचे महत्त्व प्रदर्शित करा आणि नंतर परिणामी महत्त्वाच्या आधारावर त्यातील काही काढून टाका. महत्त्व ही एक अतिशय व्यक्तिनिष्ठ संज्ञा आहे, कारण ती केवळ एकच नाही, तर मेट्रिक्स आणि चार्ट्सचा संपूर्ण संच आहे ज्याचा वापर मुख्य गुणधर्म शोधण्यासाठी केला जाऊ शकतो.

वाचल्याबद्दल धन्यवाद! आनंदी शिक्षण!

स्त्रोत: www.habr.com