मेसिन लर्निङमा सुविधा चयन

हे हाबर!

हामीले Reksoft मा लेख रूसीमा अनुवाद गर्यौं मेसिन लर्निङमा सुविधा चयन। हामी आशा गर्दछौं कि यो विषयमा रुचि राख्ने सबैलाई उपयोगी हुनेछ।

वास्तविक संसारमा, डाटा सधैं व्यापार ग्राहकहरूले कहिलेकाहीं सोच्ने रूपमा सफा हुँदैन। यही कारणले डाटा माइनिङ र डाटा र्‍याङ्लिंगको माग छ। यसले क्वेरी-संरचित डेटामा छुटेका मानहरू र ढाँचाहरू पहिचान गर्न मद्दत गर्दछ जुन मानिसहरूले पहिचान गर्न सक्दैनन्। यी ढाँचाहरू पत्ता लगाउन र डेटामा खोजिएका सम्बन्धहरू प्रयोग गरेर परिणामहरू भविष्यवाणी गर्न प्रयोग गर्न, मेसिन लर्निङ काममा आउँछ।

कुनै पनि एल्गोरिथ्म बुझ्नको लागि, तपाईंले डाटामा सबै चरहरू हेर्नु पर्छ र ती चरहरूले के प्रतिनिधित्व गर्दछ भनेर पत्ता लगाउन आवश्यक छ। यो महत्त्वपूर्ण छ किनभने परिणामहरूको पछाडि तर्क तथ्याङ्क बुझ्नमा आधारित छ। यदि डेटामा 5 वा 50 चरहरू छन् भने, तपाइँ ती सबै जाँच गर्न सक्नुहुन्छ। यदि तिनीहरू मध्ये 200 छन् भने के हुन्छ? त्यसपछि त्यहाँ प्रत्येक एकल चर अध्ययन गर्न पर्याप्त समय हुनेछैन। यसबाहेक, केही एल्गोरिदमहरू वर्गीकृत डेटाको लागि काम गर्दैनन्, र त्यसपछि तपाईंले मोडेलमा थप्नको लागि सबै वर्गीकृत स्तम्भहरूलाई मात्रात्मक चरहरूमा रूपान्तरण गर्नुपर्नेछ (तिनीहरू मात्रात्मक देखिन सक्छन्, तर मेट्रिक्सले देखाउनेछ कि तिनीहरू वर्गीकृत छन्)। यसरी, चरहरूको संख्या बढ्छ, र त्यहाँ लगभग 500 छन्। अब के गर्ने? कसैले सोच्न सक्छ कि जवाफ dimensionality कम हुनेछ। आयाम घटाउने एल्गोरिदमले प्यारामिटरहरूको संख्या घटाउँछ तर व्याख्यातामा नकारात्मक प्रभाव पार्छ। के हुन्छ यदि त्यहाँ अन्य प्रविधिहरू छन् जसले सुविधाहरू हटाउने क्रममा बाँकीहरूलाई बुझ्न र व्याख्या गर्न सजिलो बनाउँछ?

विश्लेषण प्रतिगमन वा वर्गीकरणमा आधारित छ कि छैन भन्ने आधारमा, सुविधा चयन एल्गोरिदम फरक हुन सक्छ, तर तिनीहरूको कार्यान्वयनको मुख्य विचार उस्तै रहन्छ।

उच्च सहसंबद्ध चर

चरहरू जुन एकअर्कासँग अत्यधिक सहसंबद्ध छन् मोडेललाई समान जानकारी प्रदान गर्दछ, त्यसैले विश्लेषणको लागि ती सबै प्रयोग गर्न आवश्यक छैन। उदाहरणका लागि, यदि डेटासेटमा "अनलाइन समय" र "ट्राफिक प्रयोग गरिएको" सुविधाहरू समावेश छन् भने, हामी तिनीहरू केही हदसम्म सहसम्बन्धित हुनेछन् भनी अनुमान गर्न सक्छौं, र हामीले निष्पक्ष डेटा नमूना चयन गरे पनि हामी बलियो सहसम्बन्ध देख्नेछौं। यस अवस्थामा, यी चरहरू मध्ये एउटा मात्र मोडेलमा आवश्यक छ। यदि तपाइँ दुबै प्रयोग गर्नुहुन्छ भने, मोडेल ओभरफिट हुनेछ र एक विशेष सुविधा तिर पक्षपाती हुनेछ।

P-मानहरू

रैखिक प्रतिगमन जस्ता एल्गोरिदमहरूमा, प्रारम्भिक सांख्यिकीय मोडेल सधैं राम्रो विचार हो। यसले तिनीहरूको p-मानहरू मार्फत सुविधाहरूको महत्त्व देखाउन मद्दत गर्दछ जुन यस मोडेलले प्राप्त गरेको थियो। महत्व स्तर सेट गरिसकेपछि, हामी परिणामित p-मानहरू जाँच गर्छौं, र यदि कुनै मान निर्दिष्ट महत्व स्तर भन्दा कम छ भने, तब यो सुविधालाई महत्त्वपूर्ण घोषित गरिन्छ, अर्थात्, यसको मानमा परिवर्तनले सम्भावित मूल्यमा परिवर्तन ल्याउनेछ। लक्ष्य।

प्रत्यक्ष चयन

फर्वार्ड चयन एक प्रविधि हो जसमा चरणबद्ध प्रतिगमन लागू हुन्छ। मोडेल निर्माण पूर्ण शून्यबाट सुरु हुन्छ, अर्थात्, एउटा खाली मोडेल, र त्यसपछि प्रत्येक पुनरावृत्तिले एउटा चर थप्छ जसले मोडेल निर्माण भइरहेकोमा सुधार गर्छ। मोडेलमा कुन चर थपिएको छ यसको महत्व द्वारा निर्धारण गरिन्छ। यो विभिन्न मेट्रिक्स प्रयोग गरेर गणना गर्न सकिन्छ। सबै चरहरू प्रयोग गरेर मूल सांख्यिकीय मोडेलमा प्राप्त p-मानहरू प्रयोग गर्ने सबैभन्दा सामान्य तरिका हो। कहिलेकाहीँ फर्वार्ड चयनले मोडेललाई ओभरफिट गर्न सक्छ किनभने त्यहाँ मोडेलमा अत्यधिक सहसम्बन्धित चरहरू हुन सक्छन्, यदि तिनीहरूले मोडेललाई समान जानकारी प्रदान गरे पनि (तर मोडेलले अझै सुधार देखाउँछ)।

उल्टो चयन

उल्टो चयनमा लक्षणहरूको चरण-दर-चरण उन्मूलन पनि समावेश छ, तर अगाडि चयनको तुलनामा विपरीत दिशामा। यस अवस्थामा, प्रारम्भिक मोडेलले सबै स्वतन्त्र चरहरू समावेश गर्दछ। चरहरू त्यसपछि हटाइन्छ (एक प्रति पुनरावृत्ति) यदि तिनीहरूले प्रत्येक पुनरावृत्तिमा नयाँ रिग्रेसन मोडेलमा मूल्य योगदान गर्दैनन्। सुविधा बहिष्करण प्रारम्भिक मोडेलको p-मानहरूमा आधारित छ। अत्यधिक सहसंबद्ध चरहरू हटाउँदा यो विधिमा अनिश्चितता पनि छ।

पुनरावर्ती सुविधा उन्मूलन

RFE महत्त्वपूर्ण सुविधाहरूको सही संख्या चयन गर्नको लागि व्यापक रूपमा प्रयोग गरिएको प्रविधि/एल्गोरिदम हो। कहिलेकाहीँ नतिजालाई प्रभाव पार्ने धेरै "सबैभन्दा महत्त्वपूर्ण" सुविधाहरूको व्याख्या गर्न विधि प्रयोग गरिन्छ; र कहिलेकाहीँ धेरै चरहरू (लगभग 200-400) कम गर्नका लागि, र मोडेलमा कम्तिमा केही योगदान गर्नेहरू मात्र राखिन्छन्, र अरू सबैलाई बहिष्कृत गरिन्छ। RFE ले रैंकिंग प्रणाली प्रयोग गर्दछ। डेटा सेटमा सुविधाहरू रैंक तोकिएको छ। यी श्रेणीहरू त्यसपछि तिनीहरू बीचको समरूपता र मोडेलमा ती सुविधाहरूको महत्त्वको आधारमा सुविधाहरू हटाउन प्रयोग गरिन्छ। रैंकिङ सुविधाहरूको अतिरिक्त, RFE ले देखाउन सक्छ कि यी सुविधाहरू महत्त्वपूर्ण छन् वा दिइएको संख्याका सुविधाहरूको लागि पनि होइन (किनभने यो धेरै सम्भावना छ कि चयन गरिएका सुविधाहरू इष्टतम नहुन सक्छ, र सुविधाहरूको इष्टतम संख्या वा बढी हुन सक्छ। वा चयन गरिएको संख्या भन्दा कम)।

विशेषता महत्व रेखाचित्र

मेसिन लर्निङ एल्गोरिदमको व्याख्याको बारेमा कुरा गर्दा, हामी सामान्यतया रैखिक प्रतिगमनहरू (जसले तपाईंलाई p-values ​​प्रयोग गरेर सुविधाहरूको महत्त्व विश्लेषण गर्न अनुमति दिन्छ) र निर्णय रूखहरू (शाब्दिक रूपमा रूखको रूपमा सुविधाहरूको महत्त्व देखाउँदै, र मा। एकै समयमा तिनीहरूको पदानुक्रम)। अर्कोतर्फ, Random Forest, LightGBM र XG Boost जस्ता एल्गोरिदमहरूले प्रायः सुविधा महत्वको रेखाचित्र प्रयोग गर्दछ, त्यो हो, चरहरूको रेखाचित्र र "तिनीहरूको महत्त्व संख्याहरू" प्लट गरिएको छ। यो विशेष गरी उपयोगी हुन्छ जब तपाईलाई व्यवसायमा तिनीहरूको प्रभावको सन्दर्भमा विशेषताहरूको महत्त्वको लागि एक संरचित तर्क प्रदान गर्न आवश्यक छ।

नियमितीकरण

पूर्वाग्रह र भिन्नता बीचको सन्तुलन नियन्त्रण गर्न नियमितीकरण गरिन्छ। पूर्वाग्रहले प्रशिक्षण डेटा सेटमा मोडेलले कति ओभरफिट गरेको छ भनेर देखाउँछ। विचलनले प्रशिक्षण र परीक्षण डेटासेटहरू बीचको भविष्यवाणीहरू कति फरक थिए भनेर देखाउँछ। आदर्श रूपमा, पूर्वाग्रह र भिन्नता दुवै सानो हुनुपर्छ। यो जहाँ नियमितीकरण उद्धारको लागि आउँछ! त्यहाँ दुई मुख्य प्रविधिहरू छन्:

L1 Regularization - Lasso: Lasso ले मोडेलको तौललाई मोडेलमा तिनीहरूको महत्त्व परिवर्तन गर्न दण्डित गर्दछ र तिनीहरूलाई शून्य गर्न पनि सक्छ (अर्थात् अन्तिम मोडेलबाट ती चरहरू हटाउनुहोस्)। सामान्यतया, Lasso प्रयोग गरिन्छ जब डेटासेटले धेरै संख्यामा चरहरू समावेश गर्दछ र तपाइँ ती मध्ये केहीलाई बाहिर निकाल्न चाहनुहुन्छ कि कसरी महत्त्वपूर्ण सुविधाहरूले मोडेललाई प्रभाव पार्छ (अर्थात, ती सुविधाहरू जुन Lasso द्वारा चयन गरिएको छ र महत्त्व तोकिएको छ)।

L2 Regularization - Ridge विधि: Ridge को काम भनेको सबै चरहरू भण्डारण गर्नु हो र एकै समयमा मोडेलको कार्यसम्पादनमा उनीहरूको योगदानको आधारमा तिनीहरूलाई महत्त्व प्रदान गर्नु हो। यदि डेटासेटले थोरै संख्यामा चरहरू समावेश गर्दछ र ती सबै प्राप्त निष्कर्षहरू र परिणामहरूको व्याख्या गर्न आवश्यक छ भने Ridge राम्रो विकल्प हुनेछ।

किनकी Ridge ले सबै चरहरू राख्छ र Lasso ले तिनीहरूको महत्त्व स्थापित गर्न राम्रो काम गर्छ, एक एल्गोरिथ्म विकसित गरिएको थियो जसले दुवै नियमितीकरणका उत्कृष्ट सुविधाहरू संयोजन गर्दछ, जसलाई इलास्टिक-नेट भनिन्छ।

मेसिन लर्निङका लागि सुविधाहरू चयन गर्ने धेरै तरिकाहरू छन्, तर मुख्य विचार सधैं एउटै हुन्छ: चरहरूको महत्त्व देखाउनुहोस् र परिणामात्मक महत्त्वको आधारमा तिनीहरूमध्ये केहीलाई हटाउनुहोस्। महत्व एक धेरै व्यक्तिपरक शब्द हो, किनकि यो एक मात्र होइन, तर मेट्रिक्स र चार्टहरूको सम्पूर्ण सेट हो जुन मुख्य विशेषताहरू फेला पार्न प्रयोग गर्न सकिन्छ।

पढ्नु भएकोमा धन्यवाद! खुसी सिकाइ!

स्रोत: www.habr.com