हामी रैखिक प्रतिगमन समीकरणलाई म्याट्रिक्स फारममा ल्याउँछौं

लेखको उद्देश्य प्रारम्भिक डाटा वैज्ञानिकहरूलाई समर्थन प्रदान गर्नु हो। IN अघिल्लो लेख हामीले रेखीय प्रतिगमन समीकरण समाधान गर्ने तीनवटा तरिकाहरू उल्लिखित गरेका छौं: विश्लेषणात्मक समाधान, ग्रेडियन्ट डिसेन्ट, स्टोकास्टिक ग्रेडियन्ट डिसेन्ट। त्यसपछि विश्लेषणात्मक समाधानको लागि हामीले सूत्र लागू गर्यौं । यस लेखमा, शीर्षकले सुझाव दिए जस्तै, हामी यो सूत्रको प्रयोगलाई जायज ठहराउनेछौं वा, अर्को शब्दमा, हामी आफैं यसलाई निकाल्नेछौं।

सूत्रमा थप ध्यान दिनु किन अर्थपूर्ण हुन्छ ?

यो म्याट्रिक्स समीकरण संग छ कि धेरै अवस्थामा एक रैखिक प्रतिगमन संग परिचित हुन सुरु हुन्छ। एकै समयमा, सूत्र कसरी व्युत्पन्न भयो भनेर विस्तृत गणनाहरू दुर्लभ छन्।

उदाहरणका लागि, Yandex बाट मेसिन लर्निङ पाठ्यक्रमहरूमा, जब विद्यार्थीहरूलाई नियमितीकरणमा परिचय गराइन्छ, उनीहरूलाई पुस्तकालयबाट कार्यहरू प्रयोग गर्न प्रस्ताव गरिन्छ। sklearn, जबकि एल्गोरिथ्मको म्याट्रिक्स प्रतिनिधित्वको बारेमा एक शब्द पनि उल्लेख गरिएको छैन। यो क्षणमा केहि श्रोताहरूले यस मुद्दालाई थप विवरणमा बुझ्न चाहन्छन् - रेडिमेड प्रकार्यहरू प्रयोग नगरी कोड लेख्नुहोस्। र यो गर्नको लागि, तपाईंले पहिले म्याट्रिक्स फारममा रेगुलराइजरसँग समीकरण प्रस्तुत गर्नुपर्छ। यस लेखले यस्ता सीपहरू मास्टर गर्न चाहनेहरूलाई अनुमति दिनेछ। सुरु गरौं।

प्रारम्भिक सर्तहरू

लक्ष्य सूचकहरू

हामीसँग लक्ष्य मानहरूको दायरा छ। उदाहरणका लागि, लक्ष्य सूचक कुनै पनि सम्पत्तिको मूल्य हुन सक्छ: तेल, सुन, गहुँ, डलर, आदि। एकै समयमा, लक्ष्य सूचक मानहरूको संख्याले हामीले अवलोकनहरूको संख्यालाई बुझाउँछौं। त्यस्ता अवलोकनहरू हुन सक्छन्, उदाहरणका लागि, वर्षको लागि मासिक तेल मूल्यहरू, त्यो हो, हामीसँग 12 लक्ष्य मानहरू हुनेछन्। नोटेशन परिचय सुरु गरौं। लक्ष्य सूचकको प्रत्येक मानलाई यस रूपमा बुझौं । कुलमा हामीसँग छ अवलोकनहरू, जसको अर्थ हामी हाम्रा अवलोकनहरूलाई रूपमा प्रतिनिधित्व गर्न सक्छौं .

रिग्रेसर्स

हामी मान्नेछौं कि त्यहाँ कारकहरू छन् जुन निश्चित हदसम्म लक्ष्य सूचकको मानहरू व्याख्या गर्दछ। उदाहरणका लागि, डलर/रुबलको विनिमय दर तेलको मूल्य, फेडरल रिजर्भ दर, आदिले कडा रूपमा प्रभावित हुन्छ। त्यस्ता कारकहरूलाई रिग्रेसर भनिन्छ। एकै समयमा, प्रत्येक लक्ष्य सूचक मान एक regressor मान अनुरूप हुनुपर्छ, त्यो हो, यदि हामीसँग 12 मा प्रत्येक महिनाको लागि 2018 लक्ष्य सूचकहरू छन् भने, हामीसँग समान अवधिको लागि 12 regressor मानहरू पनि हुनुपर्छ। प्रत्येक regressor को मानहरू द्वारा बुझाउनुहोस् । हाम्रो मामला मा त्यहाँ हुन दिनुहोस् regressors (i.e. लक्ष्य सूचक मानहरूलाई प्रभाव पार्ने कारकहरू)। यसको मतलब हाम्रो regressors निम्न रूपमा प्रस्तुत गर्न सकिन्छ: 1st regressor को लागी (उदाहरण को लागी, तेल को मूल्य): , दोस्रो रिग्रेसरको लागि (उदाहरणका लागि, फेड दर): ,का लागि "-th" regressor:

प्रतिगमनकर्ताहरूमा लक्ष्य सूचकहरूको निर्भरता

मानौं कि लक्ष्य सूचकको निर्भरता प्रतिगामीहरूबाट "th" अवलोकन फारमको रेखीय प्रतिगमन समीकरण मार्फत व्यक्त गर्न सकिन्छ:

कहाँ - "-th" रिग्रेसर मान 1 देखि ,

- 1 देखि regressers को संख्या

— कोणीय गुणांकहरू, जसले गणना गरिएको लक्ष्य सूचक औसतमा रिग्रेसर परिवर्तन हुँदा परिवर्तन हुनेछ भनेर प्रतिनिधित्व गर्दछ।

अर्को शब्दमा, हामी सबैको लागि हो (बाहेक ) regressor को हामी "हाम्रो" गुणांक निर्धारण गर्छौं , त्यसपछि regressors को मानहरु द्वारा गुणांक गुणन गर्नुहोस् ""अवलोकन, नतिजाको रूपमा हामी एक निश्चित अनुमान प्राप्त गर्दछौं"-th" लक्ष्य सूचक।

त्यसकारण, हामीले त्यस्ता गुणांकहरू चयन गर्न आवश्यक छ , जसमा हाम्रो अनुमानित प्रकार्यको मानहरू लक्ष्य सूचक मानहरूको सकेसम्म नजिक स्थित हुनेछ।

अनुमानित प्रकार्यको गुणस्तर मूल्याङ्कन गर्दै

हामी न्यूनतम वर्ग विधि प्रयोग गरेर अनुमानित प्रकार्यको गुणस्तर मूल्याङ्कन निर्धारण गर्नेछौं। यस अवस्थामा गुणस्तर मूल्याङ्कन प्रकार्यले निम्न फारम लिनेछ:

हामीले गुणांक $w$ को त्यस्ता मानहरू चयन गर्न आवश्यक छ जसको लागि मान सबैभन्दा सानो हुनेछ।

समीकरणलाई म्याट्रिक्स फारममा रूपान्तरण गर्दै

भेक्टर प्रतिनिधित्व

सुरुमा, तपाईंको जीवनलाई सजिलो बनाउन, तपाईंले रैखिक प्रतिगमन समीकरणमा ध्यान दिनुपर्छ र ध्यान दिनुपर्छ कि पहिलो गुणांक कुनै रिग्रेसर द्वारा गुणन गरिएको छैन। एकै समयमा, जब हामी डेटालाई म्याट्रिक्स फारममा रूपान्तरण गर्छौं, माथि उल्लिखित परिस्थितिले गणनालाई गम्भीर रूपमा जटिल बनाउनेछ। यस सन्दर्भमा, यो पहिलो गुणांक लागि अर्को regressor परिचय गर्न प्रस्ताव गरिएको छ र यसलाई एक बराबर गर्नुहोस्। वा बरु, हरेक "यस रिग्रेसरको औं मानलाई एकसँग बराबर गर्नुहोस् - आखिर, एकले गुणा गर्दा, गणनाको नतिजाको दृष्टिकोणबाट केहि पनि परिवर्तन हुनेछैन, तर म्याट्रिक्सको उत्पादनका लागि नियमहरूको दृष्टिकोणबाट, हाम्रो पीडा। उल्लेखनीय रूपमा कम हुनेछ।

अब, क्षणको लागि, सामग्रीलाई सरल बनाउनको लागि, मानौं कि हामीसँग एउटा मात्र छ "-th" अवलोकन। त्यसपछि, regressors को मान कल्पना गर्नुहोस् "-th" एक भेक्टरको रूपमा अवलोकनहरू । भेक्टर आयाम छ , त्यो हो पङ्क्ति र 1 स्तम्भ:

आवश्यक गुणांकहरूलाई भेक्टरको रूपमा प्रतिनिधित्व गरौं , आयाम भएको :

"का लागि रैखिक प्रतिगमन समीकरण-th" अवलोकन फारम लिनेछ:

रैखिक मोडेलको गुणस्तर मूल्याङ्कन गर्ने कार्यले फारम लिनेछ:

कृपया ध्यान दिनुहोस् कि म्याट्रिक्स गुणनका नियमहरू अनुसार, हामीले भेक्टरलाई स्थानान्तरण गर्न आवश्यक छ। .

म्याट्रिक्स प्रतिनिधित्व

वेक्टरहरू गुणन गर्ने परिणामको रूपमा, हामीले संख्या पाउँछौं: , जुन अपेक्षा गर्न सकिन्छ। यो संख्या अनुमानित हो "-th" लक्ष्य सूचक। तर हामीलाई एउटा लक्ष्य मान मात्र होइन, ती सबैको अनुमानित आवश्यकता चाहिन्छ। यो गर्नको लागि, सबै कुरा लेखौं "-th" म्याट्रिक्स ढाँचामा regressors । परिणामस्वरूप म्याट्रिक्सको आयाम छ :

अब रैखिक प्रतिगमन समीकरणले फारम लिनेछ:

लक्ष्य सूचकहरूको मानहरू (सबै ) प्रति भेक्टर आयाम :

अब हामी म्याट्रिक्स ढाँचामा रेखीय मोडेलको गुणस्तर मूल्याङ्कन गर्न समीकरण लेख्न सक्छौं:

वास्तवमा, यस सूत्रबाट हामी हामीलाई थाहा भएको सूत्र प्राप्त गर्छौं

यो कसरी गरियो? कोष्ठकहरू खोलिएका छन्, भेदभाव गरिन्छ, नतिजा अभिव्यक्तिहरू रूपान्तरण हुन्छन्, आदि, र यो वास्तवमा हामी अब के गर्नेछौं।

म्याट्रिक्स रूपान्तरण

कोष्ठकहरू खोलौं

भिन्नताको लागि समीकरण तयार गरौं

यो गर्नको लागि, हामी केहि परिवर्तनहरू गर्नेछौं। पछिको गणनामा यो भेक्टर भएमा हाम्रो लागि अझ सुविधाजनक हुनेछ समीकरणमा प्रत्येक उत्पादनको सुरुमा प्रतिनिधित्व गरिनेछ।

रूपान्तरण १

याे कसरी भयाे? यस प्रश्नको जवाफ दिनको लागि, केवल गुणन गरिएको म्याट्रिक्सको आकारहरू हेर्नुहोस् र हेर्नुहोस् कि आउटपुटमा हामीले संख्या पाउँछौं वा अन्यथा। .

म्याट्रिक्स अभिव्यक्तिको आकारहरू लेखौं।

रूपान्तरण १

यसलाई रूपान्तरण १ को समान रूपमा लेखौं

आउटपुटमा हामीले एउटा समीकरण पाउँछौं जुन हामीले फरक गर्नुपर्छ:

हामी मोडेल गुणस्तर मूल्याङ्कन प्रकार्य फरक गर्छौं

भेक्टरको सन्दर्भमा फरक पारौं :

प्रश्न किन त्यहाँ हुनु हुँदैन, तर हामी थप विवरणमा अन्य दुई अभिव्यक्तिहरूमा डेरिभेटिभहरू निर्धारण गर्ने कार्यहरू जाँच गर्नेछौं।

भेदभाव १

भिन्नतालाई विस्तार गरौं:

म्याट्रिक्स वा भेक्टरको व्युत्पन्न निर्धारण गर्न, तपाईंले तिनीहरू भित्र के छ भनेर हेर्नु पर्छ। हेरौं:

matrices को गुणन जनाउनुहोस् म्याट्रिक्स मार्फत । म्याट्रिक्स वर्ग र थप, यो सममित छ। यी गुणहरू पछि हामीलाई उपयोगी हुनेछ, तिनीहरूलाई सम्झना गरौं। म्याट्रिक्स आयाम छ :

अब हाम्रो काम भनेको भेक्टरहरूलाई म्याट्रिक्सद्वारा सही तरिकाले गुणन गर्नु हो र "दुई पटक दुई हो पाँच" प्राप्त नगर्नु हो, त्यसैले ध्यान केन्द्रित गरौं र अत्यन्त सावधान रहौं।

यद्यपि, हामीले एक जटिल अभिव्यक्ति हासिल गरेका छौं! वास्तवमा, हामीले एउटा नम्बर पायौं - एक स्केलर। र अब, वास्तविक रूपमा, हामी भिन्नतामा जान्छौं। प्रत्येक गुणांकको लागि नतिजा अभिव्यक्तिको व्युत्पन्न खोज्न आवश्यक छ र आउटपुटको रूपमा आयाम भेक्टर प्राप्त गर्नुहोस् । केवल के अवस्थामा, म कार्यद्वारा प्रक्रियाहरू लेख्नेछु:

1) द्वारा भिन्न , हामीले पायौ:

2) द्वारा भिन्न , हामीले पायौ:

3) द्वारा भिन्न , हामीले पायौ:

आउटपुट आकारको प्रतिज्ञा गरिएको भेक्टर हो :

यदि तपाईंले भेक्टरलाई अझ नजिकबाट हेर्नुभयो भने, तपाईंले देख्नुहुनेछ कि भेक्टरको बाँया र सम्बन्धित दायाँ तत्वहरूलाई यसरी समूहबद्ध गर्न सकिन्छ कि परिणाम स्वरूप, प्रस्तुत भेक्टरबाट भेक्टरलाई अलग गर्न सकिन्छ। आकार । उदाहरण को लागी (भेक्टरको शीर्ष रेखाको बायाँ तत्व) (भेक्टरको शीर्ष रेखाको दायाँ तत्व) को रूपमा प्रतिनिधित्व गर्न सकिन्छ र - को रूप मा आदि प्रत्येक लाइनमा। समूह गरौं:

भेक्टर निकालौं र आउटपुटमा हामीले पाउँछौं:

अब, नतिजा म्याट्रिक्सलाई नजिकबाट हेरौं। म्याट्रिक्स भनेको दुई म्याट्रिक्सको योगफल हो :

हामीलाई याद गरौं कि अलि पहिले हामीले म्याट्रिक्सको एउटा महत्त्वपूर्ण गुणलाई ध्यान दिएका थियौं - यो सममित छ। यस गुणको आधारमा, हामी निर्धक्क भई अभिव्यक्ति भन्न सक्छौं बराबर । यो सजिलै तत्व द्वारा matrices तत्व को उत्पादन विस्तार गरेर प्रमाणित गर्न सकिन्छ । हामी यो यहाँ गर्दैनौं; इच्छुकहरूले यसलाई आफैं जाँच गर्न सक्छन्।

हाम्रो अभिव्यक्तिमा फर्कौं। हाम्रो रूपान्तरण पछि, यो हामीले यसलाई हेर्न चाहेको बाटोमा परिणत भयो:

त्यसोभए, हामीले पहिलो भिन्नता पूरा गरेका छौं। दोस्रो अभिव्यक्तिमा जाऔं।

भेदभाव १

पिटेको बाटो पछ्याऔं। यो अघिल्लो भन्दा धेरै छोटो हुनेछ, त्यसैले स्क्रिनबाट धेरै टाढा नजानुहोस्।

एलिमेन्टद्वारा भेक्टर र म्याट्रिक्स एलिमेन्ट विस्तार गरौं:

केही समयको लागि गणनाबाट दुईलाई हटाउनुहोस् - यसले ठूलो भूमिका खेल्दैन, त्यसपछि हामी यसलाई यसको स्थानमा राख्नेछौं। भेक्टरहरूलाई म्याट्रिक्सद्वारा गुणन गरौं। सबैभन्दा पहिले, म्याट्रिक्सलाई गुणन गरौं भेक्टरमा , हामी यहाँ कुनै प्रतिबन्ध छैन। हामीले साइज भेक्टर पाउँछौं :

निम्न कार्य गरौं - भेक्टर गुणा गर्नुहोस् परिणामस्वरूप भेक्टरमा। बाहिर निस्कँदा नम्बर हामीलाई पर्खिरहेको छ:

त्यसपछि हामी यसलाई अलग गर्नेछौं। आउटपुटमा हामीले आयामको भेक्टर पाउँछौं :

मलाई केहि याद दिलाउँछ? त्यो सहि हो! यो म्याट्रिक्स को उत्पादन हो भेक्टरमा .

यसरी, दोस्रो भिन्नता सफलतापूर्वक पूरा भयो।

बरु एक निष्कर्षमा को

अब हामीलाई थाहा छ समानता कसरी आयो .

अन्तमा, हामी आधारभूत सूत्रहरू रूपान्तरण गर्ने द्रुत तरिकाको वर्णन गर्नेछौं।

कम्तिमा वर्ग विधि अनुसार मोडेलको गुणस्तर मूल्याङ्कन गरौं:

आउनुहोस् नतिजा अभिव्यक्ति भिन्न गरौं:

साहित्य

इन्टरनेट स्रोतहरू:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

पाठ्यपुस्तक, समस्या को संग्रह:

1) उच्च गणित मा व्याख्यान नोट: पूर्ण पाठ्यक्रम / D.T। लिखित - चौथो संस्करण। - एम.: आइरिस-प्रेस, 4
2) लागू प्रतिगमन विश्लेषण / N. Draper, G. Smith - 2nd Ed. - एम.: वित्त र तथ्याङ्क, 1986 (अंग्रेजीबाट अनुवाद)
३) म्याट्रिक्स समीकरणहरू समाधान गर्नका लागि समस्याहरू:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

स्रोत: www.habr.com