हम रैखिक प्रतिगमन समीकरण को मैट्रिक्स रूप में लाते हैं

लेख का उद्देश्य शुरुआती डेटा वैज्ञानिकों को सहायता प्रदान करना है। में पिछला लेख हमने रेखीय प्रतिगमन समीकरण को हल करने के तीन तरीकों की रूपरेखा तैयार की है: विश्लेषणात्मक समाधान, ग्रेडिएंट डिसेंट, स्टोकेस्टिक ग्रेडिएंट डिसेंट। फिर विश्लेषणात्मक समाधान के लिए हमने सूत्र लागू किया . इस लेख में, जैसा कि शीर्षक से पता चलता है, हम इस सूत्र के उपयोग को उचित ठहराएंगे या, दूसरे शब्दों में, हम इसे स्वयं प्राप्त करेंगे।

फ़ॉर्मूले पर अतिरिक्त ध्यान देना क्यों उचित है? ?

यह मैट्रिक्स समीकरण के साथ है कि ज्यादातर मामलों में कोई व्यक्ति रैखिक प्रतिगमन से परिचित होना शुरू कर देता है। साथ ही, सूत्र कैसे प्राप्त हुआ इसकी विस्तृत गणना दुर्लभ है।

उदाहरण के लिए, यांडेक्स के मशीन लर्निंग पाठ्यक्रमों में, जब छात्रों को नियमितीकरण से परिचित कराया जाता है, तो उन्हें लाइब्रेरी से कार्यों का उपयोग करने की पेशकश की जाती है कपटी, जबकि एल्गोरिदम के मैट्रिक्स प्रतिनिधित्व के बारे में एक शब्द भी उल्लेख नहीं किया गया है। यह इस समय है कि कुछ श्रोता इस मुद्दे को और अधिक विस्तार से समझना चाहेंगे - तैयार किए गए फ़ंक्शन का उपयोग किए बिना कोड लिखें। और ऐसा करने के लिए, आपको पहले समीकरण को मैट्रिक्स रूप में रेगुलराइज़र के साथ प्रस्तुत करना होगा। यह लेख उन लोगों को अनुमति देगा जो ऐसे कौशल में महारत हासिल करना चाहते हैं। आएँ शुरू करें।

आरंभिक स्थितियां

लक्ष्य संकेतक

हमारे पास लक्ष्य मानों की एक श्रृंखला है. उदाहरण के लिए, लक्ष्य संकेतक किसी भी संपत्ति की कीमत हो सकती है: तेल, सोना, गेहूं, डॉलर, आदि। साथ ही, कई लक्ष्य संकेतक मानों से हमारा तात्पर्य अवलोकनों की संख्या से है। इस तरह के अवलोकन, उदाहरण के लिए, वर्ष के लिए मासिक तेल की कीमतें हो सकते हैं, यानी, हमारे पास 12 लक्ष्य मूल्य होंगे। आइए संकेतन का परिचय देना शुरू करें। आइए हम लक्ष्य सूचक के प्रत्येक मान को इस प्रकार निरूपित करें . कुल मिलाकर हमारे पास है अवलोकन, जिसका अर्थ है कि हम अपने अवलोकनों को इस प्रकार प्रस्तुत कर सकते हैं .

प्रतिगामी

हम मान लेंगे कि ऐसे कारक हैं जो कुछ हद तक लक्ष्य संकेतक के मूल्यों की व्याख्या करते हैं। उदाहरण के लिए, डॉलर/रूबल विनिमय दर तेल की कीमत, फेडरल रिजर्व दर आदि से काफी प्रभावित होती है। ऐसे कारकों को रिग्रेसर कहा जाता है। उसी समय, प्रत्येक लक्ष्य संकेतक मान को एक प्रतिगामी मूल्य के अनुरूप होना चाहिए, अर्थात, यदि हमारे पास 12 में प्रत्येक महीने के लिए 2018 लक्ष्य संकेतक हैं, तो हमारे पास उसी अवधि के लिए 12 प्रतिगामी मूल्य भी होने चाहिए। आइए हम प्रत्येक प्रतिगामी के मूल्यों को निरूपित करें . हमारे मामले में ऐसा होने दीजिए प्रतिगामी (अर्थात् कारक जो लक्ष्य सूचक मूल्यों को प्रभावित करते हैं)। इसका मतलब है कि हमारे रजिस्ट्रार को इस प्रकार प्रस्तुत किया जा सकता है: पहले रजिस्ट्रार के लिए (उदाहरण के लिए, तेल की कीमत): , दूसरे प्रतिगामी के लिए (उदाहरण के लिए, फेड दर): , के लिए "-वें" प्रतिगामी:

प्रतिगामी पर लक्ष्य संकेतकों की निर्भरता

आइए मान लें कि लक्ष्य सूचक की निर्भरता प्रतिगामी से "वें" अवलोकन को रेखीय प्रतिगमन समीकरण के माध्यम से व्यक्त किया जा सकता है:

जहां - "-वें" प्रतिगामी मान 1 से ,

- 1 से प्रतिगामी की संख्या

- कोणीय गुणांक, जो उस राशि का प्रतिनिधित्व करता है जिसके द्वारा परिकलित लक्ष्य संकेतक प्रतिगामी बदलने पर औसतन बदल जाएगा।

दूसरे शब्दों में, हम सभी के लिए हैं (सिवाय) ) प्रतिगामी का हम "हमारा" गुणांक निर्धारित करते हैं , फिर गुणांकों को प्रतिगामी के मानों से गुणा करें "वें" अवलोकन, परिणामस्वरूप हम एक निश्चित सन्निकटन प्राप्त करते हैं "-वें" लक्ष्य सूचक.

इसलिए, हमें ऐसे गुणांकों का चयन करने की आवश्यकता है , जिस पर हमारे अनुमानित फ़ंक्शन के मान लक्ष्य संकेतक मूल्यों के जितना संभव हो उतना करीब स्थित होगा।

अनुमानित फ़ंक्शन की गुणवत्ता का आकलन करना

हम न्यूनतम वर्ग विधि का उपयोग करके अनुमानित फ़ंक्शन का गुणवत्ता मूल्यांकन निर्धारित करेंगे। इस मामले में गुणवत्ता मूल्यांकन कार्य निम्नलिखित रूप लेगा:

हमें गुणांक $w$ के ऐसे मानों का चयन करने की आवश्यकता है जिसके लिए मान सबसे छोटा होगा.

समीकरण को मैट्रिक्स रूप में परिवर्तित करना

वेक्टर प्रतिनिधित्व

आरंभ करने के लिए, अपने जीवन को आसान बनाने के लिए, आपको रैखिक प्रतिगमन समीकरण पर ध्यान देना चाहिए और ध्यान देना चाहिए कि पहला गुणांक किसी भी प्रतिगामी द्वारा गुणा नहीं किया जाता है। उसी समय, जब हम डेटा को मैट्रिक्स फॉर्म में परिवर्तित करते हैं, तो उपर्युक्त परिस्थिति गणना को गंभीर रूप से जटिल कर देगी। इस संबंध में, पहले गुणांक के लिए एक और प्रतिगामी पेश करने का प्रस्ताव है और इसे एक के बराबर करें। या बल्कि, हर "इस प्रतिगामी के वें मान को एक के बराबर करें - आखिरकार, जब एक से गुणा किया जाता है, तो गणना के परिणाम के दृष्टिकोण से कुछ भी नहीं बदलेगा, लेकिन मैट्रिक्स के उत्पाद के नियमों के दृष्टिकोण से, हमारी पीड़ा काफी कम हो जाएगा.

अब, फिलहाल, सामग्री को सरल बनाने के लिए, मान लें कि हमारे पास केवल एक ही है "-वें" अवलोकन. फिर, प्रतिगामी के मूल्यों की कल्पना करें "-वें" एक वेक्टर के रूप में अवलोकन . वेक्टर आयाम है यही कारण है, पंक्तियाँ और 1 स्तंभ:

आइए आवश्यक गुणांकों को एक सदिश के रूप में निरूपित करें , आयाम होना :

"के लिए रैखिक प्रतिगमन समीकरण-वें" अवलोकन का रूप लेगा:

एक रैखिक मॉडल की गुणवत्ता का आकलन करने का कार्य इस प्रकार होगा:

कृपया ध्यान दें कि मैट्रिक्स गुणन के नियमों के अनुसार, हमें वेक्टर को स्थानांतरित करने की आवश्यकता है .

मैट्रिक्स प्रतिनिधित्व

सदिशों को गुणा करने के परिणामस्वरूप, हमें संख्या प्राप्त होती है: , जिसकी अपेक्षा की जानी चाहिए। यह संख्या सन्निकटन है"-वें" लक्ष्य सूचक. लेकिन हमें केवल एक लक्ष्य मूल्य का नहीं, बल्कि उन सभी का अनुमान लगाने की आवश्यकता है। ऐसा करने के लिए, आइए सब कुछ लिखें "-वें" मैट्रिक्स प्रारूप में रजिस्ट्रार . परिणामी मैट्रिक्स का आयाम है :

अब रेखीय प्रतिगमन समीकरण इस प्रकार बनेगा:

आइए हम लक्ष्य संकेतकों (सभी) के मूल्यों को निरूपित करें ) प्रति वेक्टर आयाम :

अब हम मैट्रिक्स प्रारूप में एक रैखिक मॉडल की गुणवत्ता का आकलन करने के लिए समीकरण लिख सकते हैं:

दरअसल, इस सूत्र से हमें आगे ज्ञात सूत्र प्राप्त होता है

यह कैसे किया है? कोष्ठक खोले जाते हैं, विभेदीकरण किया जाता है, परिणामी अभिव्यक्तियों को रूपांतरित किया जाता है, आदि, और अब हम यही करेंगे।

मैट्रिक्स परिवर्तन

आइए कोष्ठक खोलें

आइए विभेदन के लिए एक समीकरण तैयार करें

ऐसा करने के लिए, हम कुछ परिवर्तन करेंगे। बाद की गणनाओं में यह हमारे लिए अधिक सुविधाजनक होगा यदि वेक्टर समीकरण में प्रत्येक उत्पाद की शुरुआत में दर्शाया जाएगा।

रूपांतरण 1

यह कैसे हुआ? इस प्रश्न का उत्तर देने के लिए, गुणा किये जा रहे मैट्रिक्स के आकार को देखें और देखें कि आउटपुट पर हमें एक संख्या मिलती है या अन्यथा .

आइए मैट्रिक्स अभिव्यक्तियों के आकार लिखें।

रूपांतरण 2

आइए इसे परिवर्तन 1 के समान ही लिखें

आउटपुट पर हमें एक समीकरण मिलता है जिसे हमें अलग करना है:

हम मॉडल गुणवत्ता मूल्यांकन फ़ंक्शन को अलग करते हैं

आइए वेक्टर के संबंध में अंतर करें :

प्रश्न क्यों ऐसा नहीं होना चाहिए, लेकिन हम अन्य दो अभिव्यक्तियों में डेरिवेटिव निर्धारित करने के संचालन की अधिक विस्तार से जांच करेंगे।

भेद 1

आइए विभेदीकरण पर विस्तार करें:

किसी मैट्रिक्स या वेक्टर का व्युत्पन्न निर्धारित करने के लिए, आपको यह देखना होगा कि उनके अंदर क्या है। आओ देखे:

आइए आव्यूहों के गुणनफल को निरूपित करें मैट्रिक्स के माध्यम से . आव्यूह वर्गाकार और इसके अलावा, यह सममित है। ये गुण बाद में हमारे काम आएंगे, आइए इन्हें याद रखें। आव्यूह आयाम है :

अब हमारा काम मैट्रिक्स द्वारा वैक्टर को सही ढंग से गुणा करना है और "दो बार दो पांच है" प्राप्त करना नहीं है, इसलिए आइए ध्यान केंद्रित करें और बेहद सावधान रहें।

हालाँकि, हमने एक जटिल अभिव्यक्ति हासिल कर ली है! वास्तव में, हमें एक संख्या मिली - एक अदिश राशि। और अब, वास्तव में, हम विभेदीकरण की ओर बढ़ते हैं। प्रत्येक गुणांक के लिए परिणामी अभिव्यक्ति का व्युत्पन्न खोजना आवश्यक है और आउटपुट के रूप में आयाम वेक्टर प्राप्त करें . बस मामले में, मैं कार्रवाई द्वारा प्रक्रियाओं को लिखूंगा:

1) द्वारा अंतर करें , हम पाते हैं:

2) द्वारा अंतर करें , हम पाते हैं:

3) द्वारा अंतर करें , हम पाते हैं:

आउटपुट आकार का वादा किया गया वेक्टर है :

यदि आप वेक्टर को अधिक बारीकी से देखते हैं, तो आप देखेंगे कि वेक्टर के बाएं और संबंधित दाएं तत्वों को इस तरह से समूहीकृत किया जा सकता है कि, परिणामस्वरूप, एक वेक्टर को प्रस्तुत वेक्टर से अलग किया जा सकता है आकार । उदाहरण के लिए, (वेक्टर की शीर्ष रेखा का बायां तत्व) (वेक्टर की शीर्ष रेखा का दायां तत्व) को इस प्रकार दर्शाया जा सकता है और - जैसा वगैरह। प्रत्येक पंक्ति पर. आइए समूह बनाएं:

आइए वेक्टर को बाहर निकालें और आउटपुट पर हमें मिलता है:

अब, आइए परिणामी मैट्रिक्स पर करीब से नज़र डालें। मैट्रिक्स दो आव्यूहों का योग है :

आइए याद करें कि कुछ समय पहले हमने मैट्रिक्स की एक महत्वपूर्ण संपत्ति पर ध्यान दिया था - यह सममित है. इस गुण के आधार पर हम विश्वास के साथ कह सकते हैं कि अभिव्यक्ति के बराबर होती है . इसे तत्व दर तत्व मैट्रिक्स के गुणनफल का विस्तार करके आसानी से सत्यापित किया जा सकता है . हम यहां ऐसा नहीं करेंगे, जो लोग इसमें रुचि रखते हैं वे स्वयं इसकी जांच कर सकते हैं।

आइए अपनी अभिव्यक्ति पर वापस लौटें। हमारे परिवर्तनों के बाद, यह वैसा ही हो गया जैसा हम इसे देखना चाहते थे:

तो, हमने पहला भेदभाव पूरा कर लिया है। आइए दूसरी अभिव्यक्ति पर चलते हैं।

भेद 2

आइए घिसे-पिटे रास्ते पर चलें. यह पिछले वाले से काफी छोटा होगा, इसलिए स्क्रीन से ज्यादा दूर न जाएं।

आइए तत्व दर तत्व वैक्टर और मैट्रिक्स तत्व का विस्तार करें:

आइए थोड़ी देर के लिए दोनों को गणना से हटा दें - यह कोई बड़ी भूमिका नहीं निभाता है, फिर हम इसे वापस इसके स्थान पर रख देंगे। आइए सदिशों को मैट्रिक्स से गुणा करें। सबसे पहले, आइए मैट्रिक्स को गुणा करें वेक्टर के लिए , हमारे यहां कोई प्रतिबंध नहीं है। हमें आकार वेक्टर मिलता है :

आइए निम्नलिखित क्रिया करें - वेक्टर को गुणा करें परिणामी वेक्टर के लिए. बाहर निकलने पर नंबर हमारा इंतज़ार कर रहा होगा:

फिर हम इसे अलग करेंगे. आउटपुट पर हमें आयाम का एक वेक्टर मिलता है :

मुझे कुछ याद दिलाता है? यह सही है! यह मैट्रिक्स का उत्पाद है वेक्टर के लिए .

इस प्रकार, दूसरा विभेदन सफलतापूर्वक पूरा हो गया है।

इसके बजाय एक निष्कर्ष की

अब हम जानते हैं कि समानता कैसे आई .

अंत में, हम बुनियादी सूत्रों को बदलने का एक त्वरित तरीका बताएंगे।

आइए न्यूनतम वर्ग विधि के अनुसार मॉडल की गुणवत्ता का मूल्यांकन करें:

आइए हम परिणामी अभिव्यक्ति को अलग करें:

साहित्य

इंटरनेट स्रोत:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

पाठ्यपुस्तकें, समस्याओं का संग्रह:

1) उच्च गणित पर व्याख्यान नोट्स: पूर्ण पाठ्यक्रम / डी.टी. लिखित - चौथा संस्करण। - एम.: आइरिस-प्रेस, 4
2) एप्लाइड रिग्रेशन एनालिसिस / एन. ड्रेपर, जी. स्मिथ - दूसरा संस्करण। - एम.: वित्त एवं सांख्यिकी, 2 (अंग्रेजी से अनुवाद)
3) मैट्रिक्स समीकरणों को हल करने की समस्याएँ:
function-x.ru/matrix_eqations.html
Mathprofi.ru/deistviya_s_matricami.html

स्रोत: www.habr.com