आपण रेखीय प्रतिगमन समीकरण मॅट्रिक्स स्वरूपात आणतो

लेखाचा उद्देश प्रारंभिक डेटा शास्त्रज्ञांना समर्थन प्रदान करणे आहे. IN मागील लेख आम्ही रेखीय प्रतिगमन समीकरण सोडवण्याचे तीन मार्ग सांगितले आहेत: विश्लेषणात्मक समाधान, ग्रेडियंट डिसेंट, स्टोकेस्टिक ग्रेडियंट डिसेंट. मग विश्लेषणात्मक समाधानासाठी आम्ही सूत्र लागू केले . या लेखात, शीर्षकाने सुचविल्याप्रमाणे, आम्ही या सूत्राच्या वापराचे समर्थन करू किंवा दुसऱ्या शब्दांत, आम्ही ते स्वतः मिळवू.

सूत्राकडे अधिक लक्ष देणे अर्थपूर्ण का आहे ?

हे मॅट्रिक्स समीकरणाने आहे की बहुतेक प्रकरणांमध्ये एखादी व्यक्ती रेखीय प्रतिगमनाशी परिचित होऊ लागते. त्याच वेळी, सूत्र कसे काढले गेले याची तपशीलवार गणना दुर्मिळ आहे.

उदाहरणार्थ, Yandex मधील मशीन लर्निंग कोर्समध्ये, जेव्हा विद्यार्थ्यांना नियमितीकरणाची ओळख करून दिली जाते, तेव्हा त्यांना लायब्ररीतील फंक्शन्स वापरण्याची ऑफर दिली जाते. sklearn, अल्गोरिदमच्या मॅट्रिक्स प्रतिनिधित्वाबद्दल एक शब्दही नमूद केलेला नाही. या क्षणी काही श्रोत्यांना हा मुद्दा अधिक तपशीलवार समजून घ्यायचा असेल - रेडीमेड फंक्शन्स न वापरता कोड लिहा. आणि हे करण्यासाठी, तुम्ही प्रथम मॅट्रिक्स स्वरूपात रेग्युलरायझरसह समीकरण सादर केले पाहिजे. ज्यांना अशा कौशल्यांमध्ये प्रभुत्व मिळवायचे आहे त्यांना हा लेख अनुमती देईल. चला सुरू करुया.

सुरुवातीच्या अटी

लक्ष्य निर्देशक

आमच्याकडे लक्ष्य मूल्यांची श्रेणी आहे. उदाहरणार्थ, लक्ष्य निर्देशक कोणत्याही मालमत्तेची किंमत असू शकते: तेल, सोने, गहू, डॉलर इ. त्याच वेळी, अनेक लक्ष्य निर्देशक मूल्यांद्वारे आपला अर्थ निरीक्षणांची संख्या आहे. अशी निरीक्षणे असू शकतात, उदाहरणार्थ, वर्षासाठी मासिक तेलाच्या किमती, म्हणजेच आमच्याकडे 12 लक्ष्य मूल्ये असतील. चला नोटेशनचा परिचय सुरू करूया. लक्ष्य निर्देशकाचे प्रत्येक मूल्य असे दर्शवू . एकूण आमच्याकडे आहे निरीक्षणे, याचा अर्थ आपण आपली निरीक्षणे म्हणून प्रस्तुत करू शकतो .

प्रतिगामी

आम्ही असे गृहीत धरू की असे काही घटक आहेत जे काही प्रमाणात लक्ष्य निर्देशकाची मूल्ये स्पष्ट करतात. उदाहरणार्थ, डॉलर/रुबल विनिमय दर तेलाच्या किमती, फेडरल रिझर्व्ह रेट इ.चा जोरदार प्रभाव पडतो. अशा घटकांना रेग्रेसर म्हणतात. त्याच वेळी, प्रत्येक लक्ष्य निर्देशक मूल्य प्रतिगमन मूल्याशी संबंधित असणे आवश्यक आहे, म्हणजे, जर आमच्याकडे 12 मध्ये प्रत्येक महिन्यासाठी 2018 लक्ष्य निर्देशक असतील, तर आमच्याकडे त्याच कालावधीसाठी 12 प्रतिगमन मूल्य देखील असले पाहिजेत. प्रत्येक रीग्रेसरची मूल्ये द्वारे दर्शवू . आमच्या बाबतीत असू द्या regressors (उदा. लक्ष्य निर्देशक मूल्यांवर परिणाम करणारे घटक). याचा अर्थ आमचे रीग्रेसर खालीलप्रमाणे सादर केले जाऊ शकतात: 1ल्या रीग्रेसरसाठी (उदाहरणार्थ, तेलाची किंमत): , 2रा रीग्रेसरसाठी (उदाहरणार्थ, फेड दर): , च्या साठी "-th" regressor:

प्रतिगामींवर लक्ष्य निर्देशकांचे अवलंबन

लक्ष्य निर्देशकाचे अवलंबन गृहीत धरू प्रतिगामी पासून "थ" निरीक्षण फॉर्मच्या रेखीय प्रतिगमन समीकरणाद्वारे व्यक्त केले जाऊ शकते:

कुठे - "-थ" रीग्रेसर मूल्य 1 ते ,

— 1 ते रीग्रेसर्सची संख्या

— कोनीय गुणांक, जे रेग्रेसर बदलल्यावर गणना केलेले लक्ष्य निर्देशक सरासरी बदलेल त्या रकमेचे प्रतिनिधित्व करतात.

दुसऱ्या शब्दांत, आम्ही प्रत्येकासाठी आहोत (वगळून ) रीग्रेसरचे आम्ही "आमचे" गुणांक निर्धारित करतो , नंतर रीग्रेसर्सच्या मूल्यांनी गुणांक गुणाकार करा "th"निरीक्षण, परिणामी आम्ही एक विशिष्ट अंदाजे प्राप्त करतो"-th" लक्ष्य निर्देशक.

म्हणून, आपल्याला असे गुणांक निवडण्याची आवश्यकता आहे , ज्यावर आमच्या अंदाजे कार्याची मूल्ये लक्ष्य निर्देशक मूल्यांच्या शक्य तितक्या जवळ स्थित असेल.

अंदाजे कार्याच्या गुणवत्तेचे मूल्यांकन करणे

आम्ही किमान वर्ग पद्धती वापरून अंदाजे कार्याचे गुणवत्तेचे मूल्यांकन निश्चित करू. या प्रकरणात गुणवत्ता मूल्यांकन कार्य खालील फॉर्म घेईल:

आम्हाला गुणांकांची अशी मूल्ये निवडण्याची आवश्यकता आहे $w$ ज्यासाठी मूल्य आहे सर्वात लहान असेल.

समीकरण मॅट्रिक्स स्वरूपात रूपांतरित करणे

वेक्टर प्रतिनिधित्व

सुरुवातीला, तुमचे जीवन सोपे करण्यासाठी, तुम्ही रेखीय प्रतिगमन समीकरणाकडे लक्ष दिले पाहिजे आणि लक्षात घ्या की प्रथम गुणांक कोणत्याही रीग्रेसरने गुणाकार केला जात नाही. त्याच वेळी, जेव्हा आम्ही डेटा मॅट्रिक्स फॉर्ममध्ये रूपांतरित करतो, तेव्हा वर नमूद केलेल्या परिस्थितीमुळे गणना गंभीरपणे गुंतागुंतीची होईल. या संदर्भात, पहिल्या गुणांकासाठी दुसरा रीग्रेसर सादर करण्याचा प्रस्ताव आहे आणि त्याची बरोबरी करा. किंवा त्याऐवजी, प्रत्येक "या रीग्रेसरच्या व्या मूल्याची बरोबरी करा - शेवटी, एकाने गुणाकार केल्यावर, गणनेच्या निकालाच्या दृष्टिकोनातून काहीही बदलणार नाही, परंतु मॅट्रिक्सच्या उत्पादनाच्या नियमांच्या दृष्टिकोनातून, आमचा त्रास लक्षणीयरीत्या कमी होईल.

आता, या क्षणासाठी, सामग्री सुलभ करण्यासाठी, आपण असे गृहीत धरू की आपल्याकडे फक्त एक आहे "-वे" निरीक्षण. मग, प्रतिगामींच्या मूल्यांची कल्पना करा "-थ" वेक्टर म्हणून निरीक्षणे . वेक्टर परिमाण आहे ते आहे पंक्ती आणि 1 स्तंभ:

व्हेक्टर म्हणून आवश्यक गुणांक दर्शवू , परिमाण असणे :

" साठी रेखीय प्रतिगमन समीकरण-th" निरीक्षण फॉर्म घेईल:

रेखीय मॉडेलच्या गुणवत्तेचे मूल्यांकन करण्याचे कार्य फॉर्म घेईल:

कृपया लक्षात घ्या की मॅट्रिक्स गुणाकाराच्या नियमांनुसार, आम्हाला वेक्टर ट्रान्सपोज करणे आवश्यक आहे .

मॅट्रिक्स प्रतिनिधित्व

सदिश गुणाकाराच्या परिणामी, आम्हाला संख्या मिळते: , जे अपेक्षित आहे. ही संख्या अंदाजे आहे "-th" लक्ष्य निर्देशक. परंतु आम्हाला केवळ एका लक्ष्य मूल्याचे नाही तर त्या सर्वांचे अंदाजे आवश्यक आहे. हे करण्यासाठी, सर्वकाही लिहूया "-th" मॅट्रिक्स फॉरमॅटमध्ये रेग्रेसर . परिणामी मॅट्रिक्समध्ये परिमाण आहे :

आता रेखीय प्रतिगमन समीकरण फॉर्म घेईल:

लक्ष्य निर्देशकांची मूल्ये दर्शवूया (सर्व ) प्रति वेक्टर परिमाण :

आता आपण मॅट्रिक्स फॉरमॅटमध्ये रेखीय मॉडेलच्या गुणवत्तेचे मूल्यांकन करण्यासाठी समीकरण लिहू शकतो:

वास्तविक, या सूत्रातून आपल्याला ज्ञात असलेले सूत्र प्राप्त होते

ते कसे केले जाते? कंस उघडले जातात, भेदभाव केला जातो, परिणामी अभिव्यक्ती रूपांतरित होतात, इत्यादी, आणि आपण आता हेच करू.

मॅट्रिक्स परिवर्तने

चला कंस उघडूया

चला भिन्नतेसाठी एक समीकरण तयार करूया

हे करण्यासाठी, आम्ही काही परिवर्तने करू. त्यानंतरच्या गणनेमध्ये सदिश असल्यास ते आपल्यासाठी अधिक सोयीचे असेल समीकरणातील प्रत्येक उत्पादनाच्या सुरुवातीला दर्शवले जाईल.

रूपांतरण १

हे कसे घडले? या प्रश्नाचे उत्तर देण्यासाठी, फक्त गुणाकार केल्या जाणार्‍या मॅट्रिक्सचे आकार पहा आणि पहा की आउटपुटवर आपल्याला संख्या मिळते किंवा अन्यथा .

चला मॅट्रिक्स एक्सप्रेशन्सचे आकार लिहू.

रूपांतरण १

आपण ते परिवर्तन 1 प्रमाणेच लिहू

आउटपुटवर आपल्याला एक समीकरण मिळते जे आपल्याला वेगळे करावे लागेल:

आम्ही मॉडेल गुणवत्ता मूल्यांकन कार्य वेगळे करतो

चला वेक्टरच्या संदर्भात फरक करूया :

का प्रश्न नसावे, परंतु आम्ही इतर दोन अभिव्यक्तींमधील डेरिव्हेटिव्ह्ज निर्धारित करण्याच्या ऑपरेशनचे अधिक तपशीलवार परीक्षण करू.

भेदभाव १

चला भिन्नतेचा विस्तार करूया:

मॅट्रिक्स किंवा वेक्टरचे व्युत्पन्न निश्चित करण्यासाठी, तुम्हाला त्यांच्या आत काय आहे ते पहावे लागेल. चला पाहूया:

मॅट्रिक्सचा गुणाकार दर्शवू मॅट्रिक्स द्वारे . मॅट्रिक्स चौरस आणि शिवाय, ते सममितीय आहे. हे गुणधर्म नंतर आपल्यासाठी उपयुक्त ठरतील, चला ते लक्षात ठेवूया. मॅट्रिक्स परिमाण आहे :

आता आपले कार्य मॅट्रिक्सने व्हेक्टर योग्यरित्या गुणाकार करणे आणि "दोनदा दोन म्हणजे पाच" न मिळवणे आहे, म्हणून आपण लक्ष केंद्रित करू आणि अत्यंत सावधगिरी बाळगू.

तथापि, आम्ही एक जटिल अभिव्यक्ती साध्य केली आहे! खरं तर, आम्हाला एक संख्या मिळाली - एक स्केलर. आणि आता, वास्तविकतेसाठी, आम्ही भिन्नतेकडे जाऊ. प्रत्येक गुणांकासाठी परिणामी अभिव्यक्तीचे व्युत्पन्न शोधणे आवश्यक आहे आणि आउटपुट म्हणून डायमेंशन वेक्टर मिळवा . फक्त बाबतीत, मी कृतीद्वारे प्रक्रिया लिहून देईन:

1) द्वारे फरक करा , आम्हाला मिळते:

2) द्वारे फरक करा , आम्हाला मिळते:

3) द्वारे फरक करा , आम्हाला मिळते:

आउटपुट हे आकाराचे वचन दिलेले वेक्टर आहे :

आपण वेक्टरकडे अधिक बारकाईने पाहिल्यास, आपल्या लक्षात येईल की वेक्टरचे डावे आणि संबंधित उजवे घटक अशा प्रकारे गटबद्ध केले जाऊ शकतात की परिणामी, वेक्टर सादर केलेल्या वेक्टरपासून वेगळे केले जाऊ शकते. आकार . उदाहरणार्थ (वेक्टरच्या वरच्या ओळीचा डावा घटक) (वेक्टरच्या वरच्या ओळीचा उजवा घटक) म्हणून प्रस्तुत केले जाऊ शकते आणि - कसे इ. प्रत्येक ओळीवर. चला गट करूया:

चला वेक्टर काढू आणि आउटपुटवर आम्हाला मिळते:

आता, परिणामी मॅट्रिक्स जवळून पाहू. मॅट्रिक्स ही दोन मॅट्रिक्सची बेरीज आहे :

आपण लक्षात ठेवूया की थोड्या वेळापूर्वी आपण मॅट्रिक्सचा एक महत्त्वाचा गुणधर्म लक्षात घेतला होता - ते सममितीय आहे. या गुणधर्मावर आधारित, आम्ही आत्मविश्वासाने असे म्हणू शकतो की अभिव्यक्ती बराबर . घटकानुसार मॅट्रिकेस घटकाचे गुणाकार विस्तारून हे सहजपणे सत्यापित केले जाऊ शकते . आम्ही हे येथे करणार नाही; स्वारस्य असलेले ते स्वतः तपासू शकतात.

चला आपल्या अभिव्यक्तीकडे परत जाऊया. आमच्‍या परिवर्तनांनंतर, आम्‍हाला ते जसे पहायचे होते तसे ते झाले:

तर, आम्ही प्रथम भिन्नता पूर्ण केली आहे. दुसऱ्या अभिव्यक्तीकडे वळू.

भेदभाव १

मारलेल्या मार्गाचा अवलंब करूया. ते मागीलपेक्षा खूपच लहान असेल, त्यामुळे स्क्रीनपासून खूप दूर जाऊ नका.

चला वेक्टर आणि मॅट्रिक्स घटक घटकानुसार विस्तृत करू:

चला थोड्या काळासाठी गणनेतून दोन काढून टाकूया - ते मोठी भूमिका बजावत नाही, मग आम्ही ते त्याच्या जागी परत ठेवू. चला मॅट्रिक्सने वेक्टर गुणाकार करू. सर्व प्रथम, मॅट्रिक्स गुणाकार करू वेक्टरला , आम्हाला येथे कोणतेही निर्बंध नाहीत. आम्हाला आकार वेक्टर मिळतो :

चला खालील क्रिया करू - सदिश गुणाकार परिणामी वेक्टरकडे. बाहेर पडताना नंबर आमची वाट पाहत असेल:

मग आपण ते वेगळे करू. आउटपुटवर आपल्याला परिमाणाचा वेक्टर मिळतो :

मला काहीतरी आठवते? ते बरोबर आहे! हे मॅट्रिक्सचे उत्पादन आहे वेक्टरला .

अशा प्रकारे, दुसरा फरक यशस्वीरित्या पूर्ण झाला आहे.

त्याऐवजी एक निष्कर्ष

आता आपल्याला समानता कशी आली हे माहित आहे .

शेवटी, आम्ही मूलभूत सूत्रांचे रूपांतर करण्याच्या द्रुत मार्गाचे वर्णन करू.

चला किमान स्क्वेअर पद्धतीनुसार मॉडेलच्या गुणवत्तेचे मूल्यांकन करूया:

परिणामी अभिव्यक्ती वेगळे करूया:

साहित्य

इंटरनेट स्रोत:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

पाठ्यपुस्तके, समस्यांचा संग्रह:

1) उच्च गणितावरील व्याख्यानाच्या नोट्स: पूर्ण अभ्यासक्रम / डी.टी. लिखित - चौथी आवृत्ती. - एम.: आयरिस-प्रेस, 4
2) लागू प्रतिगमन विश्लेषण / N. Draper, G. Smith - 2nd Ed. - एम.: वित्त आणि सांख्यिकी, 1986 (इंग्रजीतून भाषांतर)
3) मॅट्रिक्स समीकरणे सोडवण्यासाठी समस्या:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

स्त्रोत: www.habr.com