Kita nggawa persamaan regresi linier menyang wangun matriks

Tujuan artikel kasebut yaiku kanggo nyedhiyakake dhukungan kanggo para ilmuwan data wiwitan. ING artikel sadurunge Kita wis mbatesi telung cara kanggo ngatasi persamaan regresi linier: solusi analitis, keturunan gradien, keturunan gradien stokastik. Banjur kanggo solusi analitis kita nggunakake rumus . Ing artikel iki, minangka judhul nyaranake, kita bakal mbenerake panggunaan rumus iki utawa, kanthi tembung liya, kita bakal entuk dhewe.

Apa iku ndadekake pangertèn kanggo mbayar manungsa waé ekstra kanggo rumus ?

Kanthi persamaan matriks, umume wong wiwit kenal karo regresi linier. Ing wektu sing padha, petungan rinci babagan carane rumus kasebut diturunake arang banget.

Contone, ing kursus machine learning saka Yandex, nalika siswa dikenalake menyang regularisasi, ditawakake nggunakake fungsi saka perpustakaan. sklearn, nalika ora ana tembung kasebut babagan perwakilan matriks saka algoritma. Ing wayahe sawetara pamireng bisa uga pengin ngerti masalah iki kanthi luwih rinci - nulis kode tanpa nggunakake fungsi sing wis siap. Lan kanggo nindakake iki, sampeyan kudu nampilake persamaan kanthi regularizer ing wangun matriks. Artikel iki bakal ngidini wong sing pengin nguwasani katrampilan kasebut. Ayo dadi miwiti.

Kondisi wiwitan

Indikator target

Kita duwe sawetara nilai target. Contone, indikator target bisa dadi rega aset apa wae: minyak, emas, gandum, dolar, lsp. Ing wektu sing padha, kanthi sawetara nilai indikator target tegese jumlah pengamatan. Pengamatan kasebut bisa uga, contone, rega minyak saben wulan kanggo taun, yaiku, kita bakal duwe 12 nilai target. Ayo miwiti ngenalake notasi. Ayo kita ndudohke saben Nilai saka indikator target minangka . Ing total kita duwe pengamatan, kang tegese kita bisa makili pengamatan kita minangka .

Regressors

Kita bakal nganggep manawa ana faktor sing nerangake sawetara nilai indikator target. Contone, kurs dollar / ruble dipengaruhi banget dening rega minyak, tingkat Federal Reserve, lan liya-liyane. Faktor kasebut diarani regressor. Ing wektu sing padha, saben nilai indikator target kudu cocog karo nilai regressor, yaiku, yen kita duwe 12 indikator target saben wulan ing 2018, mula kita uga kudu duwe 12 nilai regressor kanggo periode sing padha. Ayo kita nemtokake nilai saben regressor dening . Ayo ing kasus kita ana regressor (mis. faktor-faktor yang mempengaruhi nilai indikator sasaran). Iki tegese regressor kita bisa ditampilake ing ngisor iki: kanggo regressor 1 (contone, rega lenga): , kanggo regressor 2 (contone, tingkat Fed): , kanggo"-th" regressor:

Katergantungan indikator target ing regressor

Ayo kita nganggep yen katergantungan indikator target saka regressor"th" pengamatan bisa ditulis liwat persamaan regresi linear saka wangun:

ngendi - "-th" nilai regressor saka 1 kanggo ,

- nomer regressors saka 1 kanggo

- koefisien sudut, sing makili jumlah sing indikator target sing diitung bakal ganti rata-rata nalika regressor diganti.

Ing tembung liyane, kita kanggo kabeh wong (kajaba ) saka regressor kita nemtokake koefisien "kita". , banjur tikelake koefisien kanthi nilai regressor "th" pengamatan, minangka asil kita entuk perkiraan tartamtu "-th" indikator target.

Mulane, kita kudu milih koefisien kasebut , ing ngendi nilai-nilai fungsi kira-kira kita bakal dumunung cedhak karo nilai indikator target.

Netepake kualitas fungsi kira-kira

Kita bakal nemtokake evaluasi kualitas fungsi kira-kira kanthi nggunakake metode kuadrat paling ora. Fungsi penilaian kualitas ing kasus iki bakal njupuk formulir ing ngisor iki:

Kita kudu milih nilai-nilai kasebut saka koefisien $w$ sing nilai kasebut bakal paling cilik.

Ngonversi persamaan menyang wangun matriks

Perwakilan vektor

Kanggo miwiti, kanggo nggawe urip luwih gampang, sampeyan kudu menehi perhatian marang persamaan regresi linier lan sok dong mirsani yen koefisien pisanan ora pingan dening regressor sembarang. Ing wektu sing padha, nalika kita ngowahi data dadi wangun matriks, kahanan sing kasebut ing ndhuwur bakal nggawe rumit petungan. Ing babagan iki, diusulake kanggo ngenalake regressor liyane kanggo koefisien pisanan lan padha karo siji. Utawa, saben"equate nilai th saka regressor iki kanggo siji - sawise kabeh, nalika pingan dening siji, ora ana owah-owahan saka titik tampilan saka asil petungan, nanging saka titik tampilan aturan kanggo produk saka matriks, siksa kita. bakal suda sacara signifikan.

Saiki, saiki, kanggo nyederhanakake materi, ayo nganggep yen kita mung duwe siji "-th" pengamatan. Banjur, bayangake nilai-nilai regressor "-th" pengamatan minangka vektor . Vektor nduweni dimensi , sing baris lan 1 kolom:

Ayo makili koefisien sing dibutuhake minangka vektor , gadhah dimensi :

Persamaan regresi linier kanggo "-th" pengamatan bakal njupuk wangun:

Fungsi kanggo netepake kualitas model linear bakal njupuk wangun:

Wigati dimangerteni manawa miturut aturan perkalian matriks, kita kudu transpose vektor .

Perwakilan matriks

Minangka asil multiplying vektor, kita entuk nomer: , sing arep diarep-arep. Nomer iki minangka perkiraan"-th" indikator target. Nanging kita butuh perkiraan ora mung siji target, nanging kabeh. Kanggo nindakake iki, ayo nulis kabeh ""th" regressors ing format matriks . Matriks asil nduweni dimensi :

Saiki persamaan regresi linier bakal dadi:

Ayo kita nemtokake nilai indikator target (kabeh ) saben vektor dimensi :

Saiki kita bisa nulis persamaan kanggo netepake kualitas model linear ing format matriks:

Sejatine, saka rumus iki kita luwih entuk rumus sing kita kenal

Carane iku rampung? Kurung dibukak, diferensiasi ditindakake, ekspresi sing diasilake diowahi, lan liya-liyane, lan iki bakal ditindakake saiki.

Transformasi matriks

Ayo mbukak kurung

Ayo nyiyapake persamaan kanggo diferensiasi

Kanggo nindakake iki, kita bakal nindakake sawetara transformasi. Ing petungan sakteruse bakal luwih trep kanggo kita yen vektor bakal dituduhake ing wiwitan saben produk ing persamaan.

Konversi 1

Kepriye kedadeyane? Kanggo mangsuli pitakon iki, deleng ukuran matriks sing dikalikake lan deleng manawa ing output kita entuk nomer utawa liya. .

Ayo nulis ukuran ekspresi matriks.

Konversi 2

Ayo kita nulis kanthi cara sing padha karo transformasi 1

Ing output kita entuk persamaan sing kudu dibedakake:

Kita mbedakake fungsi penilaian kualitas model

Ayo mbedakake babagan vektor :

Pitakonan kok ora ana, nanging kita bakal nliti operasi kanggo nentokake turunan ing loro ungkapan liyane rinci.

Diferensiasi 1

Ayo nggedhekake diferensiasi:

Kanggo nemtokake turunan saka matriks utawa vektor, sampeyan kudu ndeleng apa sing ana ing njero. Ayo katon:

Ayo kita nuduhake produk saka matriks liwat matriks . Matriks kothak lan liyane, iku simetris. Sifat-sifat kasebut bakal migunani kanggo kita mengko, ayo elinga. Matriks nduweni dimensi :

Saiki tugas kita yaiku kanthi bener multiply vektor kanthi matriks lan ora entuk "kaping pindho loro lima," mula ayo konsentrasi lan ati-ati banget.

Nanging, kita wis entuk ekspresi sing rumit! Nyatane, kita entuk nomer - skalar. Lan saiki, nyatane, kita pindhah menyang diferensiasi. Sampeyan kudu nemokake turunan saka ekspresi sing diasilake kanggo saben koefisien lan entuk vektor dimensi minangka output . Yen ngono, aku bakal nulis prosedur kanthi tumindak:

1) mbedakake dening , kita entuk:

2) mbedakake dening , kita entuk:

3) mbedakake dening , kita entuk:

Output minangka vektor ukuran sing dijanjekake :

Yen sampeyan ndeleng vektor kanthi luwih cetha, sampeyan bakal weruh manawa unsur kiwa lan tengen sing cocog saka vektor bisa diklompokaké kanthi cara sing, minangka asil, vektor bisa diisolasi saka vektor sing ditampilake. ukuran . Contone, (elemen kiwa garis ndhuwur vektor) (unsur tengen baris ndhuwur vektor) bisa dituduhake minangka lan - minangka lsp. ing saben baris. Ayo klompok:

Ayo njupuk vektor lan ing output kita entuk:

Saiki, ayo goleki kanthi luwih rinci babagan matriks sing diasilake. Matriks minangka jumlah saka rong matriks :

Ayo kita kelingan sing sethitik sadurungé kita nyathet siji sifat penting saka matriks - iku simetris. Adhedhasar sifat iki, kita bisa kanthi yakin ngomong yen ekspresi kasebut padha karo . Iki bisa gampang diverifikasi kanthi ngembangake produk saka unsur matriks kanthi unsur . Kita ora bakal nindakake iki ing kene; sing kasengsem bisa mriksa dhewe.

Ayo bali menyang ekspresi kita. Sawise owah-owahan kita, ternyata kaya sing dikarepake:

Dadi, kita wis ngrampungake diferensiasi pisanan. Ayo pindhah menyang ekspresi kapindho.

Diferensiasi 2

Ayo padha ngetutake dalan sing diantemi. Bakal luwih cendhek tinimbang sing sadurunge, mula aja adoh banget saka layar.

Ayo nggedhekake vektor lan unsur matriks kanthi unsur:

Ayo padha mbusak loro saka petungan kanggo sawetara - iku ora muter peran gedhe, banjur kita sijine maneh ing panggonan. Ayo multiply vektor dening matriks. Kaping pisanan, ayo multiply matriks kanggo vektor , kita ora duwe watesan ing kene. Kita entuk vektor ukuran :

Ayo nindakake tumindak ing ngisor iki - multiply vektor menyang vektor asil. Ing metu nomer bakal nunggu kita:

Banjur kita bakal mbedakake. Ing output kita entuk vektor dimensi :

Ngelingake kula soko? Bener! Iki minangka produk saka matriks kanggo vektor .

Mangkono, diferensiasi kapindho kasil rampung.

Tinimbang kesimpulan

Saiki kita ngerti carane kesetaraan teka .

Pungkasan, kita bakal njlèntrèhaké cara cepet kanggo ngowahi rumus dhasar.

Ayo ngevaluasi kualitas model miturut metode kuadrat paling ora:

Ayo kita mbedakake ekspresi sing diasilake:

Sastra

Sumber internet:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

Buku teks, koleksi masalah:

1) Cathetan kuliah babagan matematika sing luwih dhuwur: kursus lengkap / D.T. Ditulis - ed 4. – M.: Iris-press, 2006
2) Analisis regresi Applied / N. Draper, G. Smith - 2nd ed. – M.: Keuangan lan Statistik, 1986 (terjemahan saka basa Inggris)
3) Masalah kanggo ngrampungake persamaan matriks:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Source: www.habr.com