Kami membawa persamaan regresi linier ke dalam bentuk matriks

Tujuan artikel ini adalah untuk memberikan dukungan kepada data scientist pemula. DI DALAM Artikel sebelumnya Kami telah menguraikan tiga cara untuk menyelesaikan persamaan regresi linier: solusi analitis, penurunan gradien, penurunan gradien stokastik. Kemudian untuk solusi analitis kami menerapkan rumus tersebut . Pada artikel kali ini, sesuai dengan judulnya, kami akan membenarkan penggunaan rumus tersebut atau dengan kata lain kami akan menurunkannya sendiri.

Mengapa masuk akal untuk memberikan perhatian ekstra pada formulanya ?

Dengan persamaan matriks dalam banyak kasus seseorang mulai mengenal regresi linier. Pada saat yang sama, perhitungan rinci tentang bagaimana rumus tersebut diturunkan jarang terjadi.

Misalnya, dalam kursus pembelajaran mesin dari Yandex, ketika siswa diperkenalkan dengan regularisasi, mereka ditawarkan untuk menggunakan fungsi dari perpustakaan sklearn, sementara tidak ada sepatah kata pun yang disebutkan tentang representasi matriks dari algoritma tersebut. Pada saat inilah beberapa pendengar mungkin ingin memahami masalah ini lebih detail - menulis kode tanpa menggunakan fungsi yang sudah jadi. Dan untuk melakukan ini, Anda harus terlebih dahulu menyajikan persamaan tersebut dengan pengatur dalam bentuk matriks. Artikel ini akan memungkinkan mereka yang ingin menguasai keterampilan tersebut. Mari kita mulai.

Kondisi awal

Indikator sasaran

Kami memiliki serangkaian nilai target. Misalnya, indikator target dapat berupa harga aset apa pun: minyak, emas, gandum, dolar, dll. Pada saat yang sama, yang kami maksud dengan sejumlah nilai indikator target adalah jumlah observasi. Pengamatan tersebut dapat berupa, misalnya, harga minyak bulanan untuk tahun tersebut, yaitu kita akan memiliki 12 nilai target. Mari kita mulai memperkenalkan notasinya. Mari kita nyatakan setiap nilai indikator target sebagai . Totalnya kita punya pengamatan, yang berarti kita dapat mewakili pengamatan kita sebagai .

Regresor

Kami berasumsi bahwa ada faktor-faktor yang sampai batas tertentu menjelaskan nilai-nilai indikator target. Misalnya, nilai tukar dolar/rubel sangat dipengaruhi oleh harga minyak, suku bunga Federal Reserve, dll. Faktor-faktor tersebut disebut regressor. Sementara itu, setiap nilai indikator target harus sesuai dengan nilai regressor, yaitu jika kita memiliki 12 indikator target untuk setiap bulan di tahun 2018, maka kita juga harus memiliki 12 nilai regressor untuk periode yang sama. Mari kita nyatakan nilai masing-masing regressor dengan . Biarlah dalam kasus kita hal ini terjadi regressor (yaitu faktor yang mempengaruhi nilai indikator target). Artinya, regressor kita dapat disajikan sebagai berikut: untuk regressor pertama (misalnya harga minyak): , untuk regresi ke-2 (misalnya, suku bunga Fed): , untuk "-th" regresi:

Ketergantungan indikator target pada regressor

Mari kita asumsikan ketergantungan indikator target dari regresi "Pengamatan ini dapat dinyatakan melalui persamaan regresi linier dengan bentuk:

Dimana - "-th" nilai regresi dari 1 hingga ,

— jumlah regresi dari 1 hingga

— koefisien sudut, yang mewakili jumlah rata-rata perubahan indikator target yang dihitung ketika regressor berubah.

Dengan kata lain, kami untuk semua orang (kecuali ) dari regressor kita menentukan koefisien “kita”. , lalu kalikan koefisiennya dengan nilai regressornya"th"pengamatan, sebagai hasilnya kita memperoleh perkiraan tertentu"-th" indikator target.

Oleh karena itu, kita perlu memilih koefisien tersebut , di mana nilai fungsi perkiraan kita akan ditempatkan sedekat mungkin dengan nilai indikator target.

Menilai kualitas fungsi perkiraan

Kami akan menentukan penilaian kualitas fungsi aproksimasi menggunakan metode kuadrat terkecil. Fungsi penilaian mutu dalam hal ini akan berbentuk sebagai berikut:

Kita perlu memilih nilai koefisien $w$ yang nilainya akan menjadi yang terkecil.

Mengubah persamaan menjadi bentuk matriks

Representasi vektor

Untuk memulainya, untuk membuat hidup Anda lebih mudah, Anda harus memperhatikan persamaan regresi linier dan memperhatikan koefisien pertama tidak dikalikan dengan regressor mana pun. Pada saat yang sama, ketika kita mengubah data ke dalam bentuk matriks, keadaan yang disebutkan di atas akan sangat mempersulit penghitungan. Dalam hal ini, diusulkan untuk memperkenalkan regressor lain untuk koefisien pertama dan menyamakannya dengan satu. Atau lebih tepatnya, setiap "samakan nilai ke-regressor ini dengan satu - lagi pula, jika dikalikan dengan satu, tidak ada yang akan berubah dari sudut pandang hasil perhitungan, tetapi dari sudut pandang aturan perkalian matriks, siksaan kita akan berkurang secara signifikan.

Sekarang, untuk saat ini, untuk menyederhanakan materi, asumsikan kita hanya mempunyai satu "-th" observasi. Lalu, bayangkan nilai-nilai para regressor”-th" pengamatan sebagai vektor . Vektor memiliki dimensi itu adalah baris dan 1 kolom:

Mari kita nyatakan koefisien yang diperlukan sebagai vektor , memiliki dimensi :

Persamaan regresi linier untuk "-th" observasi akan berbentuk:

Fungsi penilaian kualitas model linier akan berbentuk:

Harap dicatat bahwa sesuai dengan aturan perkalian matriks, kita perlu melakukan transposisi vektor .

Representasi matriks

Hasil perkalian vektor diperoleh bilangan: , yang diharapkan. Angka ini adalah perkiraan "-th" indikator target. Namun kita memerlukan perkiraan tidak hanya pada satu nilai target, namun semuanya. Untuk melakukan ini, mari kita tulis semuanya “-th" regressor dalam format matriks . Matriks yang dihasilkan mempunyai dimensi :

Sekarang persamaan regresi liniernya akan berbentuk:

Mari kita nyatakan nilai indikator target (semua ) per vektor dimensi :

Sekarang kita dapat menulis persamaan untuk menilai kualitas model linier dalam format matriks:

Sebenarnya dari rumus ini kita selanjutnya memperoleh rumus yang kita ketahui

Bagaimana cara melakukannya? Tanda kurung dibuka, diferensiasi dilakukan, ekspresi yang dihasilkan diubah, dll., dan inilah yang akan kita lakukan sekarang.

Transformasi matriks

Mari kita buka tanda kurungnya

Mari kita siapkan persamaan untuk diferensiasi

Untuk melakukan ini, kami akan melakukan beberapa transformasi. Dalam perhitungan selanjutnya akan lebih mudah bagi kita jika vektornya akan diwakili pada awal setiap produk dalam persamaan.

Konversi 1

Bagaimana hal itu terjadi? Untuk menjawab pertanyaan ini, lihat saja ukuran matriks yang dikalikan dan lihat bahwa pada keluarannya kita mendapatkan bilangan atau sebaliknya. .

Mari kita tuliskan ukuran ekspresi matriks.

Konversi 2

Mari kita tuliskan dengan cara yang mirip dengan transformasi 1

Pada output kita mendapatkan persamaan yang harus kita bedakan:

Kami membedakan fungsi penilaian kualitas model

Mari kita bedakan terhadap vektor :

Pertanyaan mengapa seharusnya tidak ada, tetapi kita akan memeriksa operasi penentuan turunan pada dua ekspresi lainnya secara lebih rinci.

Diferensiasi 1

Mari kita kembangkan diferensiasinya:

Untuk menentukan turunan suatu matriks atau vektor, Anda perlu melihat apa yang ada di dalamnya. Mari lihat:

Mari kita nyatakan hasil kali matriks melalui matriks . Matriks persegi dan terlebih lagi simetris. Sifat-sifat ini nantinya akan berguna bagi kita, mari kita ingat. Matriks memiliki dimensi :

Sekarang tugas kita adalah mengalikan vektor dengan matriks dengan benar dan tidak mendapatkan “dua kali dua adalah lima”, jadi mari berkonsentrasi dan berhati-hati.

Namun, kami telah mencapai ekspresi yang rumit! Faktanya, kami mendapat nomor - skalar. Dan sekarang, sebenarnya, kita beralih ke diferensiasi. Penting untuk mencari turunan dari ekspresi yang dihasilkan untuk setiap koefisien dan dapatkan vektor dimensi sebagai output . Untuk berjaga-jaga, saya akan menuliskan prosedur demi tindakan:

1) membedakan dengan , kita mendapatkan:

2) membedakan dengan , kita mendapatkan:

3) membedakan dengan , kita mendapatkan:

Outputnya adalah ukuran vektor yang dijanjikan :

Jika Anda melihat vektor lebih dekat, Anda akan melihat bahwa elemen kiri dan kanan yang bersesuaian dari vektor dapat dikelompokkan sedemikian rupa sehingga, sebagai hasilnya, sebuah vektor dapat diisolasi dari vektor yang disajikan. ukuran . Misalnya, (elemen kiri dari garis atas vektor) (elemen kanan dari garis atas vektor) dapat direpresentasikan sebagai Dan - bagaimana dll. pada setiap baris. Mari berkelompok:

Mari kita keluarkan vektornya dan pada output kita mendapatkan:

Sekarang, mari kita lihat lebih dekat matriks yang dihasilkan. Matriksnya merupakan penjumlahan dua buah matriks :

Mari kita ingat bahwa sebelumnya kita telah mencatat satu properti penting dari matriks - itu simetris. Berdasarkan sifat ini, kita dapat dengan yakin mengatakan ekspresi itu sama . Hal ini dapat dengan mudah diverifikasi dengan memperluas produk matriks elemen demi elemen . Kami tidak akan melakukan ini di sini, mereka yang tertarik dapat memeriksanya sendiri.

Mari kita kembali ke ekspresi kita. Setelah transformasi kami, hasilnya menjadi seperti yang kami inginkan:

Jadi, kita telah menyelesaikan diferensiasi pertama. Mari beralih ke ekspresi kedua.

Diferensiasi 2

Mari ikuti jalan yang telah dilalui. Ini akan jauh lebih pendek dari yang sebelumnya, jadi jangan terlalu jauh dari layar.

Mari kita perluas vektor dan elemen matriks demi elemen:

Mari kita hapus keduanya dari perhitungan untuk sementara - ini tidak memainkan peran besar, lalu kita kembalikan ke tempatnya. Kalikan vektor dengan matriks. Pertama-tama, mari kalikan matriksnya ke vektor , kami tidak memiliki batasan di sini. Kami mendapatkan vektor ukuran :

Mari kita lakukan tindakan berikut - kalikan vektornya ke vektor yang dihasilkan. Di pintu keluar nomor akan menunggu kita:

Nanti kita akan membedakannya. Pada output kita mendapatkan vektor dimensi :

Mengingatkanku pada sesuatu? Itu benar! Ini adalah produk dari matriks ke vektor .

Dengan demikian, diferensiasi kedua berhasil diselesaikan.

Alih-alih sebuah kesimpulan

Sekarang kita tahu bagaimana kesetaraan itu muncul .

Terakhir, kami akan menjelaskan cara cepat untuk mengubah rumus dasar.

Mari kita evaluasi kualitas model menggunakan metode kuadrat terkecil:

Mari kita bedakan ekspresi yang dihasilkan:

Literatur

Sumber internet:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

Buku teks, kumpulan soal:

1) Catatan kuliah matematika tingkat tinggi: kursus lengkap / D.T. Tertulis – edisi ke-4. – M.: Iris-tekan, 2006
2) Analisis regresi terapan / N. Draper, G. Smith - edisi ke-2. – M.: Keuangan dan Statistik, 1986 (terjemahan dari bahasa Inggris)
3) Masalah penyelesaian persamaan matriks:
fungsi-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Sumber: www.habr.com