Toome välja lineaarse regressiooni võrrandi maatriksivormis

Artikli eesmärk on toetada algajaid andmeteadlasi. Me eelnevas artiklis oleme lihtsate näidete abil lahendanud kolme meetodi kaudu lineaarse regressiooni valemit: analüütiline lahendus, gradientide langus ja stohhastiline gradientide langus. Analüütilise lahenduse puhul kasutasime valemit . Käesolevas artiklis, nagu pealkirjast näha, selgitame selle valemi kasutamist või teisisõnu, tuletame selle ise.

Miks on mõistlik pöörata rohkem tähelepanu valemile ?

Just maatrikseequatsiooni kaudu algab enamikul juhtudel tutvumine lineaarse regressiooniga. Samas esinevad üksikasjalikud arvutused selle kohta, kuidas valemit tuletatakse, harva.

Näiteks, Jandexi masinõppe kursustel, kui osalejad tutvuvad regulatsiooni mõistega, soovitatakse kasutada funktsioone raamatukogust sklearn, samas ei mainita sõnagi algoritmi maatrikslisest esitust. Just selles etapis võib mõnede kuulajate seas tekkida soov seda teemat süvitsi uurida — kirjutada kood ilma valmis funktsioone kasutamata. Selleks on kõigepealt vaja esitada regulatooriga võrrand maatriksvormis. Antud artikkel aitab neil, kes soovivad selliseid oskusi omandada. Alustame.

Algtingimused

Sihtnäitajad

Meil on rida sihtnäitaja väärtusi. Näiteks võib sihtnäitaja olla mingisuguse vara hind: nafta, kuld, nisu, dollar jne. Samas mõistame sihtnäitaja väärtuste all vaatluspunktide arvu. Need vaatlemised võivad näiteks olla kuupalga nafta hinnad aasta jooksul, seega on meil 12 sihtnäitaja väärtust. Alustame tähistuste sisseviimist. Tähistame iga sihtnäitaja väärtust kui . Kokku on meil vaatluspunkte, seega võime meie vaatlusi esitada kui .

Regressorid

Oletame, et on olemas tegurid, mis mingil määral selgitavad sihistatava näitaja väärtusi. Näiteks mõjutavad dollari/ru rubla vahetuskurssi tugevalt nafta hind, FRS-i intressimäär jne. Nende tegureid nimetatakse regressoreiks. Samuti peab igale sihitatavale näitajale vastama regressori väärtus, st kui meil on 2018. aasta igakuine 12 sihitatud näitajat, siis peavad meil olema ka sama perioodi jooksul 12 regressori väärtust. Märgime igasuguste regressori väärtused. Oletame, et meie juhtumite arv on regressorit (st tegurid, mis mõjutavad sihitatava näitaja väärtusi). Seega saab meie regressoreid esitada järgmiselt: 1. regressori (nt nafta hind) puhul: , 2. regressori (nt FRS-i intressimäär) puhul: , "-da" regressori puhul:

Sihitavate näitajate sõltuvus regressoreist

Oletame, et sihitatava näitaja sõltuvus regressoritest "-st" vaatlusest saab väljendada järgmise kujulise lineaarse regressiooni võrrandiga:

, kus — «-ndat" regressori väärtust numbriga 1 kuni ,

- regressoreid numbriga 1 kuni

- nurkade koefitsiendid, mis näitavad, kui palju sihitatud näitaja arvutatud väärtus muutub seoses regressori muutumisega.

Teisisõnu määrame iga (välja arvatud ) regressori jaoks "enda" koefitsiendi , seejärel korrutame koefitsiendid regressori "-ndast" vaatlusest väärtustega, mille tulemusena saame mingisuguse ligikaudse "-nda" sihitatava näitaja väärtuse.

Seega peame leidma sellised koefitsiendid , mille puhul meie ligikaudse funktsiooni väärtused asuvad võimalikult lähedal sihitatava näitaja väärtustele.

Ligikaudse funktsiooni kvaliteedi hindamine

Määrame ligikaudse funktsiooni kvaliteedi hindamise meetodiks väikseimate ruutude meetodi. Kvaliteedi hindamise funktsioon võtab seejuures järgmise vormi:

Me vajame, et leida sellised koefitsiendi väärtused $w$, mille puhul väärtus on kõige väiksem.

Viime võrrandi matriitsivormingusse

Vektori esitus

Esiteks, et endale elu lihtsamaks teha, tuleks tähelepanu pöörata lineaarse regressiooni võrrandile ja märgata, et esimene koefitsient ei jagu ühegi regressori kaudu. Sellegipoolest, kui me teisendame andmed maatriksivormi, raskendab see eespool mainitud asjaolu oluliselt arvutusi. Seetõttu on soovitatav tutvustada veel üht regressorit esimese koefitsiendi jaoks. ja seada see võrdes ühega. Õigemini, iga «-ndat» väärtust sedast regressorit tuleks seada üheks – kuna ühele korrutades ei muutu meie arvutuste tulemused, siis maatriksite korrutamise reeglite vaatevinklist vähendab see oluliselt meie vaeva.

Nüüd, mõneks ajaks, materjali lihtsustamiseks, oletame, et meil on vaid üks «-ne» vaatluse. Seega kujutame «-se» vaatluse regressori väärtused vektorina . Vektor on mõõtmetega , see tähendab rida ja 1 veerg:

Otsitavad koefitsiendid kujutame vektorina , mille mõõtmed on :

Lihtline regressiooni võrrand «-nda» vaatluse jaoks näeb välja järgmine:

Lihtmudeleid hindamise funktsioon näeb välja nagu:

Pöörake tähelepanu, et maatriksite korrutamise reeglite kohaselt pidi me vektori .

Maatrikside esitus

Vektorite korrutamise tulemusena saame arvu: , nagu oodata oli. See number on «-nda» sihiseisu lähendus. Kuid me vajame lähendust mitte ühe sihiseisu väärtusele, vaid kõigile. Selleks kirjutame kõik «-sed» regressoris maatriksi formaadi . Saadud maatriks on mõõtmetega :

Nüüd näeb lineaarse regressiooni võrrand välja nagu:

Määrame sihiseisundi väärtused (kõik ) vektorina mõõtmega :

Nüüd saame kirjutada maatriksite vormis lineaarse mudeli kvaliteedi hindamise võrrandi:

Omaette, sellest valemist saame teada klassikalise valemi

Kuidas see aset leiab? Avame sulud, teeme diferentseerimise, muundame saadud avaldised jne, ja just sellega me praegu tegeleme.

Maatriksite muutused

Avame sulud

Valmistame võrrandi diferentseerimiseks

Selleks teeme mõned muudatused. Edasiarvutustes on meil mugavam, kui vektor on esitatud iga korrutise alguses võrrandis.

Muutmine 1

Kuidas see juhtus? Sellele küsimusele vastamiseks piisab, kui vaadata korrutatavate maatriksite suurusi ja näha, et väljundiks saame arvu või teisiti. .

Kirjutame maatriksite väljendite suurused üles.

Muutmine 2

Tegutseme sarnaselt muutmisega 1

Väljundiks on võrrand, mida peame diferentseerima:

Diferentseerime mudeli kvaliteedi hindamise funktsiooni.

Diferentseerime vektori suhtes. :

Küsimusi, miks olema ei peaks, kuid kahes muus väljendis diferentseerimise operatsioonid uurime põhjalikumalt.

Diferentseerimine 1

Läheneme diferentseerimisele:

Et määrata maatriksi või vektori derivaat, tuleb vaadata, mis seal sees on. Vaatame:

Määratleme maatriksite korrutise maatriksiga . Maatriks on ruudukujuline ja veelgi enam, see on sümmeetriline. Need omadused tulevad meile edaspidi kasuks, jätame need meelde. Maatriks on mõõtmetega :

Nüüd on meie ülesanne õigesti korrutada vektoreid maatriksiga ja mitte saada "kaks korda kaks viis", seega keskendume ja oleme äärmiselt ettevaatlikud.

Siiski, meil on keeruline väljend! Tegelikult saime arvu — skalaari. Ja nüüd, tõeliselt, liikume diferentseerimise juurde. Oleme kohustatud leidma saadud väljendi deriveeritud iga koefitsiendi suhtes ja saama väljundiks vektori suurusega . Igaks juhuks seadistan protseduurid tegevuste jaoks:

1) diferentseerime suhtega , saame:

2) diferentseerime suhtega , saame:

3) diferentseerime suhtega , saame:

Väljundiks on lubatud vektor suurusega :

Kui vaadata vektorit lähemalt, siis võib märgata, et vektori vasakud ja vastavad paremad elemendid saab grupeerida viisil, et lõpuks esitatud vektoris saab eristada vektorit suurusega . Näiteks, (vasak element vektori ülemisel real) (parem element vektori ülemisel real) saab esitada kui , vaid — nagu jne. igal real. Grupeerime:

Viime vektori välja ja saame väljundiks:

Nüüd vaatame saadud maatriksile. Maatriks on kahe maatriksi summa :

Käigelt meenutame, et mõned aega tagasi märkisime ühte olulist omadust maatriksi kohta — see on sümmeetriline. Lähtuvalt sellest omadusest saame kindlalt väita, et avaldis on võrdne . Seda on lihtne kontrollida, avades elementide kaupa maatriksite korrutise. . Me ei tee seda siin, soovijad võivad kontrollida ise.

Naaseme meie väljendi juurde. Pärast meie muundamisi näeb see välja just selline, nagu soovisime:

Nii et oleme esimeses diferentsseerimises hakkama saanud. Liigume teise väljendi juurde.

Diferentseerimine 2

Läheme mööda rajatud teed. See on oluliselt lühem kui eelmine, seega ärge sügavale ekraanilt kaugemale eemalduda.

Ava meie elemendid vektoritest ja maatriksist:

Kunsti kātke 2 välja arvutustest — see ei mängi suurt rolli, hiljem paneme selle tagasi. Korrutame vektoreid maatriksiga. Esiteks korrutame maatriksi vektoriga , siin ei ole meil mingeid piiranguid. Saame vektori suurusega :

Teeme järgmise teo — korrutame vektori saadud vektoriga. Väljundis ootab meid number:

Just seda me diferentsseerime. Väljundis saame vektori dimensiooniga :

Kas see ei tuleta midagi meelde? Täpselt! See on maatriksi toode vektoriga .

Niisiis, teine diferentsseerimine on edukalt lõpetatud.

Lõpetuseks

Nüüd me teame, kuidas saime võrdse tulemuse .

Lõpetuseks kirjeldame kiiret teed põhivalemite muundamiseks.

Hindame mudeli kvaliteeti väikseimate ruutude meetodi kohaselt:

Diferentseerime saadud väljendi:

Kirjandus

Interneti allikad:

1) habr.com/ru/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/ru/post/307004
4) nabatchikov.com/blog/view/matrix_der

Õpikute, ülesannete kogumid:

1) Kõrge matemaatika loengute konspekt: täielik kursus / D.T. Pismennyi – 4. väljaanne – M.: Airis-press, 2006
2) Rakenduslik regressioonanalüüs / N. Draper, G. Smith – 2. väljaanne – M.: Finantsid ja statistika, 1986 (tõlge inglise keelest)
3) Maatriksvõrrandite lahendamise ülesanded:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Allikas: habr.com