Viime lineaarse regressiooni võrrandi maatriksivormingusse

Artikli eesmärk on toetada algajaid andmete teadlasi. Me eelnevas artiklis selgitasime kolmes lihtsas meetodis lineaarse regressiooni võrrandi lahendamise viise: analüütiline lahendus, gradientide allakäik ja stohhastiline gradientide allakäik. Analüütilise lahenduse korral kasutasime valemit . Käesolevas artiklis, nagu pealkirjast selgub, põhjendame selle valemi kasutamist, muude sõnadega, tuletame selle ise.

Miks on mõistetav, et sellele valemile tuleks rohkem tähelepanu pöörata ?

Just matriitsvõrrandist algab enamasti tutvumine lineaarse regressiooniga. Sellegipoolest on harva loetletud põhjalikke arvestusi selle kohta, kuidas valem tuletati.

Näiteks Yandexi masinõppe kursustel, kui osalejatele tutvustatakse regulaarimist, pakutakse välja kasutada funktsioone raamatukogust sklearn, samas ei mainita algoritmi maatrikslikku esitamist. Just sel hetkel võib mõnel kuulajal tekkida soov sellele küsimusele lähemalt järele uurida — kirjutada kood ilma valmis funktsioone kasutamata. Selleks tuleb kõigepealt esitada võrrand regulaarijaga maatrikselikult. Antud artikkel aitab soovijatel selliste oskustega tutvuda. Alustame.

Algsed tingimused

Sihtnäitajad

Meil on rida sihtnäitaja väärtusi. Näiteks võib sihtnäitajaks olla mingi vara hind: nafta, kuld, nisu, dollar jne. Samas, rida sihtnäitaja väärtusi tähendab meelespea arvude hulka. Need arvud võivad olla näiteks igakuised nafta hinnad aasta jooksul, mis tähendab, et meil on 12 sihtnäitaja väärtust. Alustame sümbolite tutvustamist. Määratleme iga sihtnäitaja väärtuse kui . Kokku on meil vaatlust, seega saame meie vaatlusi esitada kui .

Regressorid

Oletame, et on olemas tegurid, mis mingil määral seletavad sihtnäitaja väärtusi. Näiteks mõjutab dollari/rubli kurssi tugevalt naftahind, Fed'i intressimäär ja teised. Selliseid tegureid nimetatakse regressoreiteks. Samas peab iga sihtnäitaja väärtusele vastama regressori väärtus, st kui meil on 12 sihtnäitajat iga kuu 2018. aastal, siis peab ka regressoreid olema 12 sama perioodi jooksul. Määratlege iga regressori väärtus kaudu . Olgu meie puhul regressorit (st tegurid, mis mõjutavad sihtnäitaja väärtusi). Seega saame meie regressoreid esitada järgmiselt: 1. regressori (näiteks naftahinna) jaoks: , 2. regressori (näiteks Fed'i intressimäär) jaoks: , „-ndate” regressori jaoks:

Sihtnäitajate sõltuvus regressoritest

Eeldame, et sihtnäitaja sõltuvus regressoritest „-ndast” jälgimisest saab väljendada lineaarsest regressioonivõrrandist kujul:

, kus — «-ndate” regressori väärtus vahemikus 1 kuni ,

— regressoreid vahemikus 1 kuni

— nurkade koefitsiendid, mis esindavad suurust, millega muudetakse arvutatud sihtmärke keskmiselt regressorite muutumisel.

Teisisõnu, me määrame iga regressor (välja arvatud ) jaoks «oma» koefitsiendi , seejärel korrutame koefitsiendid regressorite väärtustega «-nda» vaatlus, mille tulemusel saame ligikaudse «-nda» sihtmärk.

Seega peame valima sellised koefitsiendid , mille korral meie approximatsiooni funktsiooni väärtused asuvad maksimaalselt lähedal sihtmärkide väärtustele.

Approximatsiooni funktsiooni kvaliteedi hindamine

Määrame approximatsiooni funktsiooni kvaliteedi hindamise meetodi kaudu, mis põhineb vähemuste ruutude meetodil. Sel juhul omandab kvaliteedi hindamise funktsioon järgmise kujul:

Me peame valima sellised koefitsiendi väärtused $w$, mille korral väärtus on minimaalne.

Muudame võrrandi matrikulaarsesse vormi

Vektoriline esitus

Alustuseks, et endale elu lihtsustada, tuleks pöörata tähelepanu lineaarse regressiooni võrrandile ja märkida, et esimene koefitsient ei korrutata ühegi regressoriga. Sellegipoolest, kui me muundame andmed maatriksivormi, siis avaldab eelnevalt mainitud asjaolu tõsist mõju arvutustele. Seetõttu on soovitatav lisada veel üks regressor esimese koefitsiendi jaoks ja seada see võrdseks ühega. Täpsemalt, iga "-ndat" väärtust selle regressori jaoks seada üheks — kuna ühega korrutades ei muutu meie arvutuste tulemus, lühendab see oluliselt meie kannatusi maatriksite korrutamise reeglite kontekstis.

Nüüd, mõneks ajaks, et materjali lihtsustada, oletame, et meil on ainult üks "-ne" vaatlus. Seejärel kujutame ette regressori "-nda" vaatluse väärtused vektorina . Vektor on mõõtmeid , st rida ja 1 veerg:

Otsitavad koefitsiendid kujutame vektorina , mille mõõtmed on :

Lineaarse regressiooni võrrand "-nda" vaatluse jaoks omandab järgmise kuju:

Lineaarse mudeli kvaliteedi hindamise funktsioon omandab järgmise kuju:

Pöörake tähelepanu, et maatriksite korrutamise reeglite kohaselt pidi me vektori .

Maatriksite esitus

Vektorite korrutamise tulemusena saame arvu: , nagu oodati. See number ongi ligikaudne „-nda” sihtrühma näitaja. Kuid me vajame lähenemist mitte ühe sihtrühma väärtuse, vaid kõigi jaoks. Selleks kirjutame kõik „-ndad” regressioonid maatriksi formaadis . Saadud maatriksi mõõtmed on :

Nüüd võtab lineaarse regressiooni võrrand järgmise kuju:

Märgime sihtrühmade väärtused (kõik ) vektorina mõõtmeid :

Nüüd saame kirjutada maatriksiformaadis lineaarse mudeli kvaliteedi hindamise võrrandi:

Tegelikult saadakse sellest valemist tuntud valem

Kuidas see toimub? Avaldised avatakse, diferentsiaalväljad arvutatakse, saadud valemid muudetakse jne, ja just sellega me praegu tegeleme.

Maatriksite ümberkujundamine

Avame avali

Valmistame võrrandi erinevusprotsessiks ette

Selleks teeme mõned ümberkujundamised. Järgmistes arvutustes on mugavam, kui vektor on esindatud igas korrutamises võrrandis.

Ümberkujundamine 1

Kuidas see juhtus? Selle küsimuse vastamiseks piisab, kui vaadata korrutatavate maatriksite mõõtmeid ja näha, et väljundiks saame arvu või muul viisil .

Kirjutame maatriksite väljendite mõõtmed üles.

Muutmine 2

Arutame sarnaselt muutmisele 1

Saame väljundi, mis on võrrand, mille me peame diferentsseerima:

Diferentsieerime mudeli kvaliteedi hindamise funktsiooni

Diferentsieerime vektori suhtes :

Küsimusi miks ei tohiks olla, kuid kahte teist väljendit sõltuvuse määratlemise operatsioone käsitleme põhjalikumalt.

Diferentsieerimine 1

Avame diferentsieerimise:

Kuna maatriksi või vektori tuletise määramine nõuab nende sisu vaatamist. Vaatame:

Määratleme maatriksite korrutise maatriksina . Maatriks on ruudukujuline ja lisaks on see sümmeetriline. Need omadused tulevad meile hiljem kasuks, seega hoiame need meeles. Maatriks on mõõtmeid :

Nüüd on meie ülesanne õigesti korrutada vektoreid maatriksiga ja mitte saada "kaks korda kaks viis", seega keskendume ja oleme äärmiselt ettevaatlikud.

Kuid meil õnnestus saavutada keeruline väljend! Tegelikult saime arvu – skalari. Ja nüüd, tõeliselt, liigume edasi diferentsieerimise juurde. Peame leidma saadud väljendi tuletise iga koefitsiendi suhtes. ja saama väljundiks vektori mõõtmetega . Väheseks juhiseks kirjutan protseduurid toiminguteks:

1) diferentsieerime suhtes , saame:

2) diferentsieerime suhtes , saame:

3) diferentsieerime suhtes , saame:

Väljundiks on lubatud vektor mõõtmetega :

Kui vaadata vektorit lähemalt, siis on võimalik märgata, et vasakpoolsed ja vastavad parempoolsed elemendid vektoris saab grupeerida nii, et lõpuks antud vektoris saab välja tuua vektori mõõtmega . Näiteks, (vektori ülemise rea vasak element) (vektori ülemise rea parem element) saab esitada kui , ja – nagu jne igas reas. Grupeerime:

Võtame välja vektori ja saame väljundiks:

Nüüd vaatame saadud maatriksile. Maatriks on kahe maatriksi summa :

Kasutame meelde, et mõni hetk tagasi märkisime ära ühe olulise omaduse maatriksi — see on sümmeetriline. Lähtudes sellest omadusest, võime kindlalt öelda, et väljend on võrdne . Seda on lihtne kontrollida, avades elementide kaupa maatriksite korrutamise . Me ei hakka seda siin tegema, soovijad võivad kontrollida ise.

Naaseme meie väljendi juurde. Pärast meie teisendusi saime selle, nagu soovisime:

Nii et esimese diferentsialiga saime hakkama. Liigume teise väljendi juurde.

Diferentsiaal 2

Jätkame tuttavat rada. See on palju lühem kui eelmine, seega ärge hoidke ekraanist kaugele.

Avame elementide kaupa vektorid ja maatriksi:

Käesoleval ajal eemaldame arvutustest kahek numbrit - see ei mängi suurt rolli, hiljem paneme selle tagasi. Korrutame vektorid maatriksiga. Esiteks korrutame maatriksi vektoriga , siin ei ole meil mingeid piiranguid. Saame vektori suurusega :

Teeme järgmise sammu - korrutame vektori saadud vektoriga. Väljundis ootab meid number:

Seda me ka diffeerime. Väljundis saame vektori suurusega :

Kas see meenutab midagi? Täpselt! See on maatriksite korrutamine vektoriga .

Seega on teine diferentsieerimine edukalt lõpetatud.

Kokkuvõtte asemel

Nüüd teame, kuidas see võrdus tekkis. .

Kokkuvõttes kirjeldame lühikest teed põhiformulite muutmiseks.

Hindame mudeli kvaliteeti, kasutades minimaalsete ruutude meetodit:

Diferentsieerime saadud väljendi:

Kirjandus

Internetiallikad:

1) habr.com/ru/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/ru/post/307004
4) nabatchikov.com/blog/view/matrix_der

Õpikute, õpikogude kogud:

1) Kõrge matemaatika loengute konspekt: täies mahus / D.T. Pismennõi – 4. väljaanne – M.: Ajris-Press, 2006
2) Rakenduslik regressioonianalüüs / N. Draper, H. Smith – 2. väljaanne – M.: Finantsid ja statistika, 1986 (tõlge inglise keelest)
3) Ülesanded matriitside võrrandite lahendamiseks:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Allikas: habr.com