Formålet med artikkelen er å gi støtte til begynnende dataforskere. I Vi har skissert tre måter å løse en lineær regresjonsligning på: analytisk løsning, gradientnedstigning, stokastisk gradientnedstigning. Så for den analytiske løsningen brukte vi formelen . I denne artikkelen, som tittelen antyder, vil vi rettferdiggjøre bruken av denne formelen, eller med andre ord, vi vil utlede den selv.
Hvorfor det er fornuftig å være ekstra oppmerksom på formelen ?
Det er med matriseligningen man i de fleste tilfeller begynner å bli kjent med lineær regresjon. Samtidig er detaljerte beregninger av hvordan formelen ble utledet sjeldne.
For eksempel, i maskinlæringskurs fra Yandex, når studenter blir introdusert for regularisering, tilbys de å bruke funksjoner fra biblioteket lære, mens ikke et ord er nevnt om matrisepresentasjonen av algoritmen. Det er i dette øyeblikk at noen lyttere kanskje vil forstå dette problemet mer detaljert - skriv kode uten å bruke ferdige funksjoner. Og for å gjøre dette, må du først presentere ligningen med en regularizer i matriseform. Denne artikkelen vil tillate de som ønsker å mestre slike ferdigheter. La oss komme i gang.
Innledende forhold
Målindikatorer
Vi har en rekke målverdier. Målindikatoren kan for eksempel være prisen på en hvilken som helst eiendel: olje, gull, hvete, dollar, etc. Samtidig mener vi med en rekke målindikatorverdier antall observasjoner. Slike observasjoner kan for eksempel være månedlige oljepriser for året, det vil si at vi vil ha 12 målverdier. La oss begynne å introdusere notasjonen. La oss betegne hver verdi av målindikatoren som . Totalt har vi observasjoner, som betyr at vi kan representere våre observasjoner som .
Regressorer
Vi vil anta at det er faktorer som til en viss grad forklarer verdiene til målindikatoren. For eksempel er dollar/rubelkursen sterkt påvirket av oljeprisen, Federal Reserve-kursen osv. Slike faktorer kalles regressorer. Samtidig må hver målindikatorverdi tilsvare en regressorverdi, det vil si at hvis vi har 12 målindikatorer for hver måned i 2018, så bør vi også ha 12 regressorverdier for samme periode. La oss betegne verdiene til hver regressor med . La det være i vårt tilfelle regressorer (dvs. faktorer som påvirker målindikatorverdiene). Dette betyr at våre regressorer kan presenteres som følger: for 1. regressor (for eksempel oljeprisen): , for den andre regressoren (for eksempel Fed-renten): , For "-th" regressor:
Målindikatorers avhengighet av regressorer
La oss anta at avhengigheten av målindikatoren fra regressorer"th" observasjonen kan uttrykkes gjennom en lineær regresjonsligning av formen:
Der - "-th" regressorverdi fra 1 til ,
— antall regressorer fra 1 til
— vinkelkoeffisienter, som representerer mengden som den beregnede målindikatoren vil endres med i gjennomsnitt når regressoren endres.
Med andre ord, vi er for alle (unntatt ) av regressoren bestemmer vi "vår" koeffisient , multipliser deretter koeffisientene med verdiene til regressorene "th" observasjon, som et resultat får vi en viss tilnærming "-th" målindikator.
Derfor må vi velge slike koeffisienter , der verdiene til vår tilnærmede funksjon vil være plassert så nær målindikatorverdiene som mulig.
Vurdere kvaliteten på den tilnærmede funksjonen
Vi vil bestemme kvalitetsvurderingen av den approksimerende funksjonen ved å bruke minste kvadraters metode. Kvalitetsvurderingsfunksjonen vil i dette tilfellet ha følgende form:
Vi må velge slike verdier av koeffisientene $w$ som verdien for vil være den minste.
Konvertering av ligningen til matriseform
Vektor representasjon
Til å begynne med, for å gjøre livet ditt enklere, bør du ta hensyn til den lineære regresjonsligningen og legge merke til at den første koeffisienten multipliseres ikke med noen regressor. Samtidig, når vi konverterer dataene til matriseform, vil de ovennevnte omstendighetene alvorlig komplisere beregningene. I denne forbindelse foreslås det å innføre en annen regressor for den første koeffisienten og sidestille det med en. Eller rettere sagt, hver "likestille den te verdien av denne regressoren til en - når alt kommer til alt, når det multipliseres med en, vil ingenting endre seg fra synspunktet til resultatet av beregningene, men fra synspunktet til reglene for produktet av matriser, vår pine vil bli betydelig redusert.
Nå, for øyeblikket, for å forenkle materialet, la oss anta at vi bare har en "-th" observasjon. Så forestill deg verdiene til regressorene "-th" observasjoner som en vektor . Vektor har dimensjon Som er, rader og 1 kolonne:
La oss representere de nødvendige koeffisientene som en vektor , som har dimensjon :
Lineær regresjonsligning for "-th" observasjon vil ha formen:
Funksjonen for å vurdere kvaliteten på en lineær modell vil ha formen:
Vær oppmerksom på at i samsvar med reglene for matrisemultiplikasjon, trengte vi å transponere vektoren .
Matriserepresentasjon
Som et resultat av å multiplisere vektorer får vi tallet: , som er å forvente. Dette tallet er omtrentlig "-th" målindikator. Men vi trenger en tilnærming av ikke bare én målverdi, men alle. For å gjøre dette, la oss skrive ned alt "-th" regressorer i matriseformat . Den resulterende matrisen har dimensjonen :
Nå vil den lineære regresjonsligningen ha formen:
La oss betegne verdiene til målindikatorer (alle ) per vektor dimensjon :
Nå kan vi skrive ligningen for å vurdere kvaliteten til en lineær modell i matriseformat:
Faktisk, fra denne formelen får vi videre formelen kjent for oss
Hvordan gjøres det? Klammerne åpnes, differensiering utføres, de resulterende uttrykkene transformeres osv., og det er akkurat det vi skal gjøre nå.
Matrisetransformasjoner
La oss åpne parentesene
La oss utarbeide en ligning for differensiering
For å gjøre dette vil vi utføre noen transformasjoner. I påfølgende beregninger vil det være mer praktisk for oss hvis vektoren vil være representert i begynnelsen av hvert produkt i ligningen.
Konvertering 1
Hvordan skjedde det? For å svare på dette spørsmålet, se bare på størrelsene på matrisene som multipliseres og se at ved utgangen får vi et tall eller på annen måte .
La oss skrive ned størrelsene på matriseuttrykk.
Konvertering 2
La oss skrive det på en lignende måte som transformasjon 1
Ved utgangen får vi en ligning som vi må differensiere:
Vi differensierer modellkvalitetsvurderingsfunksjonen
La oss differensiere med hensyn til vektoren :
Spørsmål hvorfor det burde ikke være det, men vi vil undersøke operasjonene for å bestemme derivater i de to andre uttrykkene mer detaljert.
Differensiering 1
La oss utvide differensieringen:
For å bestemme den deriverte av en matrise eller vektor, må du se på hva som er inne i dem. La oss se:
La oss betegne produktet av matriser gjennom matrisen . Matrise kvadratisk og dessuten er den symmetrisk. Disse egenskapene vil være nyttige for oss senere, la oss huske dem. Matrise har dimensjon :
Nå er oppgaven vår å multiplisere vektorene riktig med matrisen og ikke få "to ganger to er fem", så la oss konsentrere oss og være ekstremt forsiktige.
Vi har imidlertid oppnådd et intrikat uttrykk! Faktisk fikk vi et tall - en skalar. Og nå, for alvor, går vi videre til differensiering. Det er nødvendig å finne den deriverte av det resulterende uttrykket for hver koeffisient og få dimensjonsvektoren som utdata . I tilfelle vil jeg skrive ned prosedyrene ved handling:
1) differensiere ved , vi får:
2) differensiere ved , vi får:
3) differensiere ved , vi får:
Utgangen er den lovede vektoren for størrelse :
Hvis du ser nærmere på vektoren, vil du legge merke til at venstre og korresponderende høyre elementer i vektoren kan grupperes på en slik måte at som et resultat kan en vektor isoleres fra den presenterte vektoren størrelse . For eksempel, (venstre element i den øverste linjen i vektoren) (det høyre elementet i den øverste linjen i vektoren) kan representeres som Og - hvordan etc. på hver linje. La oss gruppere:
La oss ta ut vektoren og ved utgangen får vi:
La oss nå se nærmere på den resulterende matrisen. Matrisen er summen av to matriser :
La oss huske at litt tidligere la vi merke til en viktig egenskap ved matrisen - den er symmetrisk. Basert på denne egenskapen kan vi trygt si at uttrykket lik . Dette kan enkelt verifiseres ved å utvide produktet av matriser element for element . Vi vil ikke gjøre dette her, interesserte kan sjekke det selv.
La oss gå tilbake til uttrykket vårt. Etter våre transformasjoner ble det slik vi ønsket å se det:
Så vi har fullført den første differensieringen. La oss gå videre til det andre uttrykket.
Differensiering 2
La oss følge allfarvei. Den vil være mye kortere enn den forrige, så ikke gå for langt fra skjermen.
La oss utvide vektorene og matrisen element for element:
La oss fjerne de to fra beregningene for en stund – det spiller ingen stor rolle, så setter vi det tilbake på plass. La oss multiplisere vektorene med matrisen. Først av alt, la oss multiplisere matrisen til vektor , vi har ingen begrensninger her. Vi får størrelsesvektoren :
La oss utføre følgende handling - multipliser vektoren til den resulterende vektoren. Ved utgangen vil nummeret vente på oss:
Da skal vi differensiere det. Ved utgangen får vi en vektor av dimensjon :
Minner meg om noe? Det er riktig! Dette er produktet av matrisen til vektor .
Dermed er den andre differensieringen fullført.
I stedet for en konklusjon
Nå vet vi hvordan likestillingen ble til .
Til slutt vil vi beskrive en rask måte å transformere grunnleggende formler.
La oss evaluere kvaliteten på modellen i samsvar med minste kvadraters metode:
La oss skille det resulterende uttrykket:
Litteratur
Internett-kilder:
1)
2)
3)
4)
Lærebøker, samlinger av problemer:
1) Forelesningsnotater om høyere matematikk: fullt kurs / D.T. Skrevet – 4. utg. – M.: Iris-press, 2006
2) Anvendt regresjonsanalyse / N. Draper, G. Smith - 2. utg. – M.: Finans og statistikk, 1986 (oversettelse fra engelsk)
3) Problemer for å løse matriseligninger:
Kilde: www.habr.com