Namen članka je zagotoviti podporo začetnikom podatkovnih znanstvenikov. IN Opisali smo tri načine za rešitev enačbe linearne regresije: analitično rešitev, gradientni spust, stohastični gradientni spust. Nato smo za analitično rešitev uporabili formulo . V tem prispevku bomo, kot že naslov pove, utemeljili uporabo te formule oziroma jo bomo izpeljali sami.
Zakaj je smiselno nameniti dodatno pozornost formuli ?
Z matrično enačbo se v večini primerov začnemo seznanjati z linearno regresijo. Hkrati so podrobni izračuni, kako je bila formula izpeljana, redki.
Na primer, pri tečajih strojnega učenja iz Yandexa, ko se študenti seznanijo z zakonodajo, jim ponudijo uporabo funkcij iz knjižnice sklearn, medtem ko o matrični predstavitvi algoritma ni omenjena nobena beseda. V tem trenutku bodo morda nekateri poslušalci želeli podrobneje razumeti to težavo - napisati kodo brez uporabe že pripravljenih funkcij. Če želite to narediti, morate enačbo najprej predstaviti z regulatorjem v matrični obliki. Ta članek bo tistim, ki želijo obvladati te veščine, omogočil. Začnimo.
Začetni pogoji
Ciljni kazalniki
Imamo vrsto ciljnih vrednosti. Ciljni indikator je lahko na primer cena katerega koli sredstva: nafte, zlata, pšenice, dolarja itd. Hkrati s številom vrednosti ciljnih indikatorjev mislimo na število opazovanj. Takšna opazovanja so lahko na primer mesečne cene nafte za leto, torej bomo imeli 12 ciljnih vrednosti. Začnimo z uvajanjem notacije. Vsako vrednost ciljnega indikatorja označimo kot . Skupaj imamo opazovanja, kar pomeni, da lahko svoja opažanja predstavimo kot .
Regresorji
Predvidevamo, da obstajajo dejavniki, ki do določene mere pojasnjujejo vrednosti ciljnega kazalnika. Na primer, menjalni tečaj dolar/rubelj je pod močnim vplivom cene nafte, tečaja Federal Reserve itd. Takšni dejavniki se imenujejo regresorji. Hkrati mora vsaka ciljna vrednost kazalnika ustrezati regresorski vrednosti, to je, če imamo 12 ciljnih kazalnikov za vsak mesec v letu 2018, potem bi morali imeti tudi 12 regresorskih vrednosti za isto obdobje. Označimo vrednosti vsakega regresorja z . Naj v našem primeru obstaja regresorji (tj. dejavniki, ki vplivajo na ciljne vrednosti indikatorjev). To pomeni, da lahko naše regresorje predstavimo takole: za 1. regresor (na primer cena nafte): , za 2. regresor (na primer obrestna mera Fed): , Za "-th" regresor:
Odvisnost ciljnih kazalnikov od regresorjev
Predpostavimo, da je odvisnost ciljnega indikatorja od regresorjev"th" opazovanje lahko izrazimo z linearno regresijsko enačbo v obliki:
Če - "-th" vrednost regresorja od 1 do ,
— število regresorjev od 1 do
— kotni koeficienti, ki predstavljajo količino, za katero se bo v povprečju spremenil izračunani ciljni kazalnik ob spremembi regresorja.
Z drugimi besedami, smo za vse (razen ) regresorja določimo »naš« koeficient , nato pomnožite koeficiente z vrednostmi regresorjev "th" opazovanja, kot rezultat dobimo določen približek "-th« indikator cilja.
Zato moramo izbrati takšne koeficiente , pri kateri so vrednosti naše aproksimacijske funkcije bo čim bližje ciljnim vrednostim indikatorja.
Ocenjevanje kakovosti aproksimacijske funkcije
Oceno kakovosti aproksimacijske funkcije bomo določili z metodo najmanjših kvadratov. Funkcija ocenjevanja kakovosti bo v tem primeru imela naslednjo obliko:
Izbrati moramo takšne vrednosti koeficientov $w$, za katere je vrednost bo najmanjši.
Pretvorba enačbe v matrično obliko
Vektorska predstavitev
Za začetek, da bi si olajšali življenje, bodite pozorni na enačbo linearne regresije in opazite, da prvi koeficient ni pomnožen z nobenim regresorjem. Obenem pa bo zgoraj omenjena okoliščina pri pretvarjanju podatkov v matrično obliko močno otežila izračune. V zvezi s tem se predlaga uvedba drugega regresorja za prvi koeficient in ga enači z eno. Oziroma vsak "izenačite th vrednost tega regresorja z ena - navsezadnje se, ko se pomnoži z ena, ne bo nič spremenilo z vidika rezultata izračunov, ampak z vidika pravil za produkt matrik, naše muke se bo znatno zmanjšalo.
Zaenkrat, da bi poenostavili gradivo, predpostavimo, da imamo samo eno "-th« opazovanje. Nato si predstavljajte vrednosti regresorjev "-th" opazovanja kot vektor . Vektor ima dimenzijo To pomeni, da vrstice in 1 stolpec:
Predstavimo zahtevane koeficiente kot vektor , ki ima dimenzijo :
Enačba linearne regresije za "-th" opazovanje bo v obliki:
Funkcija za ocenjevanje kakovosti linearnega modela bo imela obliko:
Upoštevajte, da smo morali v skladu s pravili množenja matrik transponirati vektor .
Matrična predstavitev
Kot rezultat množenja vektorjev dobimo število: , kar je pričakovano. Ta številka je približek "-th« indikator cilja. Vendar ne potrebujemo približka le ene ciljne vrednosti, ampak vseh. Če želite to narediti, zapišimo vse "-th" regresorji v matričnem formatu . Nastala matrika ima dimenzijo :
Zdaj bo linearna regresijska enačba imela obliko:
Označimo vrednosti ciljnih kazalnikov (vsi ) na vektor razsežnost :
Sedaj lahko zapišemo enačbo za oceno kakovosti linearnega modela v matrični obliki:
Pravzaprav iz te formule nadalje dobimo nam znano formulo
Kako se to naredi? Odprejo se oklepaji, izvede se diferenciacija, preoblikujejo dobljeni izrazi itd., in prav to bomo zdaj storili.
Matrične transformacije
Odprimo oklepaje
Pripravimo enačbo za diferenciacijo
Da bi to naredili, bomo izvedli nekaj transformacij. Pri nadaljnjih izračunih nam bo bolj priročno, če vektor bo predstavljen na začetku vsakega produkta v enačbi.
Pretvorba 1
Kako se je to zgodilo? Če želite odgovoriti na to vprašanje, samo poglejte velikosti matrik, ki se množijo, in videli boste, da na izhodu dobimo število ali drugače .
Zapišimo velikosti matričnih izrazov.
Pretvorba 2
Zapišimo ga na podoben način kot transformacijo 1
Na izhodu dobimo enačbo, ki jo moramo razlikovati:
Razlikujemo funkcijo ocenjevanja kakovosti modela
Razlikujmo glede na vektor :
Vprašanja zakaj ne bi smelo biti, bomo pa podrobneje preučili operacije za določanje odvodov v drugih dveh izrazih.
Diferenciacija 1
Razširimo diferenciacijo:
Če želite določiti izpeljanko matrike ali vektorja, morate pogledati, kaj je v njih. Poglejmo:
Označimo produkt matrik skozi matrico . Matrix kvadraten in poleg tega je simetričen. Te lastnosti nam bodo kasneje koristile, zapomnimo si jih. Matrix ima dimenzijo :
Zdaj je naša naloga pravilno pomnožiti vektorje z matriko in ne dobiti "dvakrat dva je pet", zato se osredotočimo in bodimo zelo previdni.
Vendar smo dosegli zapleten izraz! Pravzaprav smo dobili število – skalar. In zdaj, zares, preidimo na diferenciacijo. Za vsak koeficient je treba najti izpeljanko dobljenega izraza in dobite dimenzijski vektor kot izhod . Za vsak slučaj bom zapisal postopke po dejanjih:
1) razlikovati po , dobimo:
2) razlikovati po , dobimo:
3) razlikovati po , dobimo:
Rezultat je obljubljeni vektor velikosti :
Če pogledate vektor podrobneje, boste opazili, da lahko levi in ustrezni desni element vektorja združimo tako, da lahko posledično ločimo vektor od predstavljenega vektorja velikosti . Na primer (levi element zgornje vrstice vektorja) (desni element zgornje vrstice vektorja) lahko predstavimo kot In - kako itd. na vsaki vrstici. Združimo:
Vzemimo vektor in na izhodu dobimo:
Zdaj pa si podrobneje oglejmo nastalo matriko. Matrika je vsota dveh matrik :
Spomnimo se, da smo malo prej opazili eno pomembno lastnost matrike - je simetrična. Na podlagi te lastnosti lahko z gotovostjo trdimo, da izraz enako . To je mogoče enostavno preveriti z razširitvijo produkta matrik po elementih . Tukaj tega ne bomo počeli, zainteresirani lahko preverijo sami.
Vrnimo se k našemu izrazu. Po naših preobrazbah je izpadlo tako, kot smo si želeli videti:
Tako smo končali prvo diferenciacijo. Pojdimo k drugemu izrazu.
Diferenciacija 2
Gremo po uhojeni poti. Bo precej krajši od prejšnjega, zato se ne oddaljujte predaleč od zaslona.
Razširimo vektorje in matriko element za elementom:
To dvoje za nekaj časa odstranimo iz izračunov - ne igra velike vloge, potem pa ga bomo postavili nazaj na svoje mesto. Pomnožimo vektorje z matriko. Najprej pomnožimo matriko v vektor , tukaj nimamo nobenih omejitev. Dobimo vektor velikosti :
Izvedimo naslednje dejanje - pomnožimo vektor do nastalega vektorja. Na izhodu nas bo pričakala številka:
Potem ga bomo razlikovali. Na izhodu dobimo vektor dimenzije :
Me spominja na kaj? Tako je! To je produkt matrice v vektor .
Tako je druga diferenciacija uspešno zaključena.
Namesto zaključka
Zdaj vemo, kako je prišlo do enakosti .
Na koncu bomo opisali hiter način preoblikovanja osnovnih formul.
Ocenimo kakovost modela po metodi najmanjših kvadratov:
Razlikujmo nastali izraz:
Literatura
Internetni viri:
1)
2)
3)
4)
Učbeniki, zbirke nalog:
1) Zapiski predavanj o višji matematiki: celoten tečaj / D.T. Napisano – 4. izd. – M.: Iris-press, 2006
2) Uporabljena regresijska analiza / N. Draper, G. Smith - 2. izd. – M.: Finance in statistika, 1986 (prevod iz angleščine)
3) Problemi za reševanje matričnih enačb:
Vir: www.habr.com