Raksta mÄrÄ·is ir sniegt atbalstu iesÄcÄjiem datu zinÄtniekiem. IN MÄs esam izklÄstÄ«juÅ”i trÄ«s veidus, kÄ atrisinÄt lineÄrÄs regresijas vienÄdojumu: analÄ«tiskais risinÄjums, gradienta nolaiÅ”anÄs, stohastiskÄ gradienta nolaiÅ”anÄs. PÄc tam analÄ«tiskajam risinÄjumam izmantojÄm formulu . Å ajÄ rakstÄ, kÄ norÄda virsraksts, mÄs attaisnosim Ŕīs formulas izmantoÅ”anu jeb, citiem vÄrdiem sakot, mÄs to atvasinÄsim paÅ”i.
KÄpÄc ir jÄga pievÄrst papildu uzmanÄ«bu formulai ?
TieÅ”i ar matricas vienÄdojumu vairumÄ gadÄ«jumu sÄk iepazÄ«ties ar lineÄro regresiju. TajÄ paÅ”Ä laikÄ detalizÄti aprÄÄ·ini par to, kÄ formula tika iegÅ«ta, ir reti.
PiemÄram, maŔīnmÄcÄ«bas kursos no Yandex, kad studenti tiek iepazÄ«stinÄti ar regularizÄciju, viÅiem tiek piedÄvÄts izmantot funkcijas no bibliotÄkas sklearn, savukÄrt par algoritma matricas attÄlojumu nav minÄts ne vÄrda. TieÅ”i Å”ajÄ brÄ«dÄ« daži klausÄ«tÄji var vÄlÄties izprast Å”o jautÄjumu sÄ«kÄk - rakstÄ«t kodu, neizmantojot gatavÄs funkcijas. Un, lai to izdarÄ«tu, vispirms ir jÄuzrÄda vienÄdojums ar regulatoru matricas formÄ. Å is raksts ļaus tiem, kas vÄlas apgÅ«t Å”Ädas prasmes. SÄksim.
SÄkotnÄjie nosacÄ«jumi
MÄrÄ·a rÄdÄ«tÄji
Mums ir virkne mÄrÄ·a vÄrtÄ«bu. PiemÄram, mÄrÄ·a rÄdÄ«tÄjs varÄtu bÅ«t jebkura aktÄ«va cena: nafta, zelts, kvieÅ”i, dolÄrs utt. TajÄ paÅ”Ä laikÄ ar vairÄkÄm mÄrÄ·a rÄdÄ«tÄju vÄrtÄ«bÄm mÄs domÄjam novÄrojumu skaitu. Å Ädi novÄrojumi varÄtu bÅ«t, piemÄram, mÄneÅ”a naftas cenas gadam, tas ir, mums bÅ«s 12 mÄrÄ·a vÄrtÄ«bas. SÄksim ieviest apzÄ«mÄjumu. ApzÄ«mÄsim katru mÄrÄ·a rÄdÄ«tÄja vÄrtÄ«bu kÄ . KopumÄ mums ir novÄrojumi, kas nozÄ«mÄ, ka mÄs varam attÄlot savus novÄrojumus kÄ .
Regresori
MÄs pieÅemsim, ka ir faktori, kas zinÄmÄ mÄrÄ izskaidro mÄrÄ·a rÄdÄ«tÄja vÄrtÄ«bas. PiemÄram, dolÄra/rubļa kursu spÄcÄ«gi ietekmÄ naftas cena, FederÄlo rezervju likme utt. TÄdus faktorus sauc par regresoriem. TajÄ paÅ”Ä laikÄ katrai mÄrÄ·a rÄdÄ«tÄja vÄrtÄ«bai ir jÄatbilst regresora vÄrtÄ«bai, tas ir, ja mums ir 12 mÄrÄ·a rÄdÄ«tÄji katram mÄnesim 2018. gadÄ, tad mums vajadzÄtu bÅ«t arÄ« 12 regresora vÄrtÄ«bÄm par to paÅ”u periodu. ApzÄ«mÄsim katra regresora vÄrtÄ«bas ar . Lai mÅ«su gadÄ«jumÄ tas bÅ«tu regresori (t.i. faktori, kas ietekmÄ mÄrÄ·a rÄdÄ«tÄju vÄrtÄ«bas). Tas nozÄ«mÄ, ka mÅ«su regresorus var attÄlot Å”Ädi: 1. regresoram (piemÄram, naftas cena): , 2. regresoram (piemÄram, Fed likme): , PriekÅ” "-th" regresors:
MÄrÄ·a rÄdÄ«tÄju atkarÄ«ba no regresoriem
PieÅemsim, ka mÄrÄ·a rÄdÄ«tÄja atkarÄ«ba no regresoriem"th" novÄrojumu var izteikt, izmantojot lineÄrÄs regresijas vienÄdojumu Å”ÄdÄ formÄ:
Kur - "-th" regresora vÄrtÄ«ba no 1 lÄ«dz ,
ā regresoru skaits no 1 lÄ«dz
ā leÅÄ·iskie koeficienti, kas atspoguļo summu, par kÄdu vidÄji mainÄ«sies aprÄÄ·inÄtais mÄrÄ·a rÄdÄ«tÄjs, mainoties regresoram.
Citiem vÄrdiem sakot, mÄs esam par visiem (izÅemot ) no regresora mÄs nosakÄm āmÅ«suā koeficientu , pÄc tam reiziniet koeficientus ar regresoru vÄrtÄ«bÄm "th" novÄrojumu, kÄ rezultÄtÄ mÄs iegÅ«stam noteiktu tuvinÄjumu "-th" mÄrÄ·a rÄdÄ«tÄjs.
TÄpÄc mums ir jÄizvÄlas Å”Ädi koeficienti , kurÄ ir mÅ«su tuvinÄtÄs funkcijas vÄrtÄ«bas atradÄ«sies pÄc iespÄjas tuvÄk mÄrÄ·a indikatora vÄrtÄ«bÄm.
TuvinÄÅ”anas funkcijas kvalitÄtes novÄrtÄÅ”ana
TuvinoÅ”Äs funkcijas kvalitÄtes novÄrtÄjumu noteiksim, izmantojot mazÄko kvadrÄtu metodi. KvalitÄtes novÄrtÄÅ”anas funkcija Å”ajÄ gadÄ«jumÄ bÅ«s Å”Äda:
Mums ir jÄizvÄlas tÄdas koeficientu vÄrtÄ«bas $w$, kurÄm ir vÄrtÄ«ba bÅ«s mazÄkais.
VienÄdojuma pÄrvÄrÅ”ana matricas formÄ
Vektoru attÄlojums
SÄkumÄ, lai atvieglotu savu dzÄ«vi, jums vajadzÄtu pievÄrst uzmanÄ«bu lineÄrÄs regresijas vienÄdojumam un ievÄrot, ka pirmais koeficients netiek reizinÄts ar kÄdu regresoru. TajÄ paÅ”Ä laikÄ, pÄrvÄrÅ”ot datus matricas formÄ, iepriekÅ” minÄtais apstÄklis āānopietni apgrÅ«tinÄs aprÄÄ·inus. Å ajÄ sakarÄ tiek piedÄvÄts ieviest vÄl vienu regresoru pirmajam koeficientam un pielÄ«dziniet to vienam. PareizÄk sakot, katrs "pielÄ«dziniet Ŕī regresora th vÄrtÄ«bu vienam - galu galÄ, reizinot ar vienu, nekas nemainÄ«sies no aprÄÄ·inu rezultÄta viedokļa, bet no matricu reizinÄjuma noteikumu viedokļa mÅ«su mokas tiks ievÄrojami samazinÄts.
Tagad, lai vienkÄrÅ”otu materiÄlu, pieÅemsim, ka mums ir tikai viens "-th" novÄrojums. Tad iedomÄjieties regresoru vÄrtÄ«bas "-th" novÄrojumi kÄ vektors . Vektors ir dimensija Tas ir, rindas un 1 kolonna:
NepiecieÅ”amos koeficientus attÄlosim kÄ vektoru , kam ir dimensija :
LineÄrÄs regresijas vienÄdojums "-th" novÄrojumam bÅ«s Å”Äda forma:
LineÄrÄ modeļa kvalitÄtes novÄrtÄÅ”anas funkcija bÅ«s Å”Äda:
LÅ«dzu, Åemiet vÄrÄ, ka saskaÅÄ ar matricas reizinÄÅ”anas noteikumiem mums bija jÄtransponÄ vektors .
Matricas attÄlojums
Vektoru reizinÄÅ”anas rezultÄtÄ mÄs iegÅ«stam skaitli: , kas ir sagaidÄms. Å is skaitlis ir aptuvens "-th" mÄrÄ·a rÄdÄ«tÄjs. Bet mums ir vajadzÄ«ga ne tikai vienas mÄrÄ·a vÄrtÄ«bas tuvinÄjums, bet arÄ« visas tÄs. Lai to izdarÄ«tu, pierakstÄ«sim visu "-th" regresori matricas formÄtÄ . IegÅ«tajai matricai ir dimensija :
Tagad lineÄrÄs regresijas vienÄdojums bÅ«s Å”Äds:
ApzÄ«mÄsim mÄrÄ·a rÄdÄ«tÄju vÄrtÄ«bas (visi ) uz vektoru dimensiju :
Tagad mÄs varam uzrakstÄ«t vienÄdojumu lineÄrÄ modeļa kvalitÄtes novÄrtÄÅ”anai matricas formÄtÄ:
Faktiski no Ŕīs formulas mÄs tÄlÄk iegÅ«stam mums zinÄmo formulu
KÄ tas tiek darÄ«ts? Tiek atvÄrtas iekavas, tiek veikta diferencÄÅ”ana, iegÅ«tÄs izteiksmes tiek pÄrveidotas utt., Un tieÅ”i to mÄs tagad darÄ«sim.
Matricas transformÄcijas
AtvÄrsim iekavas
Sagatavosim vienÄdojumu diferenciÄcijai
Lai to izdarÄ«tu, mÄs veiksim dažas transformÄcijas. TurpmÄkajos aprÄÄ·inos mums bÅ«s ÄrtÄk, ja vektors tiks attÄloti vienÄdojuma katra produkta sÄkumÄ.
PÄrvÄrÅ”ana 1
KÄ tas notika? Lai atbildÄtu uz Å”o jautÄjumu, vienkÄrÅ”i apskatiet reizinÄmo matricu izmÄrus un redziet, ka izejÄ mÄs iegÅ«stam skaitli vai citÄdi .
PierakstÄ«sim matricas izteiksmju izmÄrus.
PÄrvÄrÅ”ana 2
UzrakstÄ«sim to lÄ«dzÄ«gi 1. transformÄcijai
IzvadÄ mÄs iegÅ«stam vienÄdojumu, kas mums ir jÄdiferencÄ:
MÄs atŔķiram modeļa kvalitÄtes novÄrtÄÅ”anas funkciju
DiferencÄsim attiecÄ«bÄ pret vektoru :
JautÄjumi kÄpÄc nevajadzÄtu bÅ«t, bet mÄs sÄ«kÄk apskatÄ«sim atvasinÄjumu noteikÅ”anas operÄcijas abÄs pÄrÄjÄs izteiksmÄs.
1. atŔķirība
IzvÄrsÄ«sim diferenciÄciju:
Lai noteiktu matricas vai vektora atvasinÄjumu, ir jÄskatÄs, kas tajÄs atrodas. PaskatÄ«simies:
ApzÄ«mÄsim matricu reizinÄjumu caur matricu . Matrica kvadrÄtveida un turklÄt tas ir simetrisks. Å Ä«s Ä«paŔības mums noderÄs vÄlÄk, atcerÄsimies tos. Matrica ir dimensija :
Tagad mÅ«su uzdevums ir pareizi reizinÄt vektorus ar matricu un nesaÅemt ādivreiz divi ir pieciā, tÄpÄc koncentrÄsimies un bÅ«sim ļoti uzmanÄ«gi.
TomÄr mÄs esam panÄkuÅ”i sarežģītu izteiksmi! PatiesÄ«bÄ mÄs saÅÄmÄm skaitli ā skalÄru. Un tagad, patiesÄ«bÄ, mÄs pÄrejam uz diferenciÄciju. Katram koeficientam jÄatrod iegÅ«tÄs izteiksmes atvasinÄjums un iegÅ«stiet dimensijas vektoru kÄ izvadi . Katram gadÄ«jumam es pierakstÄ«Å”u procedÅ«ras pÄc darbÄ«bas:
1) atŔķirt pÄc , mÄs iegÅ«stam:
2) atŔķirt pÄc , mÄs iegÅ«stam:
3) atŔķirt pÄc , mÄs iegÅ«stam:
RezultÄts ir apsolÄ«tais lieluma vektors :
Ja paskatÄs uz vektoru tuvÄk, jÅ«s pamanÄ«sit, ka vektora kreiso un atbilstoÅ”o labo elementu var sagrupÄt tÄ, ka rezultÄtÄ vektoru var izolÄt no parÄdÄ«tÄ vektora. lielums . PiemÄram, (vektora augÅ”ÄjÄs lÄ«nijas kreisais elements) (vektora augÅ”ÄjÄs lÄ«nijas labais elements) var attÄlot kÄ Un - kÄ utt. katrÄ rindÄ. GrupÄjam:
IzÅemsim vektoru un izejÄ mÄs iegÅ«stam:
Tagad tuvÄk apskatÄ«sim iegÅ«to matricu. Matrica ir divu matricu summa :
AtcerÄsimies, ka nedaudz agrÄk mÄs atzÄ«mÄjÄm vienu svarÄ«gu matricas Ä«paŔību - tas ir simetrisks. Pamatojoties uz Å”o Ä«paÅ”umu, mÄs varam droÅ”i teikt, ka izteiksme ir vienÄds . To var viegli pÄrbaudÄ«t, paplaÅ”inot matricu reizinÄjumu pÄc elementa . Å eit mÄs to nedarÄ«sim, interesenti to var pÄrbaudÄ«t paÅ”i.
AtgriezÄ«simies pie mÅ«su izteiksmes. PÄc mÅ«su pÄrvÄrtÄ«bÄm tas izrÄdÄ«jÄs tÄds, kÄdu mÄs to vÄlÄjÄmies redzÄt:
TÄtad, mÄs esam pabeiguÅ”i pirmo diferenciÄciju. PÄrejam pie otrÄs izteiksmes.
2. atŔķirība
Ejam pa ceļu. Tas bÅ«s daudz Ä«sÄks nekÄ iepriekÅ”Äjais, tÄpÄc neejiet pÄrÄk tÄlu no ekrÄna.
IzvÄrsÄ«sim vektorus un matricas elementus pa elementiem:
Uz brÄ«di izÅemsim tos divus no aprÄÄ·iniem - tas nespÄlÄ lielu lomu, tad liksim atpakaļ savÄ vietÄ. ReizinÄsim vektorus ar matricu. Vispirms sareizinÄsim matricu uz vektoru , mums Å”eit nav ierobežojumu. MÄs iegÅ«stam lieluma vektoru :
Veiksim Å”Ädu darbÄ«bu ā reizinim vektoru uz iegÅ«to vektoru. Pie izejas mÅ«s gaidÄ«s numurs:
Tad mÄs to atŔķirsim. IzvadÄ mÄs iegÅ«stam dimensijas vektoru :
Man kaut ko atgÄdina? Pareizi! Å is ir matricas produkts uz vektoru .
TÄdÄjÄdi otrÄ diferenciÄcija ir veiksmÄ«gi pabeigta.
TÄ vietÄ, lai noslÄgtu
Tagad mÄs zinÄm, kÄ radÄs vienlÄ«dzÄ«ba .
Visbeidzot, mÄs aprakstÄ«sim Ätru veidu, kÄ pÄrveidot pamata formulas.
NovÄrtÄsim modeļa kvalitÄti pÄc mazÄko kvadrÄtu metodes:
AtŔķirsim iegūto izteiksmi:
Literatūra
Interneta avoti:
1)
2)
3)
4)
MÄcÄ«bu grÄmatas, uzdevumu krÄjumi:
1) AugstÄkÄs matemÄtikas lekciju konspekti: pilns kurss / D.T. RakstÄ«ts ā 4. izd. ā M.: Iris-press, 2006
2) LietiÅ”Ä·Ä regresijas analÄ«ze / N. Draper, G. Smith - 2nd ed. ā M.: Finanses un statistika, 1986 (tulkojums no angļu valodas)
3) Matricas vienÄdojumu risinÄÅ”anas uzdevumi:
Avots: www.habr.com