Účelom článku je poskytnúť podporu začínajúcim dátovým vedcom. IN Načrtli sme tri spôsoby riešenia lineárnej regresnej rovnice: analytické riešenie, gradientový zostup, stochastický gradientový zostup. Potom sme na analytické riešenie použili vzorec . V tomto článku, ako už názov napovedá, odôvodníme použitie tohto vzorca, alebo inak povedané, sami si ho odvodíme.
Prečo má zmysel venovať vzorcu zvýšenú pozornosť ?
Práve s maticovou rovnicou sa vo väčšine prípadov človek začína oboznamovať s lineárnou regresiou. Zároveň sú zriedkavé podrobné výpočty, ako bol vzorec odvodený.
Napríklad v kurzoch strojového učenia od spoločnosti Yandex, keď sú študenti oboznámení s regularizáciou, je im ponúknuté používať funkcie z knižnice sklearn, pričom sa ani slovo nespomína o maticovej reprezentácii algoritmu. Práve v tejto chvíli môžu niektorí poslucháči chcieť porozumieť tejto problematike podrobnejšie – písať kód bez použitia hotových funkcií. Aby ste to dosiahli, musíte najprv prezentovať rovnicu s regularizátorom v maticovej forme. Tento článok umožní tým, ktorí chcú zvládnuť takéto zručnosti. Začnime.
Počiatočné podmienky
Cieľové ukazovatele
Máme rozsah cieľových hodnôt. Cieľovým ukazovateľom môže byť napríklad cena akéhokoľvek aktíva: ropy, zlata, pšenice, dolára atď. Zároveň množstvom cieľových hodnôt ukazovateľa rozumieme počet pozorovaní. Takými pozorovaniami môžu byť napríklad mesačné ceny ropy za rok, to znamená, že budeme mať 12 cieľových hodnôt. Začnime predstavovať notáciu. Každú hodnotu cieľového ukazovateľa označme ako . Celkovo máme pozorovania, čo znamená, že svoje pozorovania môžeme reprezentovať ako .
Regresory
Budeme predpokladať, že existujú faktory, ktoré do určitej miery vysvetľujú hodnoty cieľového ukazovateľa. Napríklad výmenný kurz dolár/rubeľ je silne ovplyvnený cenou ropy, kurzom Federálneho rezervného systému atď. Takéto faktory sa nazývajú regresory. Zároveň každá cieľová hodnota ukazovateľa musí zodpovedať hodnote regresora, to znamená, že ak máme 12 cieľových ukazovateľov na každý mesiac v roku 2018, mali by sme mať za rovnaké obdobie aj 12 regresorových hodnôt. Označme hodnoty každého regresora pomocou . Nech je to v našom prípade regresory (t.j. faktory, ktoré ovplyvňujú cieľové hodnoty ukazovateľa). To znamená, že naše regresory môžu byť prezentované nasledovne: pre 1. regresora (napríklad cena ropy): , pre 2. regresora (napríklad kurz Fedu): , Pre "-th" regresor:
Závislosť cieľových ukazovateľov od regresorov
Predpokladajme, že závislosť cieľového ukazovateľa od regresorov"pozorovanie možno vyjadriť lineárnou regresnou rovnicou v tvare:
Kde - "-th" hodnota regresora od 1 do ,
— počet regresorov od 1 do
— uhlové koeficienty, ktoré predstavujú hodnotu, o ktorú sa vypočítaný cieľový ukazovateľ v priemere zmení pri zmene regresora.
Inými slovami, sme pre každého (okrem ) regresora určíme „náš“ koeficient , potom vynásobte koeficienty hodnotami regresorov ""pozorovania, výsledkom je určitá aproximácia"-tý“ cieľový ukazovateľ.
Preto musíme zvoliť také koeficienty , pri ktorej sú hodnoty našej aproximačnej funkcie budú umiestnené čo najbližšie k cieľovým hodnotám indikátora.
Posúdenie kvality aproximačnej funkcie
Kvalitné posúdenie aproximačnej funkcie určíme metódou najmenších štvorcov. Funkcia hodnotenia kvality bude mať v tomto prípade nasledujúcu formu:
Musíme vybrať také hodnoty koeficientov $w$, pre ktoré je hodnota bude najmenší.
Prevod rovnice do maticového tvaru
Vektorové znázornenie
Na začiatok, aby ste si uľahčili život, mali by ste venovať pozornosť lineárnej regresnej rovnici a všimnúť si, že prvý koeficient nie je násobený žiadnym regresorom. Zároveň, keď údaje prevedieme do maticovej podoby, vyššie uvedená okolnosť poriadne skomplikuje výpočty. V tejto súvislosti sa navrhuje zaviesť ďalší regresor pre prvý koeficient a prirovnať to k jednej. Alebo skôr každý "prirovnať th hodnotu tohto regresora k jednej - veď pri vynásobení jednou sa z pohľadu výsledku výpočtov nič nezmení, ale z pohľadu pravidiel pre súčin matíc sa naše trápenie sa výrazne zníži.
Teraz, pre zjednodušenie materiálu, predpokladajme, že máme len jeden "-té" pozorovanie. Potom si predstavte hodnoty regresorov“-th" pozorovania ako vektor . Vektor má rozmer To znamená, že riadky a 1 stĺpec:
Reprezentujme požadované koeficienty ako vektor , ktorý má rozmer :
Rovnica lineárnej regresie pre "-th" pozorovanie bude mať formu:
Funkcia na hodnotenie kvality lineárneho modelu bude mať podobu:
Upozorňujeme, že v súlade s pravidlami násobenia matíc sme potrebovali transponovať vektor .
Maticová reprezentácia
V dôsledku vynásobenia vektorov dostaneme číslo: , čo sa dá očakávať. Toto číslo je približné "-tý“ cieľový ukazovateľ. Potrebujeme však aproximáciu nielen jednej cieľovej hodnoty, ale všetkých. Ak to chcete urobiť, zapíšme si všetko "-th" regresory v maticovom formáte . Výsledná matica má rozmer :
Teraz bude mať rovnica lineárnej regresie tvar:
Označme hodnoty cieľových ukazovateľov (všetky ) na vektor rozmer :
Teraz môžeme napísať rovnicu na hodnotenie kvality lineárneho modelu v maticovom formáte:
V skutočnosti z tohto vzorca ďalej získame vzorec, ktorý je nám známy
Ako sa to robí? Otvoria sa zátvorky, vykoná sa diferenciácia, transformujú sa výsledné výrazy atď., a to je presne to, čo teraz urobíme.
Maticové transformácie
Otvoríme zátvorky
Pripravme si rovnicu na diferenciáciu
Aby sme to dosiahli, vykonáme niekoľko transformácií. Pri následných výpočtoch bude pre nás výhodnejšie, ak vektor budú zastúpené na začiatku každého produktu v rovnici.
Konverzia 1
Ako sa to stalo? Ak chcete odpovedať na túto otázku, stačí sa pozrieť na veľkosti matíc, ktoré sa násobia, a uvidíte, že na výstupe dostaneme číslo alebo inak .
Zapíšme si veľkosti maticových výrazov.
Konverzia 2
Napíšme to podobne ako transformáciu 1
Na výstupe dostaneme rovnicu, ktorú musíme diferencovať:
Rozlišujeme funkciu hodnotenia kvality modelu
Rozlišujme vzhľadom na vektor :
Otázky prečo by nemalo byť, ale operácie na určovanie derivácií v ďalších dvoch výrazoch preskúmame podrobnejšie.
Diferenciácia 1
Rozšírime diferenciáciu:
Aby ste mohli určiť deriváciu matice alebo vektora, musíte sa pozrieť na to, čo je v nich. Pozri:
Označme súčin matíc cez matricu . Matrix štvorcový a navyše je symetrický. Tieto vlastnosti sa nám budú hodiť neskôr, zapamätajme si ich. Matrix má rozmer :
Teraz je našou úlohou správne vynásobiť vektory maticou a nedostať „dvakrát dva je päť“, takže sa sústreďme a buďme mimoriadne opatrní.
Dosiahli sme však zložitý výraz! V skutočnosti sme dostali číslo - skalár. A teraz skutočne prejdime k diferenciácii. Pre každý koeficient je potrebné nájsť deriváciu výsledného výrazu a získajte rozmerový vektor ako výstup . Pre každý prípad napíšem postupy podľa akcie:
1) rozlišovať podľa , dostaneme:
2) rozlišovať podľa , dostaneme:
3) rozlišovať podľa , dostaneme:
Výstupom je sľúbený vektor veľkosti :
Ak sa pozriete na vektor bližšie, všimnete si, že ľavé a zodpovedajúce pravé prvky vektora môžu byť zoskupené takým spôsobom, že v dôsledku toho môže byť vektor izolovaný od prezentovaného vektora. veľkosť , Napríklad (ľavý prvok horného riadku vektora) (pravý prvok horného riadku vektora) môže byť reprezentovaný ako A - ako atď. na každom riadku. Poďme do skupiny:
Vyberieme vektor a na výstupe dostaneme:
Teraz sa pozrime bližšie na výslednú maticu. Matica je súčtom dvoch matíc :
Pripomeňme, že o niečo skôr sme si všimli jednu dôležitú vlastnosť matice - je symetrický. Na základe tejto vlastnosti môžeme s istotou povedať, že výraz rovná . To sa dá ľahko overiť rozšírením súčinu matíc prvok po prvku . Tu to robiť nebudeme, záujemcovia si to môžu overiť sami.
Vráťme sa k nášmu vyjadreniu. Po našich premenách to dopadlo tak, ako sme to chceli vidieť:
Prvú diferenciáciu máme teda za sebou. Prejdime k druhému výrazu.
Diferenciácia 2
Poďme po vyšliapanej ceste. Bude oveľa kratší ako predchádzajúci, takže sa od obrazovky príliš nevzďaľujte.
Rozviňme vektory a maticový prvok po prvku:
Na chvíľu vyškrtneme dvojku z výpočtov – nehrá veľkú rolu, potom ju vrátime na svoje miesto. Vynásobme vektory maticou. Najprv si vynásobme maticu na vektor , tu nemáme žiadne obmedzenia. Dostaneme vektor veľkosti :
Vykonajte nasledujúcu akciu - vynásobte vektor k výslednému vektoru. Pri východe nás bude čakať číslo:
Potom to rozlíšime. Na výstupe dostaneme vektor dimenzie :
Pripomína mi niečo? To je správne! Toto je produkt matrice na vektor .
Tým je druhá diferenciácia úspešne dokončená.
namiesto záveru
Teraz vieme, ako k rovnosti došlo .
Nakoniec si popíšeme rýchly spôsob transformácie základných vzorcov.
Vyhodnoťme kvalitu modelu v súlade s metódou najmenších štvorcov:
Rozlišujme výsledný výraz:
Literatúra
Internetové zdroje:
1)
2)
3)
4)
Učebnice, zbierky úloh:
1) Poznámky z prednášky z vyššej matematiky: celý kurz / D.T. Napísané – 4. vyd. – M.: Iris-press, 2006
2) Aplikovaná regresná analýza / N. Draper, G. Smith - 2. vyd. – M.: Finance and Statistics, 1986 (preklad z angličtiny)
3) Úlohy na riešenie maticových rovníc:
Zdroj: hab.com