Účelem článku je poskytnout podporu začínajícím datovým vědcům. V Nastínili jsme tři způsoby řešení lineární regresní rovnice: analytické řešení, sestup gradientu, stochastický sestup gradientu. Poté jsme pro analytické řešení použili vzorec . V tomto článku, jak název napovídá, použití tohoto vzorce zdůvodníme, nebo jinými slovy sami odvodíme.
Proč má smysl věnovat vzorci zvýšenou pozornost ?
Právě s maticovou rovnicí se člověk ve většině případů začíná seznamovat s lineární regresí. Podrobné výpočty, jak byl vzorec odvozen, jsou přitom vzácné.
Například v kurzech strojového učení od Yandex, když jsou studenti seznamováni s regularizací, je jim nabídnuto použití funkcí z knihovny sklearn, přičemž ani slovo není zmíněno o maticové reprezentaci algoritmu. Právě v tuto chvíli mohou někteří posluchači chtít porozumět této problematice podrobněji – psát kód bez použití hotových funkcí. A k tomu musíte nejprve prezentovat rovnici s regularizátorem ve formě matice. Tento článek umožní těm, kteří chtějí takové dovednosti zvládnout. Začněme.
Počáteční podmínky
Cílové ukazatele
Máme řadu cílových hodnot. Cílovým ukazatelem může být například cena jakéhokoli aktiva: ropy, zlata, pšenice, dolaru atd. Zároveň řadou hodnot cílových indikátorů rozumíme počet pozorování. Takovými pozorováními mohou být například měsíční ceny ropy za rok, to znamená, že budeme mít 12 cílových hodnot. Začněme představovat notaci. Každou hodnotu cílového indikátoru označme jako . Celkem máme pozorování, což znamená, že můžeme svá pozorování reprezentovat jako .
Regresoři
Budeme předpokládat, že existují faktory, které do určité míry vysvětlují hodnoty cílového indikátoru. Například směnný kurz dolar/rubl je silně ovlivněn cenou ropy, kurzem Federálního rezervního systému atd. Takové faktory se nazývají regresory. Každá cílová hodnota indikátoru přitom musí odpovídat hodnotě regresoru, to znamená, že pokud máme 12 cílových indikátorů na každý měsíc v roce 2018, pak bychom měli mít za stejné období také 12 hodnot regresoru. Označme hodnoty každého regresoru pomocí . Budiž v našem případě regresory (tj. faktory, které ovlivňují cílové hodnoty indikátoru). To znamená, že naši regresoři mohou být prezentováni takto: pro 1. regresora (například cena ropy): , pro 2. regresora (například sazba Fedu): , pro "-th" regresor:
Závislost cílových indikátorů na regresorech
Předpokládejme, že závislost cílového indikátoru od regresorů"pozorování lze vyjádřit lineární regresní rovnicí ve tvaru:
Kde - "-th" hodnota regresoru od 1 do ,
— počet regresorů od 1 do
— úhlové koeficienty, které představují hodnotu, o kterou se vypočítaný cílový ukazatel v průměru změní, když se změní regresor.
Jinými slovy, jsme pro všechny (kromě ) regresoru určíme „náš“ koeficient , pak vynásobte koeficienty hodnotami regresorů ""pozorování, v důsledku toho získáme určitou aproximaci"-th" cílový ukazatel.
Proto musíme takové koeficienty vybrat , při které jsou hodnoty naší aproximační funkce budou umístěny co nejblíže cílovým hodnotám indikátoru.
Posouzení kvality aproximační funkce
Kvalitní posouzení aproximační funkce určíme metodou nejmenších čtverců. Funkce hodnocení kvality bude mít v tomto případě následující podobu:
Musíme vybrat takové hodnoty koeficientů $w$, pro které je hodnota bude nejmenší.
Převod rovnice do maticového tvaru
Vektorové znázornění
Pro začátek, abyste si usnadnili život, měli byste věnovat pozornost lineární regresní rovnici a všimnout si, že první koeficient není násobeno žádným regresorem. Přitom, když data převedeme do maticové podoby, výše zmíněná okolnost výpočty vážně zkomplikuje. V tomto ohledu se navrhuje zavést další regresor pro první koeficient a přirovnat to k jedné. Nebo spíše každý "přirovnat th hodnotu tohoto regresoru k jedničce - vždyť při vynásobení jednou se z hlediska výsledku výpočtů nic nezmění, ale z hlediska pravidel pro součin matic se naše muka se výrazně sníží.
Nyní, pro zjednodušení materiálu, předpokládejme, že máme pouze jeden "-té" pozorování. Pak si představte hodnoty regresorů“-th" pozorování jako vektor . Vektor má rozměr To znamená, že řádky a 1 sloupec:
Reprezentujme požadované koeficienty jako vektor , mající rozměr :
Rovnice lineární regrese pro "-th" pozorování bude mít podobu:
Funkce pro hodnocení kvality lineárního modelu bude mít podobu:
Upozorňujeme, že v souladu s pravidly násobení matic jsme potřebovali vektor transponovat .
Maticová reprezentace
V důsledku násobení vektorů dostaneme číslo: , což se dá očekávat. Toto číslo je přibližné"-th" cílový ukazatel. Potřebujeme však aproximaci nejen jedné cílové hodnoty, ale všech. Chcete-li to provést, zapišme si vše ""té" regresory v maticovém formátu . Výsledná matice má rozměr :
Nyní bude mít rovnice lineární regrese tvar:
Označme hodnoty cílových ukazatelů (všechny ) na vektor dimenze :
Nyní můžeme napsat rovnici pro posouzení kvality lineárního modelu v maticovém formátu:
Ve skutečnosti z tohoto vzorce dále získáme vzorec nám známý
Jak se to dělá? Otevřou se závorky, provede se diferenciace, transformují se výsledné výrazy atd., a to je přesně to, co teď uděláme.
Maticové transformace
Otevřeme závorky
Připravme si rovnici pro derivování
Za tímto účelem provedeme některé transformace. V dalších výpočtech pro nás bude výhodnější, když vektor bude reprezentován na začátku každého produktu v rovnici.
Konverze 1
Jak se to stalo? Chcete-li odpovědět na tuto otázku, podívejte se na velikosti násobených matic a uvidíte, že na výstupu dostaneme číslo nebo jinak .
Zapišme si velikosti maticových výrazů.
Konverze 2
Zapišme to podobně jako transformaci 1
Na výstupu dostaneme rovnici, kterou musíme diferencovat:
Rozlišujeme funkci hodnocení kvality modelu
Rozlišujme s ohledem na vektor :
Otázky proč by nemělo být, ale operace pro určování derivací v dalších dvou výrazech prozkoumáme podrobněji.
Diferenciace 1
Rozšiřme diferenciaci:
Abyste mohli určit derivaci matice nebo vektoru, musíte se podívat na to, co je uvnitř nich. Podívejme se:
Označme součin matic přes matrici . Matice čtvercový a navíc symetrický. Tyto vlastnosti se nám budou hodit později, připomeňme si je. Matice má rozměr :
Nyní je naším úkolem správně vynásobit vektory maticí a nedostat „dvakrát dva je pět“, takže se soustřeďme a buďme extrémně opatrní.
Dosáhli jsme však složitého výrazu! Ve skutečnosti jsme dostali číslo - skalár. A nyní popravdě přejdeme k diferenciaci. Pro každý koeficient je nutné najít derivaci výsledného výrazu a získat kótovací vektor jako výstup . Pro každý případ sepíšu postupy podle akce:
1) rozlišovat podle , dostaneme:
2) rozlišovat podle , dostaneme:
3) rozlišovat podle , dostaneme:
Výstupem je slíbený vektor velikosti :
Pokud se na vektor podíváte blíže, všimnete si, že levý a odpovídající pravý prvek vektoru lze seskupit tak, že v důsledku toho lze vektor izolovat z prezentovaného vektoru. размера . Například, (levý prvek horního řádku vektoru) (pravý prvek horního řádku vektoru) může být reprezentován jako a - tak jako atd. na každém řádku. Pojďme seskupit:
Vyjmeme vektor a na výstupu dostaneme:
Nyní se podívejme blíže na výslednou matici. Matice je součtem dvou matic :
Připomeňme, že o něco dříve jsme zaznamenali jednu důležitou vlastnost matice - je symetrický. Na základě této vlastnosti můžeme s jistotou říci, že výraz rovná se . To lze snadno ověřit rozšiřováním součinu matic prvek po prvku . Tady to dělat nebudeme, zájemci si to mohou ověřit sami.
Vraťme se k našemu vyjádření. Po našich proměnách to dopadlo tak, jak jsme to chtěli vidět:
Takže máme hotovou první diferenciaci. Přejděme k druhému výrazu.
Diferenciace 2
Jdeme po vyšlapané cestě. Bude mnohem kratší než předchozí, takže se příliš nevzdalujte od obrazovky.
Rozbalme vektory a matici prvek po prvku:
Na chvíli odstraníme dvojku z výpočtů – nehraje velkou roli, pak ji vrátíme na své místo. Vynásobme vektory maticí. Nejprve si vynásobme matici do vektoru , zde nemáme žádná omezení. Dostaneme vektor velikosti :
Proveďme následující akci - vynásobte vektor k výslednému vektoru. U východu na nás bude čekat číslo:
Pak to rozlišíme. Na výstupu dostaneme vektor dimenze :
Připomíná mi to něco? To je správně! Toto je produkt matice do vektoru .
Tím je druhá diferenciace úspěšně dokončena.
Místo závěru
Nyní víme, jak k rovnosti došlo .
Nakonec si popíšeme rychlý způsob transformace základních vzorců.
Zhodnoťme kvalitu modelu v souladu s metodou nejmenších čtverců:
Rozlišujme výsledný výraz:
Literatura
Internetové zdroje:
1)
2)
3)
4)
Učebnice, sbírky úloh:
1) Poznámky z přednášky z vyšší matematiky: celý kurz / D.T. Napsáno – 4. vyd. – M.: Iris-press, 2006
2) Aplikovaná regresní analýza / N. Draper, G. Smith - 2. vyd. – M.: Finance and Statistics, 1986 (překlad z angličtiny)
3) Úlohy pro řešení maticových rovnic:
Zdroj: www.habr.com