Svrha je članka pružiti podršku znanstvenicima početnicima. U Naveli smo tri načina za rješavanje jednadžbe linearne regresije: analitičko rješenje, gradijentni spust, stohastički gradijentni spust. Zatim smo za analitičko rješenje primijenili formulu . U ovom ćemo članku, kao što naslov sugerira, opravdati korištenje ove formule ili, drugim riječima, sami ćemo je izvesti.
Zašto ima smisla obratiti dodatnu pozornost na formulu ?
Upravo se s matričnom jednadžbom u većini slučajeva počinje upoznavanje s linearnom regresijom. U isto vrijeme, rijetki su detaljni izračuni o tome kako je formula izvedena.
Na primjer, u tečajevima strojnog učenja iz Yandexa, kada se studenti upoznaju s regularizacijom, nudi im se korištenje funkcija iz knjižnice sklearn, dok se o matričnom prikazu algoritma ne spominje ni riječ. Upravo u ovom trenutku neki slušatelji možda žele detaljnije razumjeti ovo pitanje - pisati kod bez korištenja gotovih funkcija. A da biste to učinili, morate prvo predstaviti jednadžbu s regulatorom u matričnom obliku. Ovaj će članak omogućiti onima koji žele svladati takve vještine. Započnimo.
Početni uvjeti
Pokazatelji cilja
Imamo niz ciljnih vrijednosti. Na primjer, ciljni pokazatelj može biti cijena bilo koje imovine: nafte, zlata, pšenice, dolara itd. U isto vrijeme, pod brojem ciljnih vrijednosti pokazatelja podrazumijevamo broj promatranja. Takva promatranja mogu biti, primjerice, mjesečne cijene nafte za godinu, odnosno imat ćemo 12 ciljanih vrijednosti. Počnimo s uvođenjem notnog zapisa. Označimo svaku vrijednost ciljnog indikatora kao . Ukupno imamo opažanja, što znači da svoja opažanja možemo prikazati kao .
Regresori
Pretpostavit ćemo da postoje čimbenici koji u određenoj mjeri objašnjavaju vrijednosti ciljanog pokazatelja. Na primjer, tečaj dolar/rublja snažno je pod utjecajem cijene nafte, stope Federalnih rezervi itd. Takvi se čimbenici nazivaju regresorima. Istovremeno, svaka ciljna vrijednost indikatora mora odgovarati regresorskoj vrijednosti, odnosno ako imamo 12 ciljnih indikatora za svaki mjesec u 2018. godini, onda trebamo imati i 12 regresorskih vrijednosti za isto razdoblje. Označimo vrijednosti svakog regresora sa . Neka u našem slučaju postoji regresori (tj. čimbenici koji utječu na ciljane vrijednosti indikatora). To znači da se naši regresori mogu prikazati na sljedeći način: za 1. regresor (na primjer, cijena nafte): , za 2. regresor (na primjer, Fed stopa): , za "-th" regresor:
Ovisnost ciljnih pokazatelja o regresorima
Pretpostavimo da ovisnost ciljnog pokazatelja od regresora"Opažanje se može izraziti kroz jednadžbu linearne regresije u obliku:
Gdje - "-th" vrijednost regresora od 1 do ,
— broj regresora od 1 do
— kutni koeficijenti, koji predstavljaju iznos za koji će se prosječno promijeniti izračunati ciljni pokazatelj kada se promijeni regresor.
Drugim riječima, mi smo za sve (osim ) regresora određujemo “naš” koeficijent , zatim pomnožite koeficijente s vrijednostima regresora "th" opažanja, kao rezultat dobivamo određenu aproksimaciju "-th" pokazatelj cilja.
Stoga moramo odabrati takve koeficijente , pri kojoj su vrijednosti naše aproksimacijske funkcije nalazit će se što bliže ciljnim vrijednostima indikatora.
Procjena kvalitete aproksimacijske funkcije
Ocjenu kvalitete aproksimacijske funkcije odredit ćemo metodom najmanjih kvadrata. Funkcija procjene kvalitete u ovom će slučaju imati sljedeći oblik:
Trebamo odabrati takve vrijednosti koeficijenata $w$ za koje vrijednost bit će najmanji.
Pretvaranje jednadžbe u matrični oblik
Vektorski prikaz
Za početak, da bi si olakšali život, trebali biste obratiti pozornost na jednadžbu linearne regresije i primijetiti da prvi koeficijent nije pomnožen nikakvim regresorom. U isto vrijeme, kada podatke pretvorimo u matrični oblik, gore navedena okolnost će ozbiljno zakomplicirati izračune. S tim u vezi predlaže se uvođenje još jednog regresora za prvi koeficijent i izjednačiti ga s jednim. Ili bolje rečeno, svaki "izjednačite th vrijednost ovog regresora s jedan - uostalom, kada se pomnoži s jedan, ništa se neće promijeniti sa stajališta rezultata izračuna, ali sa stajališta pravila za umnožak matrica, naše muke značajno će se smanjiti.
Sada, za sada, kako bismo pojednostavili gradivo, pretpostavimo da imamo samo jedan "-th" opažanje. Zatim, zamislite vrijednosti regresora "-th" opažanja kao vektor . Vektor ima dimenziju To je, redovi i 1 stupac:
Predstavimo tražene koeficijente kao vektor , koji ima dimenziju :
Jednadžba linearne regresije za "-th" promatranje će imati oblik:
Funkcija za ocjenu kvalitete linearnog modela poprimit će oblik:
Imajte na umu da smo u skladu s pravilima množenja matrice morali transponirati vektor .
Matrična reprezentacija
Kao rezultat množenja vektora dobivamo broj: , što je i očekivano. Ovaj broj je aproksimacija "-th" pokazatelj cilja. Ali trebamo aproksimaciju ne samo jedne ciljane vrijednosti, već svih njih. Da bismo to učinili, zapišimo sve "-th" regresori u matričnom formatu . Dobivena matrica ima dimenziju :
Sada će jednadžba linearne regresije poprimiti oblik:
Označimo vrijednosti ciljnih pokazatelja (sve ) po vektoru dimenzija :
Sada možemo napisati jednadžbu za procjenu kvalitete linearnog modela u matričnom formatu:
Zapravo, iz ove formule dalje dobivamo formulu koja nam je poznata
Kako se to radi? Otvaraju se zagrade, provodi se diferenciranje, transformiraju dobiveni izrazi itd., a to je upravo ono što ćemo sada učiniti.
Transformacije matrice
Otvorimo zagrade
Pripremimo jednadžbu za diferenciranje
Da bismo to učinili, izvršit ćemo neke transformacije. U kasnijim izračunima bit će nam prikladnije ako vektor bit će predstavljen na početku svakog proizvoda u jednadžbi.
Pretvorba 1
Kako se to dogodilo? Da biste odgovorili na ovo pitanje, samo pogledajte veličine matrica koje se množe i vidite da na izlazu dobivamo broj ili na drugi način .
Zapišimo veličine matričnih izraza.
Pretvorba 2
Zapišimo to na sličan način kao transformacija 1
Na izlazu dobivamo jednadžbu koju moramo diferencirati:
Razlikujemo funkciju procjene kvalitete modela
Razlikujmo s obzirom na vektor :
Pitanja zašto ne bi trebalo biti, ali ćemo detaljnije ispitati operacije za određivanje izvodnica u druga dva izraza.
Diferencijacija 1
Proširimo diferencijaciju:
Kako biste odredili derivaciju matrice ili vektora, morate pogledati što se nalazi unutar njih. Pogledajmo:
Označimo produkt matrica kroz matricu . Matrica kvadrat i štoviše, simetričan je. Ova svojstva će nam biti korisna kasnije, zapamtimo ih. Matrica ima dimenziju :
Sada je naš zadatak ispravno pomnožiti vektore s matricom i ne dobiti "dvaput dva je pet", stoga se koncentrirajmo i budimo izuzetno oprezni.
Međutim, postigli smo zamršen izraz! Zapravo, dobili smo broj – skalar. A sada, zapravo, prelazimo na diferencijaciju. Za svaki koeficijent potrebno je pronaći derivaciju dobivenog izraza i dobiti dimenzijski vektor kao izlaz . Za svaki slučaj napisat ću postupke po radnjama:
1) razlikovati po , dobivamo:
2) razlikovati po , dobivamo:
3) razlikovati po , dobivamo:
Izlaz je obećani vektor veličine :
Ako pažljivije pogledate vektor, primijetit ćete da se lijevi i odgovarajući desni elementi vektora mogu grupirati na takav način da se, kao rezultat, vektor može izolirati od prikazanog vektora veličina , Na primjer (lijevi element gornje linije vektora) (desni element gornje linije vektora) može se predstaviti kao I - kao itd. na svakoj liniji. Grupirajmo:
Izvadimo vektor a na izlazu dobivamo:
Sada, pogledajmo pobliže dobivenu matricu. Matrica je zbroj dviju matrica :
Podsjetimo se da smo malo prije primijetili jedno važno svojstvo matrice - simetričan je. Na temelju ovog svojstva možemo pouzdano reći da izraz jednak . To se lako može provjeriti proširivanjem umnoška matrica element po element . Ovdje to nećemo raditi, zainteresirani mogu sami provjeriti.
Vratimo se našem izričaju. Nakon naših transformacija ispalo je onako kako smo htjeli vidjeti:
Dakle, završili smo prvu diferencijaciju. Prijeđimo na drugi izraz.
Diferencijacija 2
Idemo utabanom stazom. Bit će puno kraći od prethodnog, pa se nemojte previše udaljavati od ekrana.
Proširimo vektore i matricu element po element:
Maknimo to dvoje iz proračuna nakratko – ne igra veliku ulogu, pa ćemo ga vratiti na svoje mjesto. Pomnožimo vektore s matricom. Prije svega, pomnožimo matricu vektorirati , ovdje nemamo ograničenja. Dobivamo vektor veličine :
Izvršimo sljedeću akciju - pomnožimo vektor na rezultirajući vektor. Na izlazu će nas čekati broj:
Onda ćemo to razlikovati. Na izlazu dobivamo vektor dimenzija :
Podsjeća me na nešto? Tako je! Ovo je proizvod matrice vektorirati .
Time je druga diferencijacija uspješno završena.
Umjesto zaključka
Sada znamo kako je došlo do ravnopravnosti .
Na kraju ćemo opisati brzi način transformacije osnovnih formula.
Procijenimo kvalitetu modela u skladu s metodom najmanjih kvadrata:
Razlikujmo dobiveni izraz:
Književnost
Internetski izvori:
1)
2)
3)
4)
Udžbenici, zbirke zadataka:
1) Bilješke s predavanja iz više matematike: cijeli kolegij / D.T. Napisano – 4. izd. – M.: Iris-press, 2006
2) Primijenjena regresijska analiza / N. Draper, G. Smith - 2. izd. – M.: Financije i statistika, 1986. (prijevod s engleskog)
3) Zadaci za rješavanje matričnih jednadžbi:
Izvor: www.habr.com