Qëllimi i këtij artikulli është të ofrojë mbështetje për fillestarët në shkencën e të dhënave. Në ne analizuam në detaje tre mënyra për të zgjidhur ekuacionin e regresionit linear: zgjidhja analitike, zbritja gradiente dhe zbritja gradiente stohastike. Atëherë, për zgjidhjen analitike, aplikuam formulën 
. Në këtë artikull, siç tregohet në titull, do të justifikojmë përdorimin e kësaj formule, ose më saktë, do ta nxjerrim atë vetë.
Pse ka kuptim të kushtohet vëmendje e veçantë formulës 
?
Ishte pikërisht nga ekuacioni matricor që zakonisht fillon njohja me regresionin linear. Megjithatë, përshkrimet e detajuara të mënyrës se si u nxorr formula janë të rralla.
Përdoruesit e kurseve të mësimit të makinë nga Yandex, kurstudentët njoftohen me regularizimin, iu sugjerohet të përdorin funksionet nga biblioteka sklearn, ndërsa asnjë fjalë nuk përmendet për përfaqësimin matricor të algoritmit. Në këtë moment, disa studentë mund të ndihen të motivuar të kuptojnë këtë çështje më thellë - duke shkruar kod pa përdorimin e funksioneve të gatshme. Dhe për këtë, së pari duhet të përshkruajmë ekuacionin me regularizatorin në formën matricore. Ky artikull është saktësisht për ata që dëshirojnë të zotërojnë këto aftësi. Le të fillojmë.
Kushtet fillestare
Të dhënat e synuara
Kemi një seri vlerash të të dhënave synuese. Për shembull, një të dhënë synuese mund të jetë çmimi i një aktive: naftë, ar, grurë, dollar etj. Në këtë rast, me një seri vlerash të të dhënave synuese kuptojmë numrin e vëzhgimeve. Vëzhgimet e tilla mund të jenë, për shembull, çmimet mujore të naftës për një vit, që do të thotë se do të kemi 12 vlera të të dhënave synuese. Le të fillojmë të prezantojmë shenjat. Le të caktosh çdo vlerë të të dhënës synuese si 
. Në total, kemi 
vëzhgime, kështu që mund të përshkruajmë vëzhgimet tona si 
.
Regressorët
Le të supozojmë se ekzistojnë faktorë që në një masë të caktuar shpjegojnë vlerat e të dhënave synuese. Për shembull, në kursin e çiftit dollar/rubël, çmimi i naftës, norma e FRS dhe të tjerë kanë një ndikim të rëndësishëm. Këta faktorë quhen regressorë. Në këtë rast, për çdo vlerë të të dhënës synuese duhet të përputhet me vlerën e regressorëve, domethënë, nëse kemi 12 të dhëna synuese për çdo muaj në vitin 2018, atëherë do të kemi gjithashtu 12 vlera të regressorëve për të njëjtin periudhë. Le të caktosh vlerat e çdo regressor si 
. Le të supozojmë se në rastin tonë kemi 
regressorë (dmth. 
faktorë që ndikojnë në vlerat e të dhënave synuese). Kështu, regressorët tanë mund të përshkruhen si: për regressor-in e parë (për shembull, çmimi i naftës): 
, për regressor-in e dytë (për shembull, norma e FRS): 
, për " regressor-in " e tretë:
Varësia e të dhënave synuese nga regressorët 
Varësia e treguesve të synuar nga regresorët
Le të supozojmë se varësia e të dhënës synuese 
nga regressorët e " -të" vëzhgimit mund të shprehet përmes një ekuacioni regresioni linear të tipit:
-ta" vlera e regressorëve nga 1 deri në
, ku 
⠫
- numri i regressorëve nga 1 deri në 
,
- coeficientët këndorë që përfaqësojnë madhësinë, me të cilën do të ndryshojë vlerën e llogaritur të dhënave synuese në mesatare kur ndryshon regressor-i. 
- janë koeficientët këndorë, të cilët paraqesin madhësinë me të cilën do të ndryshojë treguesi i llogaritur i synuar mesatarisht me ndryshimin e regresorit.
Në mënyrë të tjera, për çdo regressor (përveç 
) ne përcaktojmë "coeficientin" tonë 
, pastaj e shumëzojmë coeficientët me vlerat e regressorëve " -të" vëzhgimit dhe si rezultat marrim një përafërsi të " -të" të dhënës synuese.
-it" të vëzhgimit, si rezultat marrim një afrim të caktuar "
-it" treguesi i synuar.
Prandaj, na nevojitet të gjenden coeficientët të tillë 
, për të cilat vlerat e funksionit tonë përafërues 
do të jenë të pozicionuara sa më afër me vlerat e të dhënave synuese.
Vlerësimi i cilësisë së funksionit të aproksimuar
Vlerësimi i cilësisë së funksionit përafërues
Ne do të përcaktojmë cilësinë e funksionit përafërues përmes metodës së katrorëve të vegjël. Funksioni i vlerësimit të cilësisë në këtë rast do të marrë formën e mëposhtme: 
do të jetë sa më e vogël.
Na nevojitet të gjejmë vlerat e coeficientëve $w$, për të cilat vlera
do të jetë më e vogël.
Të kthejmë ekuacionin në formë matricore 
Prezantimi vektorial 
Për fillim, për të lehtësuar jetën tonë, duhet të vëmë re ekuacionin e regresionit linear dhe të vërejmë se coeficienti i parë
nuk shumëzohet me asnjë regressor. Në këtë mënyrë, kur të kthejmë të dhënat në formë matricore, kjo rrethanë e sipërpërmendur do të vështirësojë ndjeshëm llogaritjet. Në kështu, propozohet të futet një regressor shtesë për coeficientin e parë
dhe të barazohet me një.
Ajo që do të thotë, çdo "
-ë» vëzhgimi si një vektor 
. Vektori 
ka dimensionalitetin 
, që do të thotë 
rreshtave dhe 1 kolonë:
Koeficientët e kërkuar le të paraqiten si një vektor 
, që ka dimensionalitetin 
:
Ekuacioni i regresionit linear për «
-in» vëzhgim do të ketë këtë formë:
Funksioni i vlerësimit të cilësisë së modelit linear do të ketë këtë formë:
Vlen të theksohet se, në përputhje me rregullat e shumëzimit të matriceve, na nevojitet të transponojmë vektorin 
.
PrÀsentimi matricor
Si rezultat i shumëzimit të vektorëve, do të marrim një numër: 
, që është ajo që pritej. Ky numër është afërsia e «
-it» indikatorit të synuar. Por ne na nevojitet një afërsi jo vetëm për një vlerë të indikatorit të synuar, por për të gjitha. Për këtë, le të shkruajmë të gjitha «
-at» regresorë në formatin e matricës 
. Matrica e marre ka dimensionalitetin 
:
Tani ekuacioni i regresionit linear do të ketë këtë formë:
Të emërtojmë vlerat e indikatorëve të synuar (të gjitha 
) si vektor 
me dimensionalitetin 
:
Tani mund të shkruajmë në format matricor ekuacionin e vlerësimit të cilësisë së modelit linear:
Në fakt, nga kjo formulë më pas arrijmë në formulën e njohur 
Si bëhet kjo? Shkëputen kllapët, kryhet diferencimi, shtransformohen shprehjet e marra etj., dhe këtë ne do ta bëjmë tani.
Transformimet matricore
Shkëputim kllapët
Të përgatisim ekuacionin për diferencim
Për këtë do të kryejmë disa transformime. Në llogaritjet e mëvonshme do të jetë më e lehtë nëse vektori 
do të paraqitet në fillim të çdo shumëzimi në ekuacion.
Transformimi 1
Si erdhën në këtë rezultat? Për të përgjigjur në këtë pyetje, është e mjaftueshme të shohim dimensionet e matricave që shumëzohen dhe të shohim se nga rezultatet ne marrim një numër, ose ndryshe 
.
Le të shkruajmë dimensionet e shprehjeve matricore.
Transformimi 2
Le të zhvillojmë në mënyrë të ngjashme si në transformimin 1
Dhe si rezultat marrim ekuacionin, të cilin do ta diferencojmë:
Diferencojmë funksionin e vlerësimit të cilësisë së modelit
Diferencojmë sipas vektorit 
:
Nuk duhet të ketë pyetje përse 
në dy shprehjet e tjera ne do të shqyrtojmë më me detaje procedurat e përcaktimit të derivatave.
Diferencimi 1
Shkëputim diferencimin: 
Për të përcaktuar derivatën nga një matricë ose vektor duhet të shikojmë se çfarë ka brenda. Shikojmë:
Të emërtojmë shumëzimin e matricave 
si matricën 
. Matrica 
është katrore dhe për më tepër, ajo është simetrike. Këta veti do t'i nevojitin më vonë, t'i mbajmë mend. Matrica 
ka dimensionalitetin 
:
Tani detyra jonë është të bëjmë shumëzimin e vektorëve me matricën dhe të mos marrim «dy herë dy pesë», kështu që të përqendrohemi dhe të tregojmë shumë kujdes.
MegjithatĂ«, shprehja e ndĂ«rlikuar na doli! NĂ« tĂ« vĂ«rtetĂ« kemi marrĂ« njĂ« numĂ«r â skalar. Dhe tani, vĂ«rtet, kalojmĂ« te diferencimi. Duhet tĂ« gjejmĂ« derivatĂ«n e shprehjes sĂ« marrĂ« pĂ«r çdo koeficient 
dhe të marrim si rezultat vektorin me dimensionalitetin 
. Në çdo rast, do të përshkruaj procedurat e veprimeve:
1) do të diferencojmë sipas 
, do të marrim: 
2) do të diferencojmë sipas 
, do të marrim: 
3) do të diferencojmë sipas 
, do të marrim: 
Si rezultat â vektori i premtuar me dimension 
:
Nëse e shikoni vektorin më me vëmendje, do të vëreni se elementet e majtë dhe të djathtë të vektorit mund të grupohen në atë mënyrë sa që në fund nga vektori i paraqitur mund të dalloni vektorin 
me dimension 
. Për shembull, 
(elementi i majtë i rreshtit të sipërm të vektorit) 
(elementi i djathtë i rreshtit të sipërm të vektorit) mund të paraqitet si 
, dhe 
â si 
etj. për çdo rresht. Le të grupojmë:
Le të nxjerrim vektorin 
dhe si rezultat do të marrim:
Tani, le të shikojmë matricën e marrë. Matrica përbëhet nga shuma e dy matriceve 
:
Le të kujtojmë se disa kohë më parë e theksuam një pronë të rëndësishme të matricës 
â ajo Ă«shtĂ« simetrike. Duke e marrĂ« parasysh kĂ«tĂ« pronĂ«, ne mund tĂ« deklarojmĂ« me siguri se shprehja 
është e barabartë me 
. Kjo është lehtë për t'u verifikuar, duke hapur produktin e matricave për katër elemente. 
. Ne nuk do ta bëjmë këtë këtu, ata që dëshirojnë mund ta verifikojnë vetë.
Të kthehemi te shprehja jonë. Pas transformimeve tona, ajo rezultoi ashtu siç ne donim ta shihnim:
Pra, me diferencimin e parë e përfunduam. Kalojmë te shprehja e dytë.
Diferencimi 2
Të vazhdojmë në rrugën e trotuar. Ajo do të jetë shumë më e shkurtër se e mëparshmja, kështu që mos shkoni larg nga ekrani.
Do të zbulojmë element për element vektorët dhe matricën:
PĂ«r njĂ« kohĂ« do ta heqim nga pĂ«rllogaritjet numrin dy â ai nuk luan njĂ« rol tĂ« madh, mĂ« vonĂ« do ta kthejmĂ« nĂ« vend. Do tĂ« shumzojmĂ« vektorĂ«t me matricĂ«n. SĂ« pari, do tĂ« shumzojmĂ« matricĂ«n 
me vektorin 
, këtu nuk kemi asnjë kufizim. Do të marrim një vektor me madhësi 
:
Do tĂ« realizojmĂ« veprimin e mĂ«poshtĂ«m â do tĂ« shumzojmĂ« vektorin 
me vektorin e marrë. Në dalje, na pret një numër:
Ky është numri që do ta diferencojmë. Në dalje do të marrim një vektor me përmasë 
:
A ju kujton diçka? ĂshtĂ« e saktĂ«! Kjo Ă«shtĂ« produkti i matricĂ«s 
me vektorin 
.
Kështu, diferencimi i dytë ka përfunduar me sukses.
Në vend të përfundimit
Tani e dimë se si u arrit të barazojmë 
.
Në fund, do të përshkruajmë një rrugë të shpejtë të transformimeve të formulave kryesore.
Do të vlerësojmë cilësinë e modelit sipas metodës së më të voglave katrore:
Do të diferencojmë shprehjen e marrë:
Literatura
Burimet në internet:
1)
2)
3)
4)
Shkollat, përmbledhjet e detyrave:
1) ShĂ«nime tĂ« ligjĂ«ratave mbi matematikĂ«n superiore: kursi i plotĂ« / D.T. Pismenny â Botimi i 4-tĂ« â MoskĂ«: Airis-press, 2006
2) Analiza regresive e aplikuar / N. Draper, G. Smith â Botimi i 2-tĂ« â MoskĂ«: Financa dhe statistika, 1986 (pĂ«rkthimi nga anglishtja)
3) Detyra mbi zgjidhjen e ekuacioneve matricore:
Burimi: habr.com
