Qëllimi i artikullit është të mbështesë fillestarët në datascience. Ne e shqyrtuam në mënyrë të thjeshtë tri mënyra për të zgjidhur ekuacionin e regresionit linear: zgjidhje analitike, zbritje gradiente, zbritje gradiente stohastike. Atëherë, për zgjidhjen analitike, aplikuam formulën 
. Në këtë artikull, siç del nga titulli, ne do të justifikojmë përdorimin e kësaj formule ose, me fjalë të tjera, do ta nxjerrim vetë.
Pse ka kuptim të kushtojmë vëmendje të shtuar formulës 
?
Pikërisht nga ekuacioni matricor zakonisht fillon njohja me regresionin linear. Ndërkohë, zgjidhjet e detajuar se si është nxjerrë formula ndodhin rrallë.
PĂ«r shembull, nĂ« kurset mbi mĂ«simin e makinerive nĂ« Yandex, kur audienca njihet me regularizimin, ofrohet pĂ«rdorimi i funksioneve nga biblioteka sklearn, ndĂ«rkohĂ« qĂ« nuk pĂ«rmendet asnjĂ« fjalĂ« pĂ«r pĂ«rfaqĂ«simin matricor tĂ« algoritmit. PikĂ«risht nĂ« kĂ«tĂ« moment, disa dĂ«shira mund tĂ« shfaqen tek disa nga tĂ« pranishmit qĂ« tĂ« hedhin njĂ« vĂ«shtrim mĂ« tĂ« thellĂ« nĂ« kĂ«tĂ« çështje â tĂ« shkruajnĂ« kod pa pĂ«rdorur funksione tĂ« gatshme. Dhe pĂ«r kĂ«tĂ«, sĂ« pari, duhet tĂ« paraqesim ekuacionin me regularizuesin nĂ« formĂ« matricore. Ky artikull, pikĂ«risht, do tĂ« ndihmojĂ« ata qĂ« dĂ«shirojnĂ« tĂ« zotĂ«rojnĂ« kĂ«to aftĂ«si. Le tĂ« fillojmĂ«.
Kushtet fillestare
Të dhënat e targetit
Ne kemi një seri vlerash për treguesin e synuar. Për shembull, treguesi i synuar mund të jetë çmimi i ndonjë aktivi: naftë, ar, grurë, dollar etj. Ndërkohë, me një seri vlerash të treguesit të synuar kuptojmë numrin e vëzhgimeve. Të tilla vëzhgime mund të jenë, për shembull, çmimet mujore të naftës për një vit, pra do të kemi 12 vlera të treguesit të synuar. Le të fillojmë të vendosim shenjat. Do të shenojmë çdo vlerë të treguesit të synuar si 
. Në total kemi 
vëzhgime, prandaj mund ta paraqesim vëzhgimin tonë si 
.
Regresorët
Do të mendojmë se ekzistojnë faktorë që, në një farë mase, shpjegojnë vlerat e treguesit të synuar. Për shembull, në kursin e çiftit dollar/rupie, çmimi i naftës, niveli i FRS-së, dhe të tjerë kanë një ndikim të fortë. Të tillë faktorë quhen regresorë. Në të njëjtën kohë, çdo vlerë e treguesit të synuar duhet të përputhet me një vlerë regresori, domethënë, nëse kemi 12 tregues të synuar për çdo muaj të vitit 2018, atëherë do të kemi gjithashtu 12 vlera regresorësh për të njëjtin periudhë. Le të shënojmë vlerat e secilit regresor me 
. Le të supozojmë se në rastin tonë ka 
regresorë (dmth, 
faktorë që ndikojnë në vlerat e treguesit të synuar). Kështu, regresorët tanë mund të paraqiten si më poshtë: për regresorin 1 (p.sh., çmimi i naftës): 
, për regresorin 2 (p.sh., niveli i FRS-së): 
, për regresorin "
-të": 
Varësia e treguesve të synuar nga regresorët
Supozoni se varësia e treguesit të synuar 
nga regresorët "
-të" të vëzhgimit mund të shprehet përmes një ekuacioni të regresionit linear të llojit:
index 
⠫
-i" vlera e regresorit nga 1 deri në 
,
â numri i regresorĂ«ve nga 1 deri nĂ« 
â koeficientĂ«t kĂ«ndorĂ«, tĂ« cilĂ«t pĂ«rfaqĂ«sojnĂ« madhĂ«sinĂ« me tĂ« cilĂ«n do tĂ« ndryshojĂ« treguesi i propozuar nĂ« mesatare me ndryshimin e regresorit.
Me fjalë të tjera, për secilin (përveç 
) regresor përcaktojmë "koeficientin" tonë të veçantë 
, pastaj shumëzojmë koeficientët me vlerat e regresorëve "
-të" të vëzhgimit, duke rezultuar në një afrim të caktuar të "
-të" treguesit të synuar.
Prandaj, na nevojitet të përshtatim koeficientë të tillë 
, për të cilët vlerat e funksionit tonë aproksimues 
do të jenë sa më afër vlerave të treguesve të synuar.
Vlerësimi i cilësisë së funksionit aproksimues
Do të përcaktojmë vlerësimin e cilësisë së funksionit aproksimues me metodën e katrorëve të vegjël. Funksioni i vlerësimit të cilësisë në këtë rast do të marrë formën e mëposhtme:
Na nevojitet të përshtatim vlera të tilla të koeficientëve $w$, për të cilat vlera 
do të jetë sa më e vogël.
Kthejmë ekuacionin në formë matricore
Përfaqësimi vektor
Për shkak se të fillojmë, për ta bërë jetën më të lehtë, duhet të përqendrohemi në ekuacionin e regresionit linear dhe të vërejmë se koeficienti i parë 
nuk e mnohet me asnjĂ« regresor. MegjithatĂ«, kur tâi shndĂ«rrojmĂ« tĂ« dhĂ«nat nĂ« formĂ«n matricore, rasti i mĂ«sipĂ«rm do tĂ« ndĂ«rlikojĂ« seriozisht llogaritjet. Prandaj, propozohet tĂ« vendosim njĂ« regresor tjetĂ«r pĂ«r koeficientin e parĂ«. 
dhe ta barazojmë atë me një. Më saktë, çdo "
-tĂ«" vlerĂ« e kĂ«tij regresori do tĂ« barazohet me njĂ« â sepse kur e mnohim me njĂ«, nga pika e parĂ« e rezultateve tĂ« llogaritjeve nuk do tĂ« ketĂ« asnjĂ« ndryshim, ndĂ«rsa nga pikĂ«pamja e rregullave tĂ« produktit tĂ« matricave, do tĂ« zvogĂ«lohen ndjeshĂ«m mundimet tona.
Tani, për një periudhë, me qëllim të thjeshtësimit të materialit, le të mendojmë se kemi vetëm një "
-të" vëzhgim. Atëherë, le të paraqesim vlerat e regresorëve të "
-të" vëzhgimit si një vektor 
. Vektori 
ka dimension 
, që do të thotë 
rreshta dhe 1 kolonë:
Koeficientët e kërkuar le të paraqiten si një vektor 
, i cili ka dimension 
:
Ekspresioni i regresionit linear për vëzhgimin "
-të" do të marrë formën:
Funksioni i vlerësimit të cilësisë së modelit linear do të jetë:
Vëmendje, sipas rregullave të mnohimit të matricave, duhet të transponojmë vektorin 
.
Prezantimi matricor
Si rezultat i mnohimit të vektorëve, do të marrim një numër: 
, gjë që pritej. Ky numër është afërsisht "
-ti" tregues i synuar. Por ne kemi nevojë për afërsinë e të gjithëve treguesve të synuar, prandaj do t'i shkruajmë të gjithë "
-të" regresorët në formatin e matricës. 
Matrica e marrë ka dimension 
:
Tani, ekvivalenti i regresionit linear do të marrë formën:
Le të emërtojmë vlerat e treguesve të synuar (të gjitha 
) si një vektor 
me dimension 
:
Tani mund të shkruajmë në format matricor ekvacionin e vlerësimit të cilësisë së modelit linear:
Praktikisht, nga kjo formulë do të merrni formulën e njohur 
Si bëhet kjo? Hapim zarfet, kryejmë diferenciimin, transformojmë shprehjet e marra, etj., dhe pikërisht me këtë ne do të merremi tani.
Transformimet matricore
Hapim zarfet
Përgatitim ekvacionin për diferenciim
Për këtë do të kryejmë disa transformime. Në llogaritjet e mëvonshme do të jetë më e lehtë nëse vektori 
do të paraqitet në fillim të çdo produkti në ekuacion.
Transformimi 1
Si e ndodhi deri këtu? Për të përgjigjur këtë pyetje, mjafton të shikojmë dimensionet e matriceve të shumzuara dhe të shohim se në fund marrim një numër ose ndryshe 
.
Le të shkruajmë dimensionet e shprehjeve matricore.
Transformimi 2
Të shkruajmë njësoj si në transformimin 1
Në daljen kemi një ekuacion, të cilin na duhet ta diferencojmë:
Diferencojmë funksionin e vlerësimit të cilësisë së modelit
Të diferencojmë sipas vektorit 
:
Nuk duhet të ketë pyetje pse 
por operacionet për përcaktimin e derivatave në dy shprehje të tjera do t'i shqyrtojmë më në detaje.
Diferencimi 1
Të hapim diferencimin: 
Për të përcaktuar derivatën e një matrice ose vektori, duhet të shikojmë se çfarë kanë brenda. Shikojmë:
Le të shënojmë produktin e matricave 
përmes matrices 
. Matrica 
është katrore dhe më tepër, ajo është simetrike. Këto propërtësi do na nevojiten më vonë, le të kujtojmë ato. Matrica 
ka dimension 
:
Tani detyra jonë është të shumzojmë saktë vektorët me matricën dhe të mos marrë shprehje të gabuara, kështu që do të përqendrohemi dhe do të jemi shumë të kujdesshëm.
MegjithatĂ«, duke e parĂ« mirĂ« shprehjen e komplikuar qĂ« kemi, nĂ« tĂ« vĂ«rtetĂ« kemi marrĂ« njĂ« numĂ«r â skalar. Tani, me tĂ« vĂ«rtetĂ«, kalojmĂ« nĂ« diferencimin. Duhet tĂ« gjejmĂ« derivatĂ«n e shprehjes sĂ« marrĂ« sipas çdo koeficienti 
dhe të marrim si rezultat një vektor me dimension 
. Për çdo rast, do ta përshkruaj procedurën e veprimeve:
1) do të diferencojmë sipas 
, do të marrim: 
2) do të diferencojmë sipas 
, do të marrim: 
3) do të diferencojmë sipas 
, do të marrim: 
NĂ« daljen â vektori i premtuar me pĂ«rmasĂ« 
:
Nëse e shikoni vektorin me kujdes, mund të vini re se elementet e majta dhe ato të djathta të përputhura në vektor mund të grupohen në mënyrë që në fund nga vektori i paraqitur të nxjerrim vektorin 
me përmasë 
. Për shembull, 
(elementi i majtë i rreshtit të sipërm të vektorit) 
(elementi i djathtë i rreshtit të sipërm të vektorit) mund të paraqitet si 
, ndërsa 
â si 
e kështu me radhë për çdo rresht. Le të grupojmë:
Të nxjerrim vektorin 
dhe në dalje do të marrë:
Tani, le të shikojmë matricën e marrë. Matrica përbën shumën e dy matricave 
:
Kujtojmë se disa herë më parë, ne theksuam një pronë të rëndësishme të matricës 
â ajo Ă«shtĂ« simetrike. Duke u bazuar nĂ« kĂ«tĂ« pronĂ«, ne mund tĂ« themi me besim se shprehja 
është e barabartë me 
. Kjo është e lehtë për t'u verifikuar, duke hapur produktin e matricave element për element. 
. Nuk do ta bëjmë këtë këtu, ata që janë të interesuar mund ta kontrollojnë vetë.
Të kthehemi te shprehja jonë. Pas transformimeve tona, ajo doli ashtu siç do ta dëshironim ta shihnim:
Kështu, ne e përfunduam diferencimin e parë. Kalojmë te shprehja e dytë.
Diferencimi 2
Të shkojmë nëpër rrugën e shtruar. Ajo do të jetë shumë më e shkurtër se e para, kështu që mos u largoni shumë nga ekrani.
Të hapim elementet e vektorëve dhe matricës:
PĂ«r momentin, do ta heqim numrin dy nga llogaritjet â ai nuk luan njĂ« rol tĂ« madh, mĂ« vonĂ« do ta kthejmĂ« pĂ«rsĂ«ri. Do t'i shumĂ«zojmĂ« vektorĂ«t me matricĂ«n. SĂ« pari do ta shumĂ«zojmĂ« matricĂ«n 
me vektor 
, këtu nuk kemi ndonjë kufizim. Do të marrim një vektor me përmasë 
:
TĂ« kryejmĂ« veprimin e mĂ«passhĂ«m â do ta shumĂ«zojmĂ« vektor 
me vektorin e marrë. Nëfund do të na presë një numër:
Atë do ta diferencojmë. Nëfund do të marim një vektor me dimension 
:
Këtu ka diçka që të kujton? E saktë! Kjo është shumimi i matricës 
me vektor 
.
Kështu, diferencimi i dytë përfundoi me sukses.
Në përfundim
Tani e dimë si doli barazia 
.
Në fund, do të përshkruajmë një rrugë të shpejtë të transformimeve të formulave kryesore.
Do ta vlerësojmë cilësinë e modelit sipas metodës së katrorëve më të vegjël:
Do të diferencojmë shprehjen e marrë:
Literatura
Burimet në internet:
1)
2)
3)
4)
Libra, koleksione ushtrimesh:
1) ShĂ«nime tĂ« leksioneve pĂ«r matematikĂ«n e lartĂ«: kurs i plotĂ« / D.T. Pismennyi â Botimi i 4-tĂ« â M.: Airis-press, 2006
2) Analiza regresive e aplikuar / N. Draper, G. Smith â Botimi i 2-tĂ« â M.: Financat dhe statistika, 1986 (pĂ«rkthim nga anglishtja)
3) Problemet për zgjidhjen e ekuacioneve matricore:
Burimi: habr.com
