Objektif atik la se bay sipò nan kòmansman syantis done yo. NAN Nou te dekri twa fason pou rezoud yon ekwasyon regression lineyè: solisyon analyse, desandan gradyan, desandan gradyan stochastic. Lè sa a, pou solisyon an analyse nou aplike fòmil la . Nan atik sa a, jan tit la sijere, nou pral jistifye itilizasyon fòmil sa a oswa, nan lòt mo, nou pral tire li tèt nou.
Poukisa li fè sans pou peye plis atansyon sou fòmil la ?
Se ak ekwasyon matris la ke nan pifò ka yo yon moun kòmanse fè konesans ak regression lineyè. An menm tan an, kalkil detaye sou fason fòmil la te sòti yo ra.
Pou egzanp, nan kou aprantisaj machin nan Yandex, lè elèv yo prezante nan regilarize, yo ofri yo sèvi ak fonksyon nan bibliyotèk la. sklearn, pandan ke yo pa mansyone yon mo sou reprezantasyon matris algorithm la. Se nan moman sa a ke kèk oditè ka vle konprann pwoblèm sa a an plis detay - ekri kòd san yo pa itilize fonksyon ki pare. Epi pou fè sa, ou dwe premye prezante ekwasyon an ak yon regilarizatè nan fòm matris. Atik sa a pral pèmèt moun ki vle metrize konpetans sa yo. An n kòmanse.
Kondisyon inisyal yo
Endikatè sib yo
Nou gen yon seri de valè sib. Pou egzanp, endikatè a sib ta ka pri a nan nenpòt ki byen: lwil oliv, lò, ble, dola, elatriye. An menm tan an, pa yon kantite valè endikatè sib nou vle di kantite obsèvasyon. Obsèvasyon sa yo ta ka, pou egzanp, pri lwil oliv chak mwa pou ane a, se sa ki, nou pral gen 12 valè sib. Ann kòmanse prezante notasyon an. Se pou nou endike chak valè endikatè sib la kòm . An total nou genyen obsèvasyon, ki vle di nou ka reprezante obsèvasyon nou yo kòm .
Regresè yo
Nou pral asime ke gen faktè ki nan yon sèten limit eksplike valè yo nan endikatè a sib. Pou egzanp, to echanj dola / ruble a fòtman enfliyanse pa pri a nan lwil oliv, to Rezèv Federal la, elatriye Faktè sa yo rele regresseur. An menm tan an, chak valè endikatè sib yo dwe koresponn ak yon valè regresseur, se sa ki, si nou gen 12 endikatè sib pou chak mwa nan 2018, Lè sa a, nou ta dwe tou gen 12 valè regreseur pou menm peryòd la. Se pou nou endike valè chak regresè pa . Kite nan ka nou an genyen regresè (sa vle di faktè ki enfliyanse valè endikatè sib yo). Sa vle di ke regresè nou yo ka prezante jan sa a: pou premye regresè a (pa egzanp, pri lwil oliv): , pou 2yèm regresè a (pa egzanp, pousantaj Fed): , Pou "-th" regresseur:
Depandans endikatè sib yo sou regresè
Se pou nou sipoze ke depandans nan endikatè a sib soti nan regresè "th" obsèvasyon ka eksprime atravè yon ekwasyon regression lineyè nan fòm sa a:
kote - "-th" valè regresseur soti nan 1 a ,
— kantite regresseur soti nan 1 rive
— koyefisyan angilè, ki reprezante kantite endikatè sib kalkile a pral chanje an mwayèn lè regresseur a chanje.
Nan lòt mo, nou se pou tout moun (eksepte ) nan regresè a nou detèmine koyefisyan "nou". , Lè sa a, miltipliye koyefisyan yo pa valè regressors yo "th" obsèvasyon, kòm yon rezilta nou jwenn yon sèten apwoksimasyon "-th" sib endikatè.
Se poutèt sa, nou bezwen chwazi koyefisyan sa yo , nan ki valè yo nan fonksyon apwoksimatif nou an pral lokalize pi pre ke posib nan valè endikatè sib yo.
Evalye kalite fonksyon apwoksimatif la
Nou pral detèmine evalyasyon kalite fonksyon apwoksimatif la avèk metòd pi piti kare yo. Fonksyon evalyasyon kalite nan ka sa a pral pran fòm sa a:
Nou bezwen chwazi valè sa yo nan koyefisyan yo $w$ pou ki valè a pral pi piti a.
Konvèti ekwasyon an nan fòm matris
reprezantasyon vektè
Pou kòmanse, pou rann lavi ou pi fasil, ou ta dwe peye atansyon sou ekwasyon regression lineyè a epi remake ke premye koyefisyan an. pa miltipliye pa okenn regresseur. An menm tan an, lè nou konvèti done yo nan fòm matris, sikonstans ki endike anwo a pral seryezman konplike kalkil yo. Nan sans sa a, li pwopoze pou prezante yon lòt regresseur pou premye koyefisyan an epi egalize li ak yon sèl. Oswa pito, chak "egalize valè th nan regresseur sa a nan yon sèl - apre tout, lè miltipliye pa youn, pa gen anyen pral chanje soti nan pwen de vi nan rezilta a nan kalkil yo, men nan pwen de vi nan règ yo pou pwodwi a nan matris, touman nou an. pral siyifikativman redwi.
Koulye a, pou moman sa a, yo nan lòd yo senplifye materyèl la, an n sipoze ke nou gen yon sèl "-th" obsèvasyon. Lè sa a, imajine valè regresè yo "-th" obsèvasyon kòm yon vektè . Vektè gen dimansyon Sa se, ranje ak 1 kolòn:
Ann reprezante koyefisyan ki nesesè yo kòm yon vektè , ki gen dimansyon :
Ekwasyon regression lineyè pou "-th" obsèvasyon pral pran fòm sa a:
Fonksyon pou evalye kalite yon modèl lineyè pral pran fòm sa a:
Tanpri sonje ke an akò ak règ miltiplikasyon matris yo, nou te bezwen transpoze vektè a .
Reprezantasyon matris
Kòm yon rezilta nan miltipliye vektè, nou jwenn nimewo a: , ki dwe espere. Nimewo sa a se apwoksimasyon "-th" sib endikatè. Men, nou bezwen yon apwoksimasyon pa sèlman yon valè sib, men tout nan yo. Pou fè sa, ann ekri tout bagay "-th" regresè nan fòma matris . Matris la ki kapab lakòz gen dimansyon an :
Koulye a, ekwasyon regresyon lineyè a pral pran fòm sa a:
Se pou nou endike valè endikatè sib yo (tout ) pou chak vektè dimansyon :
Koulye a, nou ka ekri ekwasyon an pou evalye kalite yon modèl lineyè nan fòma matris:
Aktyèlman, nan fòmil sa a nou jwenn plis fòmil nou konnen an
Ki jan sa fèt? Parantèz yo louvri, diferansyasyon yo te pote soti, ekspresyon yo ki kapab lakòz yo transfòme, elatriye, e sa a se egzakteman sa nou pral fè kounye a.
Transfòmasyon matris
Ann louvri parantèz yo
Ann prepare yon ekwasyon pou diferansyasyon
Pou fè sa, nou pral fè kèk transfòmasyon. Nan kalkil ki vin apre li pral pi bon pou nou si vektè a yo pral reprezante nan kòmansman chak pwodwi nan ekwasyon an.
Konvèsyon 1
Ki jan sa te rive? Pou reponn kesyon sa a, jis gade gwosè matris yo miltipliye yo epi wè ke nan pwodiksyon an nou jwenn yon nimewo oswa otreman. .
Ann ekri gwosè ekspresyon matris yo.
Konvèsyon 2
Se pou nou ekri li menm jan ak transfòmasyon 1
Nan pwodiksyon an nou jwenn yon ekwasyon ke nou dwe diferansye:
Nou diferansye fonksyon evalyasyon kalite modèl la
Ann fè diferans ant vektè a :
Kesyon poukisa pa ta dwe genyen, men nou pral egzamine operasyon yo pou detèmine dérivés nan de lòt ekspresyon yo an plis detay.
Diferansyasyon 1
Ann elaji sou diferansyasyon an:
Pou detèmine derive yon matris oswa vektè, ou bezwen gade sa ki anndan yo. Ann gade:
Se pou nou endike pwodwi matris yo atravè matris la . Matris kare ak anplis, li se simetrik. Pwopriyete sa yo pral itil nou pita, ann sonje yo. Matris gen dimansyon :
Koulye a, travay nou an se miltipliye kòrèkteman vektè yo pa matris la epi yo pa jwenn "de fwa de se senk," kidonk ann konsantre epi fè anpil atansyon.
Sepandan, nou te reyalize yon ekspresyon konplike! An reyalite, nou te resevwa yon nimewo - yon eskalè. Epi kounye a, pou reyèl, nou deplase sou diferansyasyon. Li nesesè pou jwenn dérivés ekspresyon ki lakòz pou chak koyefisyan epi jwenn vektè dimansyon an kòm pwodiksyon . Jis nan ka, mwen pral ekri pwosedi yo pa aksyon:
1) diferansye pa , nou jwenn:
2) diferansye pa , nou jwenn:
3) diferansye pa , nou jwenn:
Pwodiksyon an se vektè pwomèt gwosè a :
Si w gade vektè a pi byen, w ap remake ke eleman gòch ak korespondan dwat vektè a ka gwoupe yon fason pou, kòm rezilta, yon vektè ka izole nan vektè prezante a. gwosè a . Pou egzanp (Eleman gòch nan liy anlè vektè a) (Eleman dwat nan liy anlè vektè a) ka reprezante kòm Ak - kòm elatriye. sou chak liy. Ann gwoupe:
Ann retire vektè a ak nan pwodiksyon an nou jwenn:
Koulye a, ann pran yon gade pi pre nan matris la ki kapab lakòz. Matris la se sòm de matris :
Se pou nou sonje ke yon ti kras pi bonè nou te note yon pwopriyete enpòtan nan matris la - li se simetrik. Ki baze sou pwopriyete sa a, nou ka konfyans di ke ekspresyon an egal . Sa a ka fasil verifye pa elaji pwodwi matris eleman pa eleman . Nou pa pral fè sa isit la; moun ki enterese ka tcheke li tèt yo.
Ann retounen nan ekspresyon nou an. Apre transfòmasyon nou yo, li te tounen fason nou te vle wè li:
Se konsa, nou te konplete premye diferansyasyon an. Ann ale nan dezyèm ekspresyon an.
Diferansyasyon 2
Ann swiv chemen bat yo. Li pral pi kout pase anvan an, kidonk pa ale twò lwen ekran an.
Ann elaji vektè yo ak eleman matris pa eleman:
Ann retire de la nan kalkil yo pou yon ti tan - li pa jwe yon gwo wòl, Lè sa a, nou pral remèt li nan plas li. Ann miltipliye vektè yo pa matris la. Premye a tout, se pou yo miltipliye matris la vektè , nou pa gen okenn restriksyon isit la. Nou jwenn vektè gwosè a :
Ann fè aksyon sa a - miltipliye vektè a nan vektè ki kapab lakòz la. Nan sòti a nimewo a ap tann nou:
Lè sa a, nou pral diferansye li. Nan pwodiksyon an nou jwenn yon vektè nan dimansyon :
Èske m sonje yon bagay? Se vre! Sa a se pwodwi matris la vektè .
Kidonk, dezyèm diferansyasyon an konplete avèk siksè.
Olye pou yo yon konklizyon
Kounye a nou konnen ki jan egalite a te rive .
Finalman, nou pral dekri yon fason rapid pou transfòme fòmil debaz yo.
Ann evalye bon jan kalite a nan modèl la an akò ak metòd la pi piti kare:
Se pou nou diferansye ekspresyon ki lakòz:
Literati
Sous Entènèt:
1)
2)
3)
4)
Liv, koleksyon pwoblèm:
1) Nòt konferans sou matematik siperyè: kou konplè / D.T. Ekri - 4yèm ed. – M.: Iris-press, 2006
2) Aplike analiz regresyon / N. Draper, G. Smith - 2yèm ed. – M.: Finans ak Estatistik, 1986 (tradiksyon nan lang angle)
3) Pwoblèm pou rezoud ekwasyon matris yo:
Sous: www.habr.com