Peb nqa qhov linear regression equation rau hauv daim ntawv matrix

Lub hom phiaj ntawm tsab xov xwm yog los muab kev txhawb nqa rau cov kws tshawb fawb cov ntaub ntawv pib. IN tsab xov xwm dhau los Peb tau piav qhia txog peb txoj hauv kev los daws qhov sib npaug ntawm cov kab rov tav: analytical solution, gradient qhovntsej thiaj tsis mob, stochastic gradient qhovntsej thiaj tsis mob. Tom qab ntawd rau kev tshuaj ntsuam xyuas peb siv cov qauv . Hauv tsab xov xwm no, raws li lub npe qhia, peb yuav ua kom pom tseeb ntawm kev siv cov qauv no lossis, ua lwm yam lus, peb yuav muab nws tus kheej.

Vim li cas nws ua rau kev txiav txim siab them nyiaj ntxiv rau cov qauv ?

Nws yog nrog qhov sib npaug ntawm matrix uas feem ntau ib tus pib paub txog kab rov tav. Nyob rau tib lub sijhawm, cov lus qhia ntxaws txog yuav ua li cas cov mis tau muab los yog tsawg.

Piv txwv li, hauv cov chav kawm tshuab kev kawm los ntawm Yandex, thaum cov tub ntxhais kawm tau qhia txog kev ua haujlwm tsis tu ncua, lawv tau muab los siv cov haujlwm ntawm lub tsev qiv ntawv. sklearn, txawm hais tias tsis muaj ib lo lus hais txog lub matrix sawv cev ntawm lub algorithm. Nws yog nyob rau lub sijhawm no uas qee cov neeg mloog yuav xav nkag siab txog qhov teeb meem no kom ntxaws - sau cov lej yam tsis siv cov haujlwm npaj ua haujlwm. Thiab txhawm rau ua qhov no, koj yuav tsum xub nthuav qhia qhov sib npaug nrog ib qho kev hloov pauv hauv daim ntawv matrix. Kab lus no yuav tso cai rau cov neeg uas xav paub txog cov txuj ci zoo li no. Cia peb pib.

Cov xwm txheej pib

Lub hom phiaj ntsuas

Peb muaj ntau hom phiaj tus nqi. Piv txwv li, qhov taw qhia lub hom phiaj tuaj yeem yog tus nqi ntawm txhua yam khoom muaj nqis: roj, kub, nplej, duas, thiab lwm yam. Nyob rau tib lub sij hawm, los ntawm ib tug xov tooj ntawm lub hom phiaj qhia qhov tseem ceeb peb txhais tau tias tus naj npawb ntawm kev soj ntsuam. Xws li kev soj ntsuam tuaj yeem yog, piv txwv li, cov nqi roj txhua hli rau lub xyoo, uas yog, peb yuav muaj 12 lub hom phiaj tus nqi. Cia peb pib qhia qhov cim. Cia peb qhia txhua tus nqi ntawm lub hom phiaj ntsuas raws li . Nyob rau hauv tag nrho peb muaj kev soj ntsuam, uas txhais tau tias peb tuaj yeem sawv cev peb cov kev soj ntsuam raws li .

Regressors

Peb yuav xav tias muaj ntau yam uas ua rau qee yam piav qhia qhov tseem ceeb ntawm qhov taw qhia lub hom phiaj. Piv txwv li, tus nqi pauv nyiaj duas / ruble tau cuam tshuam los ntawm tus nqi ntawm cov roj, Tsoom Fwv Teb Chaws Reserve tus nqi, thiab lwm yam. Tej yam no yog hu ua regressors. Nyob rau tib lub sijhawm, txhua lub hom phiaj qhia tus nqi yuav tsum sib haum rau tus nqi regressor, uas yog, yog tias peb muaj 12 lub hom phiaj ntsuas rau txhua lub hlis xyoo 2018, ces peb yuav tsum muaj 12 tus nqi regressor rau tib lub sijhawm. Cia peb qhia qhov tseem ceeb ntawm txhua tus regressor los ntawm . Cia hauv peb rooj plaub muaj regressors (i.e. yam uas cuam tshuam rau lub hom phiaj qhia qhov tseem ceeb). Qhov no txhais tau tias peb cov regressors tuaj yeem nthuav tawm raws li hauv qab no: rau 1st regressor (piv txwv li, tus nqi roj): , rau 2nd regressor (piv txwv li, tus nqi Fed): , Rau "-th" regressor:

Dependence ntawm lub hom phiaj ntsuas ntawm regressors

Cia peb xav tias qhov dependence ntawm lub hom phiaj qhia los ntawm regressors "th" kev soj ntsuam tuaj yeem nthuav tawm los ntawm kev sib npaug linear regression ntawm daim ntawv:

qhov twg - "-th" tus nqi regressor ntawm 1 mus rau ,

- tus naj npawb ntawm regressors los ntawm 1 mus rau

- angular coefficients, uas sawv cev rau tus nqi los ntawm qhov ntsuas lub hom phiaj ntsuas yuav hloov qhov nruab nrab thaum tus regressor hloov.

Hauv lwm lo lus, peb yog rau txhua tus (tshwj tsis yog ) ntawm tus regressor peb txiav txim siab "peb" coefficient , ces muab cov coefficients los ntawm qhov tseem ceeb ntawm cov regressors "th "kev soj ntsuam, vim li ntawd peb tau txais ib qho kev kwv yees"-th" target indicator.

Yog li ntawd, peb yuav tsum xaiv cov coefficients , nyob rau hauv uas tus nqi ntawm peb approximating muaj nuj nqi yuav nyob ze li sai tau rau lub hom phiaj qhia qhov tseem ceeb.

Kev ntsuas qhov zoo ntawm qhov approximating muaj nuj nqi

Peb yuav txiav txim siab qhov kev soj ntsuam zoo ntawm qhov kwv yees muaj nuj nqi siv txoj kev tsawg tshaj plaws squares. Qhov kev ntsuam xyuas zoo nyob rau hauv rooj plaub no yuav siv daim ntawv hauv qab no:

Peb yuav tsum xaiv cov txiaj ntsig zoo li no ntawm cov coefficients $w$ uas tus nqi yuav tsawg tshaj plaws.

Hloov cov kab zauv mus rau hauv daim ntawv matrix

Vector sawv cev

Yuav pib nrog, ua kom koj lub neej yooj yim dua, koj yuav tsum tau them sai sai rau qhov linear regression equation thiab pom tias thawj coefficient tsis yog muab los ntawm ib tug regressor. Nyob rau tib lub sijhawm, thaum peb hloov cov ntaub ntawv mus rau hauv daim ntawv matrix, qhov xwm txheej saum toj no yuav nyuaj rau kev suav. Hauv qhov no, nws tau thov kom qhia lwm tus regressor rau thawj coefficient thiab sib npaug rau ib leeg. Los yog theej, txhua "sib npaug ntawm tus nqi ntawm qhov regressor mus rau ib qho - tom qab tag nrho, thaum muab faib los ntawm ib qho, tsis muaj dab tsi yuav hloov los ntawm qhov pom ntawm qhov tshwm sim ntawm kev suav, tab sis los ntawm qhov pom ntawm cov cai rau cov khoom ntawm matrices, peb qhov kev tsim txom. yuav raug txo kom tsawg.

Tam sim no, rau lub sijhawm, txhawm rau ua kom yooj yim cov khoom siv, cia peb xav tias peb tsuas muaj ib qho "-th" kev soj ntsuam. Tom qab ntawd, xav txog qhov tseem ceeb ntawm cov regressors "-th" kev soj ntsuam raws li vector . Vector muaj qhov ntev , uas yog kab thiab 1 kab:

Cia peb sawv cev rau cov coefficients uas yuav tsum tau ua raws li vector , muaj dimension :

Linear regression equation rau "-th" kev soj ntsuam yuav siv daim ntawv:

Lub luag haujlwm rau kev ntsuas qhov zoo ntawm tus qauv linear yuav siv daim ntawv:

Thov nco ntsoov tias raws li cov cai ntawm matrix multiplication, peb yuav tsum tau transpose lub vector .

Matrix sawv cev

Raws li qhov tshwm sim ntawm kev sib npaug vectors, peb tau txais tus lej: , uas yog yuav tsum tau. Tus lej no yog qhov kwv yees "-th" target indicator. Tab sis peb xav tau ib qho approximation ntawm tsis yog ib lub hom phiaj tus nqi, tab sis tag nrho cov ntawm lawv. Txhawm rau ua qhov no, cia peb sau txhua yam "-th" regressors hauv matrix format . Lub resulting matrix muaj qhov ntev :

Tam sim no qhov linear regression equation yuav siv daim ntawv:

Cia peb qhia txog qhov tseem ceeb ntawm lub hom phiaj ntsuas (tag nrho ) rau vector qhov ntev :

Tam sim no peb tuaj yeem sau qhov sib npaug rau kev ntsuas qhov zoo ntawm tus qauv linear hauv matrix hom:

Qhov tseeb, los ntawm cov qauv no peb ntxiv tau cov qauv paub rau peb

Nws ua li cas? Cov brackets tau qhib, kev sib txawv yog nqa tawm, cov txiaj ntsig tau hloov pauv, thiab lwm yam, thiab qhov no yog qhov peb yuav ua tam sim no.

Matrix transformations

Cia peb qhib lub brackets

Cia peb npaj ib qho kev sib npaug rau kev sib txawv

Txhawm rau ua qhov no, peb yuav ua qee qhov kev hloov pauv. Hauv kev suav tom qab nws yuav yooj yim dua rau peb yog tias vector yuav sawv cev rau qhov pib ntawm txhua yam khoom hauv qhov sib npaug.

Kev hloov pauv 1

Nws tshwm sim li cas? Txhawm rau teb cov lus nug no, tsuas yog saib qhov ntau thiab tsawg ntawm cov matrices tau muab sib npaug thiab pom tias ntawm cov zis peb tau txais tus lej lossis lwm yam. .

Cia peb sau qhov ntau thiab tsawg ntawm matrix kab zauv.

Kev hloov pauv 2

Cia peb sau nws zoo ib yam li kev hloov pauv 1

Ntawm cov zis peb tau txais ib qho kev sib npaug uas peb yuav tsum sib txawv:

Peb sib txawv ntawm cov qauv kev ntsuas kev ua haujlwm zoo

Cia peb sib txawv nrog kev hwm rau lub vector :

Cov lus nug yog vim li cas yuav tsum tsis muaj, tab sis peb yuav tshuaj xyuas cov haujlwm rau kev txiav txim siab derivatives nyob rau hauv ob qho kev nthuav dav ntxiv.

Kev sib txawv 1

Cia peb nthuav dav ntawm qhov sib txawv:

Txhawm rau txiav txim siab qhov txiaj ntsig ntawm matrix lossis vector, koj yuav tsum tau saib dab tsi hauv lawv. Cia peb saib:

Cia peb qhia cov khoom ntawm matrices los ntawm matrix . Matrix square thiab ntxiv rau, nws yog symmetrical. Cov khoom no yuav muaj txiaj ntsig zoo rau peb tom qab, cia peb nco txog lawv. Matrix muaj qhov ntev :

Tam sim no peb txoj hauj lwm yog kom raug muab cov vectors los ntawm matrix thiab tsis tau "ob zaug ob yog tsib," yog li cia peb mloog zoo thiab ceev faj heev.

Txawm li cas los xij, peb tau ua tiav qhov kev qhia tsis meej! Qhov tseeb, peb tau txais ib tug lej - ib tug scalar. Thiab tam sim no, qhov tseeb, peb mus rau qhov sib txawv. Nws yog ib qho tsim nyog yuav tsum nrhiav qhov derivative ntawm cov lus qhia tshwm sim rau txhua tus coefficient thiab tau txais qhov dimension vector li tso zis . Tsuas yog hauv rooj plaub, kuv yuav sau cov txheej txheem los ntawm kev nqis tes ua:

1) differentiate los ntawm , peb tau:

2) differentiate los ntawm , peb tau:

3) differentiate los ntawm , peb tau:

Cov zis yog cov lus cog tseg vector ntawm qhov loj :

Yog tias koj saib cov vector kom zoo dua, koj yuav pom tias sab laug thiab sab xis cov ntsiab lus ntawm vector tuaj yeem muab ua pawg raws li qhov tshwm sim, tus vector tuaj yeem raug cais tawm ntawm cov vector vector. qhov loj Cov. Piv txwv (sab laug caij ntawm kab saum toj kawg nkaus ntawm vector) (txoj cai caij ntawm kab saum toj kawg nkaus ntawm vector) tuaj yeem sawv cev ua thiab - Ua li cas lwm. ntawm txhua kab. Wb pab pawg:

Cia peb tshem tawm cov vector thiab ntawm cov zis peb tau txais:

Tam sim no, cia peb saib ze dua ntawm qhov tshwm sim matrix. Lub matrix yog qhov sib npaug ntawm ob lub matrices :

Cia peb nco qab tias me ntsis ua ntej peb tau sau ib qho tseem ceeb ntawm cov matrix - nws yog symmetrical. Raws li cov cuab yeej no, peb tuaj yeem ntseeg siab tias qhov kev qhia sib npaug . Qhov no tuaj yeem txheeb xyuas tau yooj yim los ntawm kev nthuav dav cov khoom lag luam matrix los ntawm lub caij . Peb yuav tsis ua qhov no ntawm no; cov neeg nyiam tuaj yeem tshawb xyuas lawv tus kheej.

Cia peb rov qab mus rau peb cov lus qhia. Tom qab peb cov kev hloov pauv, nws tau tig tawm qhov peb xav pom nws:

Yog li, peb tau ua tiav thawj qhov sib txawv. Cia peb txav mus rau qhov kev qhia thib ob.

Kev sib txawv 2

Cia peb ua raws li txoj kev raug ntaus. Nws yuav luv dua li yav dhau los, yog li tsis txhob mus deb ntawm qhov screen.

Cia peb nthuav cov vectors thiab matrix keeb los ntawm lub caij:

Cia peb tshem tawm ob qho ntawm kev suav rau ib ntus - nws tsis ua lub luag haujlwm loj, ces peb yuav muab nws rov qab rau hauv nws qhov chaw. Cia peb muab cov vectors los ntawm matrix. Ua ntej tshaj, cia peb muab cov matrix rau vector , peb tsis muaj kev txwv ntawm no. Peb tau txais cov vector loj :

Cia peb ua cov haujlwm hauv qab no - muab cov vector mus rau lub resulting vector. Ntawm qhov tawm tus lej yuav tos peb:

Tom qab ntawd peb yuav txawv nws. Ntawm cov zis peb tau txais vector ntawm dimension :

Nco kuv txog ib yam dab tsi? Yog lawm! Qhov no yog cov khoom ntawm matrix rau vector .

Yog li, qhov kev sib txawv thib ob tau ua tiav tiav.

Es tsis txhob ib tug xaus

Tam sim no peb paub tias qhov kev sib txig sib luag tuaj li cas .

Thaum kawg, peb yuav piav qhia txog txoj hauv kev nrawm los hloov cov qauv yooj yim.

Cia peb ntsuas qhov zoo ntawm tus qauv raws li qhov tsawg tshaj plaws squares txoj kev:

Cia peb sib txawv qhov tshwm sim qhia:

Kev Sau Ntawv

Internet qhov chaw:

1) habr.com/en/post/278513
2) habr.com/ru/company/ods/blog/322076
3) habr.com/en/post/307004
4) nabatchikov.com/blog/view/matrix_der

Phau ntawv, sau cov teeb meem:

1) Cov lus qhuab qhia ntawm kev ua lej siab dua: chav kawm puv / D.T. Sau – 4th ed. – M.: Iris-press, 2006
2) Applied regression analysis / N. Draper, G. Smith - 2nd ed. – M.: Nyiaj Txiag thiab Kev Txheeb Xyuas, 1986 (los ntawm txhais lus Askiv)
3) Cov teeb meem daws teeb meem matrix:
function-x.ru/matrix_equations.html
mathprofi.ru/deistviya_s_matricami.html

Tau qhov twg los: www.hab.com