Ang katuyoan sa artikulo mao ang paghatag suporta sa nagsugod nga mga siyentipiko sa datos. SA Among gilatid ang tulo ka paagi sa pagsulbad sa usa ka linear regression equation: analytical solution, gradient descent, stochastic gradient descent. Dayon alang sa analitikal nga solusyon atong gigamit ang pormula . Niini nga artikulo, ingon sa gisugyot sa titulo, atong hatagan og katarungan ang paggamit niini nga pormula o, sa laing pagkasulti, kita mismo ang magkuha niini.
Ngano nga makatarunganon ang paghatag ug dugang nga pagtagad sa pormula ?
Kini mao ang uban sa matrix equation nga sa kadaghanan sa mga kaso ang usa magsugod sa pagsinati sa linear regression. Sa parehas nga oras, ang mga detalyado nga kalkulasyon kung giunsa nakuha ang pormula talagsa ra.
Pananglitan, sa mga kurso sa pagkat-on sa makina gikan sa Yandex, kung ang mga estudyante gipaila sa regularisasyon, gitanyag sila nga mogamit mga function gikan sa librarya. sklearn, samtang wala'y usa ka pulong ang gihisgutan mahitungod sa representasyon sa matrix sa algorithm. Niining higayona nga ang pipila nga mga tigpaminaw mahimong gusto nga masabtan kini nga isyu sa mas detalyado - pagsulat sa code nga wala gigamit ang andam nga mga gimbuhaton. Ug aron mahimo kini, kinahanglan nimo una nga ipakita ang equation sa usa ka regularizer sa porma sa matrix. Kini nga artikulo magtugot niadtong gusto nga mabatid ang maong mga kahanas. Magsugod na ta.
Inisyal nga mga kondisyon
Target nga mga indikasyon
Kita adunay usa ka lain-laing mga target values. Pananglitan, ang target nga timailhan mahimong ang presyo sa bisan unsang asset: lana, bulawan, trigo, dolyar, ug uban pa. Sa parehas nga oras, pinaagi sa daghang mga kantidad sa target nga timailhan gipasabut namon ang gidaghanon sa mga obserbasyon. Ang ingon nga mga obserbasyon mahimoβg, pananglitan, ang binulan nga presyo sa lana alang sa tuig, sa ato pa, kita adunay 12 nga target nga kantidad. Atong sugdan ang pagpaila sa notasyon. Atong itudlo ang matag bili sa target indicator nga . Sa kinatibuk-an naa mi obserbasyon, nga nagpasabot nga mahimo natong irepresentar ang atong mga obserbasyon isip .
Mga regressor
Atong hunahunaon nga adunay mga hinungdan nga sa usa ka sukod nagpatin-aw sa mga kantidad sa target nga timailhan. Pananglitan, ang dolyar / ruble nga exchange rate kusog nga naimpluwensyahan sa presyo sa lana, ang Federal Reserve rate, ug uban pa. Ang ingon nga mga hinungdan gitawag nga mga regressor. Sa parehas nga oras, ang matag target nga kantidad sa indikasyon kinahanglan nga katumbas sa usa ka kantidad sa regressor, nga mao, kung kami adunay 12 nga target nga mga indikasyon alang sa matag bulan sa 2018, nan kinahanglan usab kami adunay 12 nga mga kantidad sa regressor alang sa parehas nga panahon. Atong itudlo ang mga mithi sa matag regressor pinaagi sa . Pasagdi sa among kaso ana mga regressor (ie. mga hinungdan nga nag-impluwensya sa mga kantidad sa target indicator). Kini nagpasabot nga ang atong mga regressor mahimong ipresentar sama sa mosunod: alang sa 1st regressor (pananglitan, ang presyo sa lana): , alang sa 2nd regressor (pananglitan, ang Fed rate): , Alang sa "-th" regressor:
Pagsalig sa target nga mga indikasyon sa mga regressor
Atong hunahunaon nga ang pagsalig sa target indicator gikan sa mga regressor"th" obserbasyon mahimong ipahayag pinaagi sa usa ka linear regression equation sa porma:
diin - "-th" regressor nga bili gikan sa 1 ngadto sa ,
- gidaghanon sa mga regressor gikan sa 1 ngadto sa
β angular coefficients, nga nagrepresentar sa kantidad diin ang kalkulado nga target indicator mausab sa aberids kung ang regressor mausab.
Sa laing pagkasulti, kami para sa tanan (gawas ) sa regressor atong matino ang "atong" coefficient , unya i-multiply ang mga coefficient sa mga kantidad sa mga regressors "th" obserbasyon, isip resulta kita makakuha og usa ka piho nga banabana "-th" nga indikasyon sa target.
Busa, kinahanglan natong pilion ang maong mga coefficient , diin ang mga kantidad sa among gibanabana nga function mahimutang nga duol kutob sa mahimo sa target indicator values.
Pagtimbang-timbang sa kalidad sa gibanabana nga function
Atong mahibal-an ang kalidad nga pagtasa sa gibanabana nga function gamit ang labing gamay nga pamaagi sa mga kwadro. Ang function sa pagtasa sa kalidad niini nga kaso magkuha sa mosunod nga porma:
Kinahanglan namon nga pilion ang ingon nga mga kantidad sa mga coefficient nga $w$ kung diin ang kantidad mahimong pinakagamay.
Pag-convert sa equation ngadto sa matrix nga porma
Representasyon sa vector
Sa pagsugod, aron mas sayon ββββang imong kinabuhi, kinahanglan nimong hatagan ug pagtagad ang linear regression equation ug matikdi nga ang unang coefficient dili gipadaghan sa bisan unsang regressor. Sa samang higayon, kung atong i-convert ang data ngadto sa matrix form, ang nahisgutan sa ibabaw nga sirkumstansya seryosong makapakomplikado sa mga kalkulasyon. Niining bahina, gisugyot nga ipaila ang laing regressor alang sa unang coefficient ug iparehas kini sa usa. O hinoon, matag "iparehas ang ika-ka bili niini nga regressor ngadto sa usa - human sa tanan, sa diha nga gipadaghan sa usa, walay bisan unsa nga mausab gikan sa punto sa panglantaw sa resulta sa mga kalkulasyon, apan gikan sa punto sa panglantaw sa mga lagda alang sa produkto sa matrices, ang atong pagsakit. maminusan pag-ayo.
Karon, sa pagkakaron, aron mapasayon ββang materyal, atong hunahunaon nga kita adunay usa ra "-th" obserbasyon. Unya, hunahunaa ang mga kantidad sa mga regressor "-th" obserbasyon isip usa ka vector . Vector adunay dimensyon , nga mao mga laray ug 1 kolum:
Irepresentar nato ang gikinahanglan nga coefficients isip vector , adunay dimensyon :
Linear regression equation para sa "-th" nga obserbasyon magkuha sa porma:
Ang gimbuhaton alang sa pagsusi sa kalidad sa usa ka linear nga modelo magkuha sa porma:
Palihug timan-i nga sumala sa mga lagda sa pagpadaghan sa matrix, kinahanglan namon nga ibalhin ang vector .
Representasyon sa matrix
Ingon usa ka sangputanan sa pagpadaghan sa mga vector, makuha namon ang numero: , nga gipaabot. Kini nga numero mao ang gibanabana nga "-th" nga indikasyon sa target. Apan kinahanglan namon ang usa ka gibanabana nga dili lamang usa ka target nga kantidad, apan silang tanan. Aron mahimo kini, atong isulat ang tanan "-th" regressors sa matrix format . Ang resulta nga matrix adunay dimensyon :
Karon ang linear regression equation magkuha sa porma:
Atong ipunting ang mga kantidad sa target nga mga indikasyon (tanan ) matag vector sukod :
Karon mahimo namong isulat ang equation alang sa pagsusi sa kalidad sa usa ka linear nga modelo sa matrix format:
Sa tinuud, gikan sa kini nga pormula makuha namon ang pormula nga nahibal-an namon
Giunsa kini nahimo? Gibuksan ang mga braket, gihimo ang pagkalainlain, ang mga sangputanan nga mga ekspresyon gibag-o, ug uban pa, ug mao gyud kini ang atong buhaton karon.
Mga pagbag-o sa matrix
Atong ablihan ang mga bracket
Mag-andam kita og equation para sa differentiation
Aron mahimo kini, maghimo kami pipila ka mga pagbag-o. Sa sunod nga mga kalkulasyon kini mahimong mas sayon ββalang kanato kon ang vector irepresentar sa sinugdanan sa matag produkto sa equation.
Pagkakabig 1
Giunsa kini nahitabo? Aron matubag kini nga pangutana, tan-awa lang ang mga gidak-on sa mga matrice nga gipadaghan ug tan-awa nga sa output makakuha kita usa ka numero o kung dili. .
Atong isulat ang mga gidak-on sa matrix nga mga ekspresyon.
Pagkakabig 2
Isulat nato kini sa susamang paagi sa pagbag-o 1
Sa output nakakuha kami usa ka equation nga kinahanglan namon nga magkalainlain:
Gilain namon ang function sa pagtasa sa kalidad sa modelo
Maglainlain ta bahin sa vector :
Mga pangutana ngano dili kinahanglan, apan atong susihon ang mga operasyon alang sa pagtino sa mga derivatives sa laing duha ka mga ekspresyon sa mas detalyado.
Pagkalainlain 1
Atong palapdan ang pagkalahi:
Aron mahibal-an ang gigikanan sa usa ka matrix o vector, kinahanglan nimo nga tan-awon kung unsa ang naa sa sulod niini. Atong tan-awon:
Atong itudlo ang produkto sa matrices pinaagi sa matrix . Matrix square ug dugang pa, kini simetriko. Kini nga mga kabtangan mahimong mapuslanon kanato sa ulahi, atong hinumdoman sila. Matrix adunay dimensyon :
Karon ang among tahas mao ang husto nga pagpadaghan sa mga vector sa matrix ug dili makuha ang "kaduha duha mao ang lima," busa magkonsentrar kita ug mag-amping pag-ayo.
Bisan pa, nakab-ot namon ang usa ka makuti nga ekspresyon! Sa tinuud, nakakuha kami usa ka numero - usa ka scalar. Ug karon, sa tinuud, nagpadayon kami sa pagkalainlain. Kinahanglang pangitaon ang derivative sa resulta nga ekspresyon alang sa matag coefficient ug kuhaa ang dimensyon nga vector isip output . Sa kaso lang, akong isulat ang mga pamaagi pinaagi sa aksyon:
1) paglainlain pinaagi sa , atong makuha:
2) paglainlain pinaagi sa , atong makuha:
3) paglainlain pinaagi sa , atong makuha:
Ang output mao ang gisaad nga vector sa gidak-on :
Kung imong tan-awon pag-ayo ang vector, imong mamatikdan nga ang wala ug katugbang nga tuo nga mga elemento sa vector mahimong ma-grupo sa paagi nga, isip resulta, ang usa ka vector mahimong mahimulag gikan sa gipresentar nga vector gidak-on . Pananglitan (wala nga elemento sa ibabaw nga linya sa vector) (ang tuo nga elemento sa ibabaw nga linya sa vector) mahimong irepresentar nga ug - ingon ug uban pa. sa matag linya. Grupo ta:
Atong kuhaon ang vector ug sa output atong makuha:
Karon, atong tan-awon pag-ayo ang resulta nga matrix. Ang matrix mao ang sum sa duha ka matrices :
Atong hinumdoman nga sa sayo pa atong namatikdan ang usa ka importante nga kabtangan sa matrix - kini simetriko. Base sa niini nga kabtangan, kita masaligon sa pag-ingon nga ang ekspresyon managsama . Kini dali nga mapamatud-an pinaagi sa pagpalapad sa produkto sa matrices nga elemento sa elemento . Dili namo kini buhaton dinhi; kadtong interesado makasusi niini sa ilang kaugalingon.
Balik ta sa atong ekspresyon. Pagkahuman sa among mga pagbag-o, nahimo kini sa paagi nga gusto namon nga makita kini:
Busa, nahuman na namo ang unang pagkalahi. Mopadayon ta sa ikaduhang ekspresyon.
Pagkalainlain 2
Atong sundon ang gibunalan nga dalan. Kini mahimong mas mubo kaysa sa nauna, busa ayaw pagpalayo sa screen.
Atong palapdan ang mga vector ug matrix nga elemento sa elemento:
Atong tangtangon ang duha gikan sa mga kalkulasyon sa makadiyot - dili kini dako nga papel, unya atong ibalik kini sa iyang dapit. Atong padaghanon ang mga vector sa matrix. Una sa tanan, atong padaghanon ang matrix sa vector , wala kami mga pagdili dinhi. Atong makuha ang gidak-on nga vector :
Himoon nato ang mosunod nga aksyon - i-multiply ang vector ngadto sa resulta nga vector. Sa exit ang numero maghulat kanamo:
Unya ato kining ilahi. Sa output nakakuha kami usa ka vector sa dimensyon :
Nagpahinumdom kanako sa usa ka butang? Husto kana! Kini ang produkto sa matrix sa vector .
Sa ingon, ang ikaduha nga pagkalainlain malampuson nga nahuman.
Kay sa usa ka konklusyon
Karon nahibal-an na naton kung giunsa ang pagkaparehas .
Sa katapusan, among ihulagway ang usa ka dali nga paagi aron mabag-o ang sukaranan nga mga pormula.
Atong susihon ang kalidad sa modelo sumala sa labing gamay nga pamaagi sa mga kwadro:
Atong ilain ang resulta nga ekspresyon:
Literatura
Mga tinubdan sa internet:
1)
2)
3)
4)
Mga libro, mga koleksyon sa mga problema:
1) Mga nota sa lecture sa mas taas nga matematika: full course / D.T. Gisulat - 4th ed. β M.: Iris-press, 2006
2) Applied regression analysis / N. Draper, G. Smith - 2nd ed. β M.: Finance and Statistics, 1986 (hubad gikan sa English)
3) Mga problema sa pagsulbad sa matrix equation:
Source: www.habr.com