isi:
Nkwụghachi azụ Linear bụ otu n'ime algọridim bụ isi maka ọtụtụ mpaghara metụtara nyocha data. Ihe kpatara nke a doro anya. Nke a bụ algọridim dị mfe ma dị mfe nghọta, nke nyere aka n'iji ya eme ihe maka ọtụtụ iri iri, ma ọ bụrụ na ọ bụghị ọtụtụ narị afọ. Echiche bụ na anyị na-eche a linear ndabere nke otu mgbanwe na a set nke ndị ọzọ variables, na mgbe ahụ na-agbalị iweghachi ndabere a ndabere.
Ma isiokwu a abụghị maka iji linear regression dozie nsogbu ndị bara uru. N'ebe a, anyị ga-atụle atụmatụ ndị na-adọrọ mmasị nke mmejuputa algọridim na-ekesa maka mgbake ya, nke anyị zutere mgbe ị na-ede modul mmụta igwe na . Obere mgbakọ na mwepụ, mmụta igwe, na mgbakọ na-ekesa nwere ike inyere gị aka ịchọpụta otu esi eme nkwụghachi azụ n'ahịrị ọbụlagodi mgbe ekesara data gị n'ofe ọtụtụ puku ọnụ.
Kedu ihe anyị na-ekwu?
Anyị na-eche ihu ọrụ nke iweghachi ndabere linear. Dị ka data ntinye, a na-enye otu vectors nke mgbanwe ndị a na-eche na ha nwere onwe ha, nke ọ bụla jikọtara ya na uru ụfọdụ nke mgbanwe dabere. Enwere ike igosipụta data a n'ụdị matrices abụọ:
Ugbu a, ebe ọ bụ na a na-eche na ịdabere na ya, ma, ọzọ, linear, anyị ga-ede echiche anyị n'ụdị ngwaahịa nke matrices (iji mee ka ndekọ dị mfe, ebe a na n'okpuru ebe a na-eche na a na-ezobe free okwu nke nha nha n'azụ. 
, na kọlụm ikpeazụ nke matriks 
nwere nkeji):
Ọ na-ada ụda dị ka usoro nke usoro nha anya ahịrị, ọ bụghị ya? Ọ dị ka, ma o yikarịrị ka ọ gaghị enwe ihe ngwọta maka usoro nhazi dị otú ahụ. Ihe kpatara nke a bụ mkpọtụ, nke dị na ihe fọrọ nke nta ka ọ bụrụ ezigbo data ọ bụla. Ihe ọzọ kpatara ya nwere ike ịbụ enweghị ịdabere na linear dị ka nke a, nke nwere ike ịlụso ya ọgụ site n'iwebata mgbanwe ndị ọzọ na-adabereghị na nke mbụ. Tụlee ihe atụ a:
isi:
Nke a bụ ihe atụ dị mfe nke nlọghachi azụ nke na-egosi njikọ nke otu mgbanwe (n'akụkụ axis 
) site na mgbanwe ọzọ (n'akụkụ axis 
). Ka usoro nke nha nha nhata kwekọrọ na ihe atụ a nwere ngwọta, isi ihe niile ga-edinarịrị kpọmkwem n'otu ahịrị kwụ ọtọ. Mana nke ahụ abụghị eziokwu. Ma ha anaghị agha ụgha n'otu ahịrị kwụ ọtọ kpọmkwem n'ihi mkpọtụ (ma ọ bụ n'ihi na echiche nke mmekọrịta kwụ ọtọ ezighi ezi). Ya mere, iji weghachi njikọ linear site na ezigbo data, ọ na-adịkarị mkpa ịmebata otu echiche ọzọ: data ntinye nwere mkpọtụ na mkpọtụ a nwere. . Ị nwere ike ịme echiche banyere ụdị nkesa mkpọtụ ndị ọzọ, ma n'ọtụtụ ọnọdụ ọ bụ nkesa nkịtị ka a na-atụle, nke a ga-atụle n'ihu.
Usoro ohere kacha
Yabụ, anyị chere na ọnụnọ nke mkpọtụ na-ekesa na-enweghị usoro. Kedu ihe ị ga-eme n'ọnọdụ dị otú ahụ? Maka ikpe a na mgbakọ na mwepụ enwere ma ejiri ya mee ihe . Na nkenke, isi ya dabere na nhọrọ na njedebe ya na-esote.
Anyị na-alaghachi na iweghachi mmekọrịta kwụ ọtọ site na data na mkpọtụ nkịtị. Rịba ama na mmekọrịta ahịrị echere bụ atụmanya mgbakọ na mwepụ 
nkesa nkịtị dị adị. N'otu oge ahụ, ihe gbasara nke puru omume na 
na-ewere otu uru ma ọ bụ ọzọ, dabere na ọnụnọ nke ihe ngosi 
, dị ka ndị a:
Ka anyị ugbu a dochie kama 
и 
Ụdị mgbanwe anyị chọrọ bụ:
Naanị ihe fọdụrụ bụ ịchọta vector 
, nke ihe gbasara nke puru omume a kacha. Iji bulie ọrụ dị otú ahụ, ọ dị mma ibu ụzọ were logarithm ya (logarithm nke ọrụ ahụ ga-eru oke n'otu ebe ọrụ ahụ n'onwe ya):
Nke, n'aka nke ya, na-agbadata ibelata ọrụ a:
Site n'ụzọ, nke a na-akpọ usoro . Ọtụtụ mgbe, a na-ahapụ ihe niile ndị a dị n'elu na usoro a na-eji ya eme ihe.
Nbibi nke QR
Enwere ike ịchọta opekempe nke ọrụ a dị n'elu site na ịchọta ebe gradient nke ọrụ a bụ efu. A ga-edekwa gradient dị ka ndị a:
bụ usoro matriks maka idozi nsogbu mbelata ejiri na usoro opekata mpe mpe mpe akwa. N'akụkụ a, anyị na-edegharị akara n'ụdị matrix:
Ya mere, anyị na-emebi matriks 
na matrices 
и 
ma mee mgbanwe dị iche iche (a gaghị atụle QR decomposition algorithm n'onwe ya ebe a, naanị ojiji ya n'ihe metụtara ọrụ dị n'aka):
Mbido 
bụ orthogonal. Nke a na-enye anyị ohere iwepụ ọrụ ahụ 
:
Ma ọ bụrụ na ị dochie 
on 
, mgbe ahụ ọ ga-arụ ọrụ 
. N'ịtụle nke ahụ 
bụ matrix triangular elu, ọ dị ka nke a:
Enwere ike idozi nke a site na iji usoro nnọchi. Ihe 
dị ka 
, ihe mbụ 
dị ka 
na na.
Ọ dị mma ịmara ebe a na mgbagwoju anya nke algọridim na-esi na ya pụta n'ihi ojiji nke ire ere QR hà nhata. 
. Ọzọkwa, n'agbanyeghị eziokwu ahụ bụ na arụ ọrụ ịba ụba nke matrix na-arụkọ ọrụ nke ọma, ọ gaghị ekwe omume ịdepụta ụdị nkesa nke ọma nke algọridim a.
Ọdịda gradient
Mgbe ị na-ekwu maka ibelata ọrụ, ọ dị mkpa mgbe niile icheta usoro nke mgbada gradient (stochastic). Nke a bụ usoro mbelata dị mfe ma dị irè dabere na ịgbakọ gradient nke ọrụ n'otu oge wee tụgharịa ya n'ụzọ megidere gradient. Nzọụkwụ ọ bụla dị otú ahụ na-eweta ngwọta nso na kacha nta. gradient ka na-adị otu ihe:
Usoro a bụkwa nke ọma ma kesaa ya n'ihi njirimara linear nke onye ọrụ gradient. Rịba ama na n'usoro a dị n'elu, n'okpuru akara nchikota enwere okwu ndị nọọrọ onwe ha. N'ikwu ya n'ụzọ ọzọ, anyị nwere ike gbakọọ gradient n'onwe ya maka indices niile 
site na mbụ ruo 
, dị ka nke a, gbakọọ gradient maka indices na 
ka 
. Mgbe ahụ tinye gradients nke ga-esi na ya pụta. Nsonaazụ nke mgbakwunye ga-abụ otu ihe ahụ ma ọ bụrụ na anyị gbakọọ gradient ozugbo maka indices site na mbụ ruo 
. Yabụ, ọ bụrụ na ekesara data ahụ n'etiti ọtụtụ iberibe data, enwere ike ịgbakọ gradient n'onwe ya na ibe ọ bụla, yabụ enwere ike ịchịkọta nsonaazụ nke ngụkọta ndị a iji nweta nsonaazụ ikpeazụ:
Site n'echiche mmejuputa iwu, nke a dabara na paradaịs . Na nzọụkwụ ọ bụla nke gradient mgbada, a na-eziga ọrụ na ọnụ ọgụgụ data ọ bụla iji gbakọọ gradient, mgbe ahụ, a na-achịkọta gradients ndị a gbakọrọ ọnụ, a na-eji nsonaazụ nke nchikota ha mee ka nsonaazụ ya dịkwuo mma.
N'agbanyeghị ịdị mfe nke mmejuputa ya na ikike ime ihe na MapReduce paradigm, mgbada gradient nwekwara ihe ndọghachi azụ ya. Karịsịa, ọnụ ọgụgụ nke usoro achọrọ iji nweta njikọ dị elu nke ukwuu ma e jiri ya tụnyere ụzọ ndị ọzọ pụrụ iche.
LSQR
bụ ụzọ ọzọ maka idozi nsogbu ahụ, nke dabara ma maka iweghachi nkwụghachi azụ n'ahịrị yana maka idozi usoro nke nha nha anya. Isi njirimara ya bụ na ọ na-ejikọta uru nke ụzọ matriks na usoro nkwuputa. Enwere ike ịhụ mmejuputa usoro a na ụlọ akwụkwọ abụọ ahụ , na na . Agaghị enye nkọwa nke usoro a ebe a (nwere ike ịchọta ya na isiokwu ). Kama, a ga-egosipụta ụzọ iji megharia LSQR na ogbugbu na gburugburu ebe kesara.
Usoro LSQR dabere na . Nke a bụ usoro a na-ahụkarị, nke ọ bụla nwere usoro ndị a:
Ma ọ bụrụ na anyị na-eche na matriks 
A na-ekewa n'ụzọ kwụ ọtọ, mgbe ahụ, enwere ike igosipụta iteration ọ bụla dị ka nzọụkwụ MapReduce abụọ. N'ụzọ dị otú a, ọ ga-ekwe omume iwelata mbufe data n'oge ọ bụla iteration (naanị vectors nwere ogologo ya na ọnụ ọgụgụ nke amaghị):
Ọ bụ usoro a ka a na-eji mee ihe mgbe a na-emejuputa regression linear .
nkwubi
Enwere ọtụtụ algọridim mgbake mgbake linear, mana ọ bụghị ha niile nwere ike itinye n'ọrụ n'ọnọdụ niile. Ya mere ire ere QR dị mma maka ngwọta ziri ezi na obere data. Ọdịda gradient dị mfe iji mejuputa ma na-enye gị ohere ịchọta ngwọta dị nso ngwa ngwa. Na LSQR na-ejikọta njirimara kachasị mma nke algọridim abụọ gara aga, ebe ọ bụ na enwere ike kesaa ya, na-agbakọta ngwa ngwa ma e jiri ya tụnyere mgbada gradient, ma na-enye ohere ịkwụsị ngwa ngwa nke algọridim, n'adịghị ka ire ere QR, ịchọta ngwọta dị nso.
isi: www.habr.com
