Source:
Linear regression ke e 'ngoe ea li-algorithms tsa mantlha bakeng sa libaka tse ngata tse amanang le tlhahlobo ea data. Lebaka la sena le hlakile. Ena ke algorithm e bonolo haholo le e utloisisoang, e tlatselitseng ts'ebelisong ea eona e atileng ka lilemo tse mashome, haeba e se tse makholo. Mohopolo ke hore re nka ho its'etleha ka mokhoa o ts'oanang oa phapang e le 'ngoe ho sehlopha sa mefuta e meng, ebe re leka ho khutlisetsa ts'epo ena.
Empa sengoloa sena ha se mabapi le ho sebelisa linear regression ho rarolla mathata a sebetsang. Mona re tla nahana ka likarolo tse khahlisang tsa ts'ebetsong ea li-algorithms tse ajoang bakeng sa ho hlaphoheloa, tseo re kopaneng le tsona ha re ngola mochini oa ho ithuta oa mochini . Lipalo tse nyane, ho ithuta ka mochini, le komporo e ajoang li ka u thusa ho tseba mokhoa oa ho khutlisa linear le ha data ea hau e ajoa ho likete tsa li-node.
Re bua ka eng?
Re tobane le mosebetsi oa ho khutlisa ho itšetleha ka mela. Joalo ka lintlha tse kentsoeng, ho fanoe ka sehlopha sa li-vector tsa mefuta eo ho nahanoang hore e ikemetse, e 'ngoe le e 'ngoe ea tsona e amahanngoa le boleng bo itseng ba phapang e itšetlehileng ka eona. Lintlha tsena li ka emeloa ka mokhoa oa matrices a mabeli:
Hona joale, kaha ho itšetleha ho nahanoa, 'me, ho feta moo, linear, re tla ngola maikutlo a rona ka mokhoa oa sehlahisoa sa matrices (ho nolofatsa ho rekota, mona le ka tlase ho nahanoa hore nako ea mahala ea equation e patiloe ka morao. , le kholomo ea ho qetela ea matrix e na le likarolo):
E utloahala haholo joalo ka sistimi ea li-equation tsa mela, na ha ho joalo? Ho bonahala eka, empa hangata ho ke ke ha e-ba le tharollo tsamaisong e joalo ea li-equations. Lebaka la sena ke lerata, le teng hoo e batlang e le data leha e le efe ea sebele. Lebaka le leng e ka 'na ea e-ba ho haelloa ke mokhoa oa ho itšetleha ka mokhoa o joalo, o ka lokisoang ka ho hlahisa mefuta e meng e sa itšetlehang ka ea pele. Nahana ka mohlala o latelang:
Source:
Ona ke mohlala o bonolo oa ho fokotseha ha mela e bonts'ang kamano ea phapang e le 'ngoe (hammoho le axis ) ho tsoa ho mofuta o mong (ho bapa le axis ). E le hore tsamaiso ea linear equations e tsamaellanang le mohlala ona e be le tharollo, lintlha tsohle li tlameha ho robala ka mokhoa o tšoanang hantle. Empa seo ha se nnete. Empa ha ba bue leshano ka mola o otlolohileng hantle ka lebaka la lerata (kapa hobane monahano oa kamano ea mola o ne o fosahetse). Kahoo, bakeng sa ho tsosolosa kamano ea linear ho tloha ho data ea sebele, hangata hoa hlokahala ho hlahisa maikutlo a mang hape: data ea ho kenya e na le lerata mme lerata lena le na le. . U ka etsa likhakanyo mabapi le mefuta e meng ea kabo ea lerata, empa maemong a mangata ke kabo e tloaelehileng e nahanoang, e tla tšohloa ho ea pele.
Mokhoa o moholo oa monyetla
Kahoo, re ile ra nahana hore ho na le lerata leo ka tloaelo le ajoang. Seo u lokelang ho se etsa boemong bo joalo? Tabeng ena ea lipalo ho na le e sebelisoang haholo . Ka bokhutšoanyane, moelelo oa eona o itšetlehile ka khetho le maximization ea eona e latelang.
Re khutlela ho tsosolosa kamano ea linear ho tloha data ka lerata le tloaelehileng. Hlokomela hore kamano e nahanoang ea linear ke tebello ea lipalo kabo e tloaelehileng e teng. Ka nako e ts'oanang, monyetla oa hore e nka boleng bo bong kapa bo bong, ho ipapisitse le boteng ba lintho tse bonoang , ka mokoa o latelang:
Ha re nkeng sebaka hona joale и Liphetoho tseo re li hlokang ke:
Sohle se setseng ke ho fumana vector , moo monyetla ona o leng boholo. Ho eketsa ts'ebetso e joalo, ho bonolo ho qala ka ho nka logarithm ea eona (logarithm ea ts'ebetso e tla fihla holimo sebakeng se ts'oanang le ts'ebetso ka boeona):
E, ka lehlakoreng le leng, e theohela ho fokotsa ts'ebetso e latelang:
Ka tsela, sena se bitsoa mokhoa . Hangata lintlha tsohle tse ka holimo ha li sebelisoe 'me mokhoa ona o sebelisoa feela.
Ho senyeha ha QR
Bonyane ba ts'ebetso e kaholimo bo ka fumanoa ka ho fumana ntlha moo gradient ea tšebetso ena e leng zero. 'Me gradient e tla ngoloa ka tsela e latelang:
ke mokhoa oa matrix oa ho rarolla bothata ba ho bebofatsa bo sebelisoang ka mokhoa oa bonyane ba lisekoere. Tabeng ena, re ngola equation hape ka mokhoa oa matrix:
Kahoo re senya matrix ho matrices и 'me u etse letoto la liphetoho (algorithm ea ho bola ea QR ka boeona e ke ke ea nahanoa mona, feela ts'ebeliso ea eona mabapi le mosebetsi o teng):
Matrix e na le orthogonal. Sena se re nolofalletsa ho tlohela mosebetsi :
'Me haeba u nkela sebaka mabapi le , joale e tla sebetsa . Ho nahanoa ka seo ke matrix a khutlo-tharo e kaholimo, e shebahala tjena:
Sena se ka rarolloa ka ho sebelisa mokhoa oa ho fetola. Element e fumaneha joalo ka , ntho e fetileng e fumaneha joalo ka joalo-joalo.
Ho bohlokoa ho hlokomela mona hore ho rarahana ha algorithm e hlahisoang ka lebaka la ts'ebeliso ea ho bola ha QR ho lekana le . Ho feta moo, ho sa tsotellehe taba ea hore ts'ebetso ea ho atisa matrix e tšoana hantle, ho ke ke ha khoneha ho ngola phetolelo e atlehileng ea algorithm ena.
ho thetheha ka sekhahla
Ha u bua ka ho fokotsa ts'ebetso, kamehla ho bohlokoa ho hopola mokhoa oa (stochastic) gradient descent. Ona ke mokhoa o bonolo le o sebetsang oa ho nyenyefatsa o ipapisitseng le ho bala hafeta lebelo la tšebetso sebakeng se itseng ebe o se suthisetsa nqa e fapaneng le gradient. Mohato o mong le o mong o joalo o tlisa tharollo haufi le bonyane. Gradiente e ntse e shebahala e ts'oana:
Mokhoa ona o boetse o bapisitsoe hantle le ho ajoa ka lebaka la thepa ea mola oa gradient. Hlokomela hore ka foromo e ka holimo, tlas'a letšoao la kakaretso ho na le mantsoe a ikemetseng. Ka mantsoe a mang, re ka bala gradient ka boikemelo bakeng sa li-indices tsohle ho tloha pele ho ea ho , ka ho tsamaisana le sena, bala gradient bakeng sa li-indices le ho . Ebe u eketsa li-gradients tse hlahisoang. Sephetho sa tlatsetso se tla tšoana le haeba re ile ra bala hang-hang gradient bakeng sa li-indices ho tloha ho ea pele ho ea ho . Kahoo, haeba data e ajoa har'a likarolo tse 'maloa tsa data, gradient e ka baloa ka boikemelo karolong e' ngoe le e 'ngoe, ebe liphetho tsa lipalo tsena li ka akaretsoa ho fumana sephetho sa ho qetela:
Ho latela pono ea ts'ebetsong, sena se lumellana le paradigm . Mohato o mong le o mong oa ho theoha ha gradient, mosebetsi o romelloa sebakeng se seng le se seng sa data ho bala gradient, ebe li-gradients tse baloang li bokelloa hammoho, 'me sephetho sa kakaretso ea tsona se sebelisoa ho ntlafatsa sephetho.
Leha ho le bonolo ho kenya ts'ebetsong le bokhoni ba ho phethahatsa paradigm ea MapReduce, ho theoha ha gradient ho boetse ho na le mathata. Haholo-holo, palo ea mehato e hlokahalang ho finyella ho kopana e phahame haholo ha e bapisoa le mekhoa e meng e khethehileng.
LSQR
ke mokhoa o mong oa ho rarolla bothata, o loketseng ka bobeli bakeng sa ho khutlisa linear regression le ho rarolla litsamaiso tsa linear equations. Ntho ea eona e ka sehloohong ke hore e kopanya melemo ea mekhoa ea matrix le mokhoa oa ho pheta-pheta. Ts'ebetsong ea mokhoa ona e ka fumanoa lilaeboraring ka bobeli le ho . Tlhaloso ea mokhoa ona e ke ke ea fanoa mona (e ka fumanoa sehloohong ). Ho e-na le hoo, ho tla bontšoa mokhoa oa ho ikamahanya le LSQR ho phethahatsoa sebakeng se ajoang.
Mokhoa oa LSQR o thehiloe ho . Ena ke ts'ebetso e pheta-phetoang, phetisetso e 'ngoe le e' ngoe e na le mehato e latelang:
Empa haeba re nka hore matrix e arotsoe ka ho otloloha, 'me phetisetso e' ngoe le e 'ngoe e ka hlahisoa e le mehato e 'meli ea MapReduce. Ka tsela ena, hoa khoneha ho fokotsa phetisetso ea data nakong e 'ngoe le e' ngoe ea phetisetso (ke li-vector feela tse nang le bolelele bo lekanang le palo ea tse sa tsejoeng):
Ke mokhoa ona o sebelisoang ha ho etsoa linear regression in .
fihlela qeto e
Ho na le li-algorithms tse ngata tsa linear regression recovery, empa ha se kaofela ha tsona tse ka sebelisoang maemong ohle. Kahoo ho bola ha QR ho nepahetse bakeng sa tharollo e nepahetseng ho li-sete tse nyane tsa data. Ho theoha ha Gradient ho bonolo ho e kenya ts'ebetsong 'me ho u lumella ho fumana tharollo e lekantsoeng kapele. 'Me LSQR e kopanya thepa e ntle ka ho fetisisa ea li-algorithms tse peli tse fetileng, kaha e ka ajoa, e fetoha ka potlako ha e bapisoa le ho theoha ha gradient, hape e lumella ho emisa pele ho algorithm, ho fapana le ho senyeha ha QR, ho fumana tharollo e ka bang teng.
Source: www.habr.com