Te whakahekenga raina me nga tikanga mo tona whakaora

Te whakahekenga raina me nga tikanga mo tona whakaora
Source: xkcd

Ko te whakahekenga raina tetahi o nga algorithms taketake mo nga waahi maha e pa ana ki te tātari raraunga. Ko te take mo tenei ka kitea. He tino ngawari tenei, he maamaa hoki te algorithm, i whai waahi ki te whakamahi whanui mo nga tekau, ki te kore nga rau, o nga tau. Ko te whakaaro ka mau tatou i te ti'aturinga rarangi o tetahi taurangi ki runga i te huinga o etahi atu taurangi, katahi ka ngana ki te whakahoki i tenei whakawhirinakitanga.

Engari ko tenei tuhinga ehara i te whakamahi i te regression linear hei whakaoti rapanga mahi. I konei ka whakaarohia e matou nga ahuatanga whakamere o te whakatinanatanga o nga algorithms tohatoha mo tona whakaoranga, i tutakihia e matou i te wa e tuhi ana i tetahi waahanga ako miihini i roto Apache Whakawera. Ma te iti o te pangarau, te ako miihini, me te rorohiko toha ka awhina koe ki te whakaaro me pehea te mahi i te whakahekenga raina ahakoa ka tohatohahia to raraunga ki nga mano tini.

He aha ta tatou e korero nei?

Kei te anga tatou ki te mahi ki te whakaora i te ti'aturiraa raina. Hei raraunga whakauru, ka hoatu he huinga vectors o nga taurangi e kiia ana he motuhake, e hono ana ia mea ki tetahi uara o te taurangi whakawhirinaki. Ka taea te whakaatu i enei raraunga ki te ahua o nga matrices e rua:

Te whakahekenga raina me nga tikanga mo tona whakaora

Inaianei, i te mea e kiia ana te ti'aturi, me te mea ano, he raina, ka tuhia to tatou whakaaro ki te ahua o te hua o nga matrices (hei whakangawari i te rekoata, i konei me raro ka kiia ko te wa kore utu o te wharite e huna ana ki muri. Te whakahekenga raina me nga tikanga mo tona whakaora, me te tīwae whakamutunga o te matrix Te whakahekenga raina me nga tikanga mo tona whakaora kei roto nga waeine):

Te whakahekenga raina me nga tikanga mo tona whakaora

He rite tonu te tangi ki te punaha wharite rarangi, kaore? Te ahua nei, engari ko te nuinga karekau he otinga mo taua punaha wharite. Ko te take mo tenei ko te haruru, kei roto i te nuinga o nga raraunga tuuturu. Ko tetahi atu take ko te kore o te ti'aturi raina penei, ka taea te whawhai ma te whakauru i etahi atu taurangi ka whakawhirinaki kore-kore ki nga mea taketake. Whakaarohia te tauira e whai ake nei:
Te whakahekenga raina me nga tikanga mo tona whakaora
Source: Wikipedia

He tauira ngawari tenei o te whakahekenga raina e whakaatu ana i te hononga o tetahi taurangi (i te tuaka Te whakahekenga raina me nga tikanga mo tona whakaora) mai i tetahi atu taurangi (i te tuaka Te whakahekenga raina me nga tikanga mo tona whakaora). Kia whai otinga ai te punaha wharite rarangi e rite ana ki tenei tauira, me takoto nga tohu katoa ki runga i te raina tika kotahi. Engari ehara i te mea pono. Engari karekau ratou e takoto i runga i te raina tika na te haruru (he pohehe ranei te whakaaro o te hononga raina). No reira, hei whakahoki mai i tetahi hononga raina mai i nga raraunga tuturu, me whakauru ano tetahi whakaaro: kei roto i nga raraunga whakaurunga he haruru, he haruru ano tenei. tohatoha noa. Ka taea e koe te whakaaro mo etahi atu momo tohatoha haruru, engari i roto i te nuinga o nga keehi ko te tohatoha noa ka whakaarohia, ka korerohia ano.

Tikanga tūponotanga mōrahi

Na, i mahara matou ko te haruru toha noa. He aha te mahi i roto i taua ahuatanga? Mo tenei keehi i roto i te pangarau kei reira, kei te whakamahia whanuitia tikanga tūponotanga mōrahi. I roto i te poto, ko tona ngako kei te whiriwhiri mahi tūponotanga me tona whakanuinga o muri mai.

Ka hoki matou ki te whakaora i tetahi hononga raina mai i nga raraunga me te haruru noa. Kia mahara ko te hononga rarangi whakaaro ko te tumanako pangarau Te whakahekenga raina me nga tikanga mo tona whakaora tohatoha noa. I te wa ano, te tūponotanga e Te whakahekenga raina me nga tikanga mo tona whakaora ka mau ki tetahi uara, ki tetahi atu ranei, i runga i te aroaro o nga kitenga Te whakahekenga raina me nga tikanga mo tona whakaora, penei:

Te whakahekenga raina me nga tikanga mo tona whakaora

Me whakakapi e tatou inaianei Te whakahekenga raina me nga tikanga mo tona whakaora и Te whakahekenga raina me nga tikanga mo tona whakaora Ko nga taurangi e hiahiatia ana ko:

Te whakahekenga raina me nga tikanga mo tona whakaora

Ko te mea e toe ana ko te kimi i te vector Te whakahekenga raina me nga tikanga mo tona whakaora, i te mea he morahi tenei tūponotanga. Hei whakanui ake i taua mahi, he pai ki te tango tuatahi i tetahi taukohiko (ko te taukohiko o te mahi ka eke ki te morahi i te wa kotahi ki te mahi tonu):

Te whakahekenga raina me nga tikanga mo tona whakaora

Ko tenei, ka heke iho ki te whakaiti i te mahi e whai ake nei:

Te whakahekenga raina me nga tikanga mo tona whakaora

Ma te ara, ka kiia tenei he tikanga tapawhā iti rawa. I te nuinga o nga wa ka mahue nga whakaaro katoa i runga ake nei ka whakamahia noa tenei tikanga.

Te pirau QR

Ka kitea te iti o te mahi i runga ake nei ma te kimi i te ira e noho kore ai te rōnaki o tenei mahi. A ka tuhia te rōnaki penei:

Te whakahekenga raina me nga tikanga mo tona whakaora

Te pirau QR he tikanga matrix mo te whakaoti rapanga whakaiti i whakamahia i roto i nga tikanga tapawha iti rawa. I runga i tenei whakaaro, ka tuhi ano tatou i te wharite ki te ahua matrix:

Te whakahekenga raina me nga tikanga mo tona whakaora

Na ka wetewete tatou i te matrix Te whakahekenga raina me nga tikanga mo tona whakaora ki nga matrices Te whakahekenga raina me nga tikanga mo tona whakaora и Te whakahekenga raina me nga tikanga mo tona whakaora me te mahi i te raupapa o nga huringa (ko te QR decomposition algorithm ake e kore e whakaarohia i konei, ko tana whakamahinga anake e pa ana ki te mahi kei a koe):

Te whakahekenga raina me nga tikanga mo tona whakaora

Matrix Te whakahekenga raina me nga tikanga mo tona whakaora he orthogonal. Ma tenei ka taea e tatou te whakakore i nga mahi Te whakahekenga raina me nga tikanga mo tona whakaora:

Te whakahekenga raina me nga tikanga mo tona whakaora

A ki te whakakapi koe Te whakahekenga raina me nga tikanga mo tona whakaora i runga i Te whakahekenga raina me nga tikanga mo tona whakaora, katahi ka whai hua Te whakahekenga raina me nga tikanga mo tona whakaora. Ma te whakaaro ki tera Te whakahekenga raina me nga tikanga mo tona whakaora he matrix tapatoru runga, he penei te ahua:

Te whakahekenga raina me nga tikanga mo tona whakaora

Ka taea te whakatau ma te whakamahi i te tikanga whakakapi. Huānga Te whakahekenga raina me nga tikanga mo tona whakaora kei te noho hei Te whakahekenga raina me nga tikanga mo tona whakaora, huānga o mua Te whakahekenga raina me nga tikanga mo tona whakaora kei te noho hei Te whakahekenga raina me nga tikanga mo tona whakaora a na runga i.

He mea tika kia mohiohia i konei ko te uaua o te hua algorithm na te whakamahi o te QR decomposition he rite ki Te whakahekenga raina me nga tikanga mo tona whakaora. Ano, ahakoa te mea he pai te whakarara o te mahi whakareatanga matrix, kaore e taea te tuhi i tetahi putanga toha whai hua o tenei algorithm.

Whakaheke Rōnaki

Ina korero mo te whakaiti i tetahi mahi, he mea tika kia maumahara tonu ki te tikanga o te hekenga rōnaki (stochastic). He tikanga whakaiti ngawari, whai hua hoki tenei i runga i te tatai haere i te rōnaki o te taumahi ki tetahi ira, ka huri ki te ahunga e anga atu ana ki te rōnaki. Ia taahiraa penei ka tata te otinga ki te iti rawa. He rite tonu te ahua o te rōnaki:

Te whakahekenga raina me nga tikanga mo tona whakaora

He pai hoki te whakarara me te tohatoha o tenei tikanga na runga i nga ahuatanga rarangi o te kaiwhakahaere rōnaki. Kia mahara kei roto i te ture i runga ake nei, kei raro i te tohu moni he kupu motuhake. Arā, ka taea te tatau i te rōnaki motuhake mō ngā taupū katoa Te whakahekenga raina me nga tikanga mo tona whakaora mai i te tuatahi ki Te whakahekenga raina me nga tikanga mo tona whakaora, i te whakarara ki tenei, tatauhia te rōnaki mo nga tohu me Te whakahekenga raina me nga tikanga mo tona whakaora ki Te whakahekenga raina me nga tikanga mo tona whakaora. Kātahi ka tāpirihia ngā rōnaki ka puta. Ko te hua o te taapiri ka rite tonu me te mea ka tatau tonu tatou i te rōnaki mo nga tohu mai i te tuatahi ki te Te whakahekenga raina me nga tikanga mo tona whakaora. No reira, ki te tohatohahia nga raraunga ki roto i te maha o nga waahanga raraunga, ka taea te tatau takitahi te rōnaki ki ia wahi, katahi ka whakarāpopotohia ngā hua o ēnei tātaitanga kia whiwhi ai i te hua whakamutunga:

Te whakahekenga raina me nga tikanga mo tona whakaora

Mai i te tirohanga whakatinanatanga, e tika ana tenei ki te tauira MahereMarama. I ia hikoinga o te whakahekenga rōnaki, ka tukuna he mahi ki ia kōpuku raraunga hei tātai i te rōnaki, kātahi ka kohia ngā rōnaki tātai, ka whakamahia te hua o te tapeke hei whakapai ake i te hua.

Ahakoa te ngawari o te whakatinanatanga me te kaha ki te mahi i roto i te MapReduce paradigm, ko te hekenga rōnaki he raru ano. Ina koa, ko te maha o nga hikoinga e tika ana kia tutuki te whakakotahitanga he tino teitei ake ki etahi atu tikanga motuhake ake.

LSQR

LSQR Ko tetahi atu tikanga mo te whakaoti rapanga, e pai ana mo te whakahoki i te hekenga rarangi me te whakaoti i nga punaha o nga wharite rarangi. Ko tana ahuatanga nui ko te whakakotahi i nga painga o nga tikanga matrix me te huarahi hurihuri. Ka kitea nga whakatinanatanga o tenei tikanga i roto i nga whare pukapuka e rua SciPyTuhinga o mua MATLAB. Karekau he whakaahuatanga mo tenei tikanga (ka kitea i roto i te tuhinga LSQR: He hātepee mō ngā whārite rārangi iti me ngā tapawhā iti rawa). Engari, ka whakaatuhia he huarahi ki te urutau i te LSQR ki te mahi i roto i te taiao toha.

Ko te tikanga LSQR kei runga te tukanga bidiagonalization. He tukanga auau tenei, ko ia whitiwhitinga e whai ake nei:
Te whakahekenga raina me nga tikanga mo tona whakaora

Engari ki te whakaaro tatou ko te matrix Te whakahekenga raina me nga tikanga mo tona whakaora kua wehewehea whakapae, katahi ka taea te whakaatu i ia whitiwhitinga kia rua nga kaupae MapReduce. Ma tenei ara, ka taea te whakaiti i nga whakawhitinga raraunga i ia whitiwhitinga (ko nga vectors anake te roa e rite ana ki te maha o nga mea e kore e mohiotia):

Te whakahekenga raina me nga tikanga mo tona whakaora

Koinei te huarahi e whakamahia ana i te wa e whakatinana ana i te whakahekenga raina i roto Apache Ignite ML.

mutunga

He maha nga algorithms whakaora regression linear, engari kaore e taea te whakamahi katoa i nga ahuatanga katoa. No reira he pai te whakamaarama QR mo te otinga tika mo nga huinga raraunga iti. He ngawari ki te whakatinana i te hekenga o te rōnaki ka taea e koe te kimi tere i te otinga tata. Na ka whakakotahihia e te LSQR nga ahuatanga pai rawa atu o nga algorithm e rua o mua, na te mea ka taea te tohatoha, ka huri tere atu ki te hekenga rōnaki, ka taea hoki te aukati moata o te hātepee, kaore i rite ki te whakapohehe QR, ki te kimi otinga tata.

Source: will.com

Tāpiri i te kōrero