Ko tenei te ahua o te mahi taapiri
Ko nga waehere whakahekenga * ka whakamahia i roto i nga punaha rorohiko hei whakanui ake i te pono o te rokiroki raraunga. I Yandex e whakamahia ana i roto i nga kaupapa maha. Hei tauira, ko te whakamahi i nga waehere taapiri hei utu mo te tukuruatanga i roto i ta maatau rokiroki ahanoa o roto ka penapena miriona me te kore e pau te pono. Engari ahakoa te whanuitanga o te whakamahinga, he onge nga korero mo te mahi o nga waehere taapiri. Ko te hunga e hiahia ana ki te mohio ka pa ki enei e whai ake nei (mai ):
Ko Vadim toku ingoa, i Yandex kei te whakawhanake ahau i te rokiroki taonga o roto MDS. I roto i tenei tuhinga, ka whakaahuahia e au i roto i nga kupu ngawari nga turanga ariā o nga waehere whakaheke (Reed-Solomon me nga waehere LRC). Maku e korero ki a koe me pehea te mahi, kaore he pangarau uaua me nga kupu onge. I te mutunga ka hoatu e ahau etahi tauira mo te whakamahi i nga waehere taapiri i Yandex.
Kare au e whai whakaaro ki te maha o nga korero pangarau, engari ka tukuna e au he hononga mo te hunga e hiahia ana ki te ruku hohonu. Ka kite ano ahau karekau pea etahi whakamaarama pangarau i te tino kaha, i te mea ehara te tuhinga i te mea mo nga tohunga pangarau, engari mo nga miihini e hiahia ana ki te mohio ki te tino take o te take.
* I roto i nga tuhinga reo Ingarihi, he maha nga wa e kiia ana nga waehere taapiri ko nga waehere muru.
1. Ko te mauri o nga waehere taapiri
He tino ngawari te ngako o nga waehere taapiri katoa: rokiroki (te tuku ranei) nga raraunga kia kore ai e ngaro i te wa ka puta nga hapa (nga rahunga kōpae, nga hapa whakawhiti raraunga, me etahi atu).
I roto i te nuinga o nga * waehere whakaheke, ka wehewehea nga raraunga ki nga poraka raraunga n, mo nga poraka m o nga waehere whakahekenga ka tatauhia, ka puta mai he n + m poraka. Ka hangaia nga waehere taapiri kia taea ai te whakahoki mai i nga n poraka raraunga ma te whakamahi i tetahi waahanga noa o n + m poraka. I muri mai, ka whakaarohia e matou nga waehere whakaheke poraka anake, ara, ko nga mea ka wehewehea nga raraunga ki nga poraka.
Hei whakaora i nga n poraka raraunga katoa, me whiwhi koe i te n o n + m poraka, i te mea kare e taea e koe te tiki n poraka ma te n-1 poraka anake (i tenei keehi, me tango e koe kia 1 poraka "mai i te kikokore. hau”). He nui nga n poraka matapōkere o n + m poraka hei whakaora i nga raraunga katoa? Ka whakawhirinaki tenei ki te momo o nga waehere taapiri, hei tauira, ko nga waehere Reed-Solomon ka taea e koe te whakaora i nga raraunga katoa ma te whakamahi i nga poraka n arbitrary, engari kaore nga waehere whakahekenga LRC i nga wa katoa.
Rokiroki raraunga
I roto i nga punaha rokiroki raraunga, hei tikanga, ka tuhia ia o nga poraka raraunga me nga poraka waehere taapiri ki tetahi kōpae motuhake. Na, ki te rahua te kōpae, ka taea tonu te whakahoki me te panui i nga raraunga taketake. Ka taea te whakahoki mai i nga raraunga ahakoa he maha nga kopae ka rahua i te wa kotahi.
Te whakawhiti raraunga
Ka taea te whakamahi i nga waehere taapiri hei tuku pono i nga raraunga i runga i te whatunga kore pono. Ka wehea nga raraunga kua tukuna ki roto i nga poraka, ka tatauhia nga waehere taapiri mo ratou. Ko nga poraka raraunga me nga poraka waehere taapiri ka tukuna ki runga i te whatunga. Mena ka puta he hapa i roto i nga poraka hanga noa (tae atu ki etahi maha o nga poraka), ka taea tonu te tuku raraunga i runga i te whatunga kaore he hapa. Ko nga waehere Reed-Solomon, hei tauira, ka whakamahia ki te tuku raraunga i runga i nga raina whakawhitiwhiti whatu me nga korero amiorangi.
* Kei kona ano nga waehere taapiri kaore e wehewehea nga raraunga ki nga poraka, penei i nga waehere Hamming me nga waehere CRC, e whakamahia nuitia ana mo te tuku raraunga i roto i nga whatunga Ethernet. He waehere enei mo te whakawaehere whakatika hapa, he mea hangaia kia kitea nga hapa, kaua hoki e whakatika (ka taea hoki e te waehere Hamming te whakatikatika i nga hapa).
2. Reed-Solomon waehere
Ko nga Waehere Reed-Solomon tetahi o nga waehere taapiri e whakamahia nuitia ana, i hangaia i nga tau 1960 me te whakamahi tuatahi i nga tau 1980 mo te hanga papatipu o nga kopae kiato.
E rua nga patai matua mo te mohio ki nga waehere Reed-Solomon: 1) me pehea te hanga poraka o nga waehere taapiri; 2) me pehea te whakaora i nga raraunga ma te whakamahi i nga poraka waehere taapiri. Kia kitea nga whakautu ki a raatau.
Mo te ngawari, ka whakaaro ake ko n=6 me te m=4. Ko etahi atu kaupapa ka whakaarohia ma te whakataurite.
Me pehea te hanga poraka waehere taapiri
Ko ia poraka o nga waehere taapiri ka tatau takitahi i era atu. Katoa n poraka raraunga ka whakamahia hei tatau ia poraka. I roto i te hoahoa i raro nei, ko X1-X6 he poraka raraunga, ko P1-P4 he poraka waehere taapiri.
Me rite te rahi o nga poraka raraunga katoa, ka taea te whakamahi i nga moka kore mo te tirohanga. Ko nga poraka waehere whakahekenga ka puta ka rite te rahi ki nga poraka raraunga. Kua wehewehea nga poraka raraunga katoa ki nga kupu (hei tauira, 16 nga moka). Me kii ka wehewehea nga poraka raraunga ki nga kupu k. Na ka wehewehea nga poraka katoa o nga waehere taapiri ki nga kupu k.
Ki te tatau i te kupu i-th o ia poraka taapiri, ka whakamahia nga kupu-i o nga poraka raraunga katoa. Ka tatauhia kia rite ki te tauira e whai ake nei:
I konei ko nga uara x ko nga kupu o nga poraka raraunga, p ko nga kupu o nga poraka waehere taapiri, ko te alpha, beta, gamma me te delta he tau kua tohua motuhake he rite mo nga i katoa. Me kii tonu ko enei uara katoa ehara i nga tau noa, engari ko nga waahanga o te mara Galois; ko nga mahi +, -, *, / ehara i nga mahi e mohiotia ana e tatou katoa, engari ko nga mahi motuhake kua whakauruhia ki nga waahanga o te Galois. mara.
He aha i hiahiatia ai nga mara o Galois?
Ko te ahua he ngawari nga mea katoa: ka wehewehea e matou nga raraunga ki roto i nga poraka, nga poraka ki nga kupu, ma te whakamahi i nga kupu o nga poraka raraunga ka tatauhia e matou nga kupu o nga poraka waehere taapiri - ka whiwhi matou i nga poraka waehere whakaheke. I te nuinga ka penei te mahi, engari ko te rewera kei roto i nga korero:
- Ka rite ki te korero i runga ake nei, kua whakatauhia te rahi o te kupu, i roto i ta maatau tauira 16 moka. Ko nga tauira i runga ake nei mo nga waehere Reed-Solomon he penei i te whakamahi tauoti noa, kaore pea te hua o te tatau p e whakaatu ma te whakamahi i te kupu whai mana.
- Ina whakaora raraunga, ka kiia nga tauira i runga ake nei he punaha wharite me whakaoti kia ora ai nga raraunga. I te wa o te otinga, me wehewehe nga tauoti ki a raua ano, ka puta he tau tuturu e kore e taea te whakaatu tika i roto i te mahara rorohiko.
Ko enei raru ka aukati i te whakamahi tauoti mo nga waehere Reed-Solomon. Ko te otinga o te raru he mea taketake, ka taea te korero penei: kia puta mai he tau motuhake ka taea te whakaatu ma te whakamahi i nga kupu o te roa e hiahiatia ana (hei tauira, 16 moka), me te hua o te mahi i nga mahi katoa (te taapiri. , te tangohanga, te whakarea, te wehewehe) ka whakaatuhia ki te mahara rorohiko ma te whakamahi i nga kupu o te roa e hiahiatia ana.
Ko enei tau "motuhake" kua akohia e te pangarau mo te wa roa, ka kiia ko nga mara. Ko te mara he huinga huānga me nga mahinga o te taapiri, te tangohanga, te whakarea me te wehenga kua tautuhia mo era.
Ko nga mara Galois* he mara he hua motuhake mo ia mahi (+, -, *, /) mo nga waahanga e rua o te mara. Ka taea te hanga i nga mara Galois mo nga tau he mana o 2: 2, 4, 8, 16, me etahi atu. Hei tauira, mo nga kupu 2-bit, he mara tenei e 16 nga huānga, mo ia takirua ka kitea e koe te hua o tetahi mahi (+, -, *, /). Ko nga uara o te x, p, alpha, beta, gamma, delta mai i nga wharite o runga ake nei ka kiia he huānga o te mara Galois mo nga tataunga.
No reira, he punaha wharite ka taea e tatou te hanga poraka o nga waehere taapiri ma te tuhi i tetahi papatono rorohiko e tika ana. Ma te whakamahi i taua punaha wharite, ka taea e koe te mahi whakaora raraunga.
* Ehara tenei i te tino whakamaarama, engari he whakaahuatanga.
Me pehea te whakaora raraunga
Me whakaora ina ngaro etahi o nga poraka n + m. Ka taea e enei nga poraka raraunga me nga poraka waehere taapiri. Ko te kore o nga paraka raraunga me/ranei nga poraka waehere whakahekenga ka kore e mohiotia nga taurangi x me/ranei i nga taurangi i runga ake nei.
Ko nga wharite mo nga Waehere Reed-Solomon ka taea te tiro hei punaha wharite he taurangi katoa nga uara alpha, beta, gamma, delta, ko nga x me te p e rite ana ki nga poraka e waatea ana he taurangi e mohiotia ana, ko te toenga x me te p kaore e mohiotia.
Hei tauira, kia kore e waatea nga poraka raraunga 1, 2, 3 me te paraka waehere taapiri 2, katahi mo te roopu-i o nga kupu ka whai ake nga punaha wharite (kaore e mohio kua tohua ki te whero):
Kei a matou he punaha o nga wharite e 4 me te 4 e kore e mohiotia, ko te tikanga ka taea e matou te whakaoti me te whakahoki i nga raraunga!
Mai i tenei punaha wharite he maha nga whakatau e whai ake nei mo te whakaora raraunga mo nga waehere Reed-Solomon (n poraka raraunga, m poraka waehere taapiri):
- Ka taea te whakahoki mai i nga raraunga mena ka ngaro etahi m poraka iti iho ranei. Mena ka ngaro te m+1 neke atu ranei o nga poraka, kaore e taea te whakahoki mai i nga raraunga: kaore e taea te whakaoti i tetahi punaha m wharite me te m + 1 e kore e mohiotia.
- Hei whakaora i te poraka raraunga kotahi, me whakamahi koe i tetahi n o nga toenga poraka, a ka taea e koe te whakamahi i tetahi o nga waehere taapiri.
He aha atu e hiahia ana koe ki te mohio
I roto i te whakaahuatanga i runga ake nei, ka karohia e au etahi take nui me ruku hohonu ki te pangarau hei whakaaro. Ina koa, kaore au e korero mo nga mea e whai ake nei:
- Ko te punaha wharite mo nga waehere Reed-Solomon me whai otinga (ahurei) mo nga huinga o nga mea e kore e mohiotia (kaore e nui ake i te m te kore e mohiotia). I runga i tenei whakaritenga, ka tohua nga uara o te alpha, beta, gamma me te delta.
- Me taea te hanga aunoa i tetahi punaha wharite (i runga i nga poraka kaore e waatea ana) me te whakaoti.
- Me hanga he mara Galois: mo te rahi o te kupu, ka taea te kimi i te hua o tetahi mahi (+, -, *, /) mo nga huānga e rua.
Kei te mutunga o te tuhinga he korero mo nga tuhinga mo enei take nui.
Kōwhiringa o n me te m
Me pehea te whiriwhiri i te n me te m i te mahi? I roto i nga mahi, i roto i nga punaha rokiroki raraunga, ka whakamahia nga waehere taapiri hei whakaora i te waahi, na reira ka tohua te m he iti iho i te n. Ko o raatau uara tika ka whakawhirinaki ki te maha o nga mea, tae atu ki:
- Te pono o te rokiroki raraunga. Ko te nui o te m, ka nui ake te maha o nga rahunga kōpae ka ora, ara, ko te teitei ake o te pono.
- Pupuri rahi. Ko te teitei ake o te tauwehenga m/n, ka nui ake te taapiri o te rokiroki, ka nui ake te utu o te punaha.
- Tonoa te wa tukatuka. Ka nui ake te n + m, ka roa ake te wa whakautu ki nga tono. I te mea ko te panui raraunga (i te wa e whakaora ana) me panui nga poraka e rongoa ana i runga i nga kōpae rereke, ka whakatauhia te wa panui e te kōpae puhoi.
I tua atu, ko te rokiroki raraunga i roto i etahi DC ka whakatauhia etahi atu here mo te kowhiringa o te n me te m: ki te whakawetohia te 1 DC, me waatea tonu nga raraunga mo te panui. Hei tauira, i te wa e penapena ana nga raraunga ki roto i te 3 DC, me tutuki te tikanga e whai ake nei: m >= n/2, ki te kore he waahi karekau te raraunga mo te panui ina wetohia te 1 DC.
3. LRC - Waehere Whakahou-a-rohe
Hei whakaora i nga raraunga ma te whakamahi i nga waehere Reed-Solomon, me whakamahi koe i nga poraka raraunga koretake. He tino kino tenei mo nga punaha rokiroki raraunga tohatoha, na te mea ki te whakahoki i nga raraunga i runga i tetahi kopae pakaru, me panui koe i nga raraunga mai i te nuinga o era atu, ka hanga he nui atu te uta ki runga i nga kōpae me te whatunga.
Ko te nuinga o nga hapa ko te kore e uru ki tetahi poraka o nga raraunga na te rahunga, te taumahatanga ranei o te kōpae kotahi. Ka taea pea te whakaiti i te taumahatanga o te kawenga mo te whakaora raraunga i roto i tenei keehi (tino noa)? Ko te ahua ka taea: kei reira nga waehere whakaheke LRC mo tenei kaupapa.
Ko te LRC (Nga Waehere Whakahou-a-rohe) he waehere taapiri i hangaia e Microsoft hei whakamahi i roto i te Rokiroki Windows Azure. He maamaa noa te whakaaro o te LRC: wehea nga poraka raraunga katoa ki nga roopu e rua (neke atu ranei) ka panuihia tetahi waahanga o nga poraka waehere taapiri mo ia roopu. Na ka tatauhia etahi poraka waehere taapiri ma te whakamahi i nga poraka raraunga katoa (i roto i te LRC e kiia ana ko nga waehere taapiri o te ao), me etahi - ma te whakamahi i tetahi o nga roopu e rua o nga poraka raraunga (e kiia ana ko nga waehere whakahekenga rohe).
Ko te LRC e tohuhia ana e nga tau e toru: nrl, kei reira ko n te maha o nga poraka raraunga, ko te r te maha o nga poraka waehere taapiri o te ao, l ko te maha o nga poraka waehere taapiri rohe. Hei panui i nga raraunga ka kore e waatea tetahi poraka raraunga, me panui noa nga poraka n/l - he l nga wa iti ake tenei i nga waehere Reed-Solomon.
Hei tauira, whakaarohia te kaupapa LRC 6-2-2. X1–X6 — 6 poraka raraunga, P1, P2 — 2 poraka hurihanga o te ao, P3, P4 — 2 poraka taapiri rohe.
Ka tatauhia nga poraka waehere P1, P2 ma te whakamahi i nga poraka raraunga katoa. Ko te poraka waehere whakaheke P3 - te whakamahi i nga poraka raraunga X1-X3, te poraka waehere P4 - te whakamahi i nga poraka raraunga X4-X6.
Ko te toenga ka mahia i roto i te LRC ma te whakataurite me nga waehere Reed-Solomon. Ko nga wharite mo te tatau i nga kupu o nga poraka waehere taapiri ko:
Hei kowhiri i nga nama alpha, beta, gamma, delta, me tutuki etahi tikanga hei whakapumau i te tupono o te whakaora raraunga (ara, te whakaoti i te punaha wharite). Ka taea e koe te panui atu mo ratou i roto .
I roto ano i te mahi, ka whakamahia te mahi XOR ki te tatau i nga waehere taapiri rohe P3, P4.
He maha nga whakatau ka whai mai i te punaha wharite mo LRC:
- Hei whakaora i tetahi poraka raraunga 1, he nui ki te panui i nga poraka n / l (n / 2 i to maatau tauira).
- Mena kaore i te waatea nga poraka r + l, ka uru nga poraka katoa ki te roopu kotahi, kaore e taea te whakahoki mai i nga raraunga. He ngawari tenei ki te whakamarama me tetahi tauira. Me waiho nga poraka X1–X3 me te P3 kia kore e waatea: he r + l poraka enei mai i te roopu kotahi, 4 kei roto i a maatau. Na, he punaha e 3 nga wharite me te 4 e kore e mohiotia e kore e taea te whakaoti.
- I etahi atu take katoa o te kore e waatea mai i nga poraka r + l (i te wa e waatea ana kia kotahi te iti rawa mai i ia roopu), ka taea te whakahoki mai i nga raraunga i roto i te LRC.
Na, ko te LRC he nui ake nga waehere Reed-Solomon ki te whakaora i nga raraunga i muri i nga hapa kotahi. I roto i nga waehere Reed-Solomon, ki te whakaora i tetahi poraka o nga raraunga, me whakamahi koe i nga poraka n, me te LRC, ki te whakaora i tetahi poraka o nga raraunga, he nui ki te whakamahi i nga poraka n / l (n / 2 i to maatau tauira). I tetahi atu taha, he iti ake te LRC ki nga waehere Reed-Solomon i runga i te nui o nga hapa e whakaaetia ana. I roto i nga tauira i runga ake nei, ka taea e nga waehere Reed-Solomon te whakaora i nga raraunga mo nga hapa 4, a mo te LRC he 2 nga huinga o nga hapa 4 kaore e taea te whakaora i nga raraunga.
Ko te mea nui ake ka whakawhirinaki ki te ahuatanga motuhake, engari he maha nga wa ka nui ake te penapena i roto i te taumahatanga o te kawenga e whakaratohia ana e LRC i te iti ake o te rokiroki pono.
4. Ētahi atu waehere taapiri
I tua atu i nga waehere Reed-Solomon me LRC, he maha atu ano nga waehere taapiri. Ka whakamahia e nga momo rereke rereke nga momo pangarau. Anei etahi atu waehere taapiri:
- Waehere whakaheke ma te whakamahi i te kaiwhakahaere XOR. Ka mahia te mahi XOR i runga i nga poraka raraunga n, ka whiwhihia te 1 poraka o nga waehere whakahekenga, ara, he kaupapa n+1 (n poraka raraunga, 1 waehere taapiri). Whakamahia i roto i , kei reira nga poraka o nga raraunga me nga waehere taapiri ka tuhia ki nga kopae katoa o te raupapa.
- I runga i te mahi XOR. Ka taea e koe te hanga i nga poraka e 2 o nga waehere taapiri, ara, te kaupapa n+2.
- STAR algorithm i runga i te mahi XOR. Ka taea e koe te hanga i nga poraka e 3 o nga waehere taapiri, ara, te kaupapa n+3.
- Ko nga waehere pyramide tetahi atu waehere taapiri mai i a Microsoft.
5. Whakamahia i Yandex
He maha nga kaupapa hangahanga Yandex e whakamahi ana i nga waehere taapiri mo te rokiroki raraunga pono. Anei etahi tauira:
- MDS rokiroki ahanoa roto, i tuhia e ahau i te timatanga o te tuhinga.
- — MapReduce punaha o Yandex.
- (Yandex Raraunga Raraunga) - newSQL tohatoha raraunga.
Ka whakamahi a MDS i nga waehere taapiri LRC, kaupapa 8-2-2. Ko nga raraunga me nga waehere taapiri ka tuhia ki nga kopae rereke 12 i roto i nga tūmau rereke i roto i nga DC rereke e 3: 4 nga tūmau i ia DC. Pānuitia atu mo tenei i roto i .
Ka whakamahi a YT i nga waehere Reed-Solomon e rua (Mahinga 6-3), ko nga mea tuatahi ki te whakatinana, me nga waehere taapiri LRC (Mahinga 12-2-2), ko te LRC te tikanga rokiroki pai.
Ka whakamahi a YDB i nga waehere taapiri rereke (Whakaahua 4-2). Mo nga waehere taapiri kei te YDB .
Ko te whakamahi i nga kaupapa rereke rereke na nga whakaritenga rereke mo nga punaha. Hei tauira, i roto i te MDS, ko nga raraunga e rongoa ana ma te whakamahi i te LRC ka tukuna ki nga DC 3 i te wa kotahi. He mea nui ki a matou kia noho tonu nga raraunga mo te panui mena ka taka te 1 o nga DCs, na reira me tohatoha nga poraka puta noa i nga DCs kia kore ai tetahi DC e waatea, ko te maha o nga poraka kaore e taea te neke ake i te whakaaetia. I roto i te kaupapa 8-2-2, ka taea e koe te whakanoho i nga poraka 4 ki ia DC, ka mutu tetahi DC, ka kore e waatea nga poraka 4, ka taea te panui i nga raraunga. Ahakoa he aha te kaupapa ka whiriwhiria e matou ina tuu ana ki roto i nga DC 3, ahakoa he aha te mea (r + l) / n >= 0,5, ara, ko te nui o te rokiroki kia 50%.
I roto i te YT he rereke te ahuatanga: ko ia huinga YT kei roto katoa i te 1 DC (nga huinga rereke i roto i nga DC rereke), no reira kaore he here pera. Ko te kaupapa 12-2-2 e whakarato ana i te 33% taapiri, ara, he iti ake te utu o te penapena raraunga, ka taea hoki te ora ake ki te 4 nga wa ngaro o te kōpae, pera i te kaupapa MDS.
He maha atu ano nga ahuatanga o te whakamahi i nga waehere taapiri i roto i te rokiroki raraunga me nga punaha tukatuka: nga ahuatanga o te whakaora raraunga, te paanga o te whakaora i te wa mahi uiui, nga ahuatanga o te tuhi raraunga, me era atu. Ka korero motuhake ahau mo enei me etahi atu waahanga o te whakamahi i nga waehere taapiri i roto i nga mahi, mena ka pai te kaupapa.
6. Hononga
- He raupapa tuhinga mo nga waehere Reed-Solomon me nga mara Galois:
Ka hohonu ake te titiro ki te pangarau i roto i te reo ngawari. - Tuhinga mai i a Microsoft mo te LRC:
Ko te Wāhanga 2 he whakamārama poto i te ariā, kātahi ka matapaki i ngā wheako me te LRC i roto i ngā mahi. - Kaupapa taurite:
- Kaupapa STAR:
- Waehere tara:
- Waehere whakaheke i MDS:
- Waehere morahi i YT:
- Waehere whakaheke i te YDB:
Source: will.com