"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ka whakaaro ahau kia panui koe i te tuhinga o te kauhau "Hadoop. ZooKeeper" mai i te raupapa "Nga tikanga mo te tukatuka tohatoha o nga pukapuka nui o nga raraunga i Hadoop"

He aha te ZooKeeper, tona waahi i roto i te rauwiringa kaiao Hadoop. Nga korero teka mo te rorohiko tohatoha. Hoahoa o te punaha tohatoha paerewa. He uaua ki te whakarite i nga punaha toha. Nga raruraru ruruku angamaheni. Ko nga maapono kei muri i te hoahoa o ZooKeeper. Te tauira raraunga ZooKeeper. haki znode. Wātū. API Kiritaki. Ko nga mea tuatahi (te whirihora, te mema roopu, nga kati ngawari, te pooti rangatira, te kati kaore he painga o te kahui). Hangahanga ZooKeeper. ZooKeeper DB. ZAB. Kaihautu tono.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

I tenei ra ka korero tatou mo ZooKeeper. He tino whai hua tenei mea. He tohu, he rite ki tetahi hua Apache Hadoop. E whakaatu ana i te tangata.

I mua i tenei, ko te nuinga o taatau korero me pehea te tukatuka raraunga ki reira, me pehea te penapena, ara, me pehea te whakamahi me te mahi me te aha. Na i tenei ra ka hiahia ahau ki te korero mo te hanga i nga tono toha. A ko ZooKeeper tetahi o nga mea ka taea e koe te whakangawari i tenei take. He momo ratonga tenei e whakaarohia ana mo etahi momo ruruku o te taunekeneke o nga tukanga i roto i nga punaha tohatoha, i roto i nga tono tohatoha.

Kei te piki haere te hiahia mo nga tono pera i ia ra, koira te tikanga o to maatau akoranga. I tetahi taha, ko te MapReduce me tenei anga kua oti te hanga ka taea e koe te whakatika i tenei uauatanga me te wetewete i te kaihōtaka mai i te tuhi i nga mea taketake penei i te taunekeneke me te ruruku o nga tikanga. Engari i tetahi atu taha, karekau he tangata e kii ana karekau ano kia mahia. Ko te MapReduce me etahi atu anga kua oti te hanga kaore e tino whakakapi i etahi keehi kaore e taea te whakamahi ma te whakamahi i tenei. Tae atu ki a MapReduce ano me te paihere o etahi atu kaupapa Apache; he pono, he tono tohatoha ano hoki. A kia ngawari ake te tuhi, i tuhia e ratou a ZooKeeper.

Ka rite ki nga tono katoa e pa ana ki te Hadoop, i whakawhanakehia e Yahoo! Inaianei he tono Apache whai mana. Kaore i te kaha te whakawhanake i te HBase. Mena ka haere koe ki te JIRA HBase, na ia ra he maha nga purongo bug, he paihere o nga tono ki te arotau i tetahi mea, ara ko te oranga o te kaupapa kei te haere tonu. A ko ZooKeeper, i tetahi taha, he hua ngawari noa, a, i tetahi atu taha, ma tenei e whakarite tona pono. A he tino ngawari ki te whakamahi, na reira kua waiho hei paerewa mo nga tono i roto i te rauwiringa kaiao Hadoop. Na i whakaaro ahau he pai ki te arotake kia mohio ai ahau ki te mahi me te whakamahi.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He pikitia tenei mai i etahi kauhau i a matou. Ka taea e tatou te kii he orthogonal ki nga mea katoa i whakaarohia e tatou i tenei wa. A ko nga mea katoa e tohuhia ana i konei, ki tetahi tohu, ki tetahi atu ranei, ka mahi tahi me ZooKeeper, ara, he ratonga e whakamahi ana i enei hua katoa. Karekau a HDFS me MapReduce e tuhi i a raatau ake ratonga rite ka mahi mo ratou. Na reira, ka whakamahia te ZooKeeper. Na tenei ka ngawari te whakawhanaketanga me etahi mea e pa ana ki nga hapa.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

No hea enei mea katoa? Te ahua nei kua whakarewahia e matou nga tono e rua i runga i nga rorohiko rereke, i honoa ki te aho, ki te mata ranei, ka mahi nga mea katoa. Engari ko te raruraru ko te Whatunga he kore pono, a, ki te hongi koe i nga waka, ki te titiro ranei koe ki nga mea e tupu ana i reira i te taumata iti, me pehea te taunekeneke a nga kaihoko i runga i te Whatunga, ka kite koe kua ngaro, kua tukuna ano ranei etahi putea. Ehara i te mea he mea hanga nga tikanga TCP, ka taea e koe te whakarite i tetahi huihuinga me te whakamana i te tuku karere. Engari ahakoa, ahakoa TCP kaore e taea e koe te whakaora i nga wa katoa. He wa mutunga nga mea katoa. Ka taka noa te whatunga mo te wa poto. Ka kimo noa pea. Na tenei katoa ka arahi ki te meka kaore e taea e koe te whakawhirinaki ki te Whatunga he pono. Koinei te rereketanga nui mai i te tuhi i nga tono whakarara e rere ana i runga i te rorohiko kotahi, i runga ranei i tetahi rorohiko nui, kaore he Whatunga, kei reira he pahi whakawhiti raraunga pono ake i roto i te mahara. A he rereketanga nui tenei.

I roto i etahi atu mea, i te wa e whakamahi ana i te Whatunga, he waahi tonu. Kei te kōpae ano, engari kei te Whatunga te nui ake. Ko te Roatanga he wa roa, he iti noa, he tino nui ranei.

Kei te huri te topology whatunga. He aha te topology - koinei te tuunga o a maatau taputapu whatunga. He pokapū raraunga, he whatanga e tu ana, he rama. Ko enei katoa ka taea te hono ano, te neke, me etahi atu. Me whai whakaaro ano enei mea katoa. Ka huri nga ingoa IP, ka huri te huarahi e haere ai a maatau waka. Me whai whakaaro ano hoki tenei.

Ka rereke pea te whatunga i runga i nga taputapu. Mai i nga mahi, ka taea e au te kii he tino pai o taatau miihini whatunga ki te whakahou i tetahi mea i runga i nga rama. Inamata kua puta mai he firmware hou a kaore ratou i tino aro ki etahi kahui Hadoop. He mahi ano ta ratou. Mo ratou, ko te mea nui ko te mahi a te Whatunga. Na reira, kei te pirangi ratou ki te tuku ake i tetahi mea ki reira, ki te uira ki o raatau taputapu, ka huri ano hoki te taputapu i ia wa. Ko enei mea katoa me whai whakaaro. Ko enei katoa ka pa ki ta maatau tono toha.

I te nuinga o te wa ka whakapono nga tangata ka timata ki te mahi me te nui o nga raraunga mo etahi take he mutunga kore te Ipurangi. Mena he maha nga terabytes kei reira, ka taea e koe te kawe ki to rorohiko, rorohiko ranei, ka whakatuwhera ma te whakamahi ngeru ka mataara. Ko tetahi atu hapa kei roto VIM titiro ki nga poro. Kaua rawa e pena i te mea he kino. Na te mea ka ngana a Vim ki te aukati i nga mea katoa, utaina nga mea katoa ki roto i te maharatanga, ina koa ka timata taatau ki te neke i roto i tenei raarangi me te rapu i tetahi mea. Ko enei mea kua warewarehia, engari me whakaaro.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He ngawari ake te tuhi i tetahi papatono e whakahaere ana i runga rorohiko kotahi me te tukatuka kotahi.

Ka tipu ana to tatou punaha, ka hiahia tatou ki te whakarara i nga mea katoa, me te whakarara i te mea ehara i te rorohiko anake, engari i runga i te tautau. Ka puta ake te patai: me pehea te whakarite i tenei take? Kare pea a maatau tono e pahekoheko tetahi ki tetahi, engari he maha nga mahi i whakahaerehia e matou i runga i nga tuunga maha. Me pehea te aro turuki kei te pai nga mea katoa mo ratou? Hei tauira, ka tukuna e ratou tetahi mea i runga i te Ipurangi. Me tuhi ratou mo to ratou ahua ki tetahi waahi, hei tauira, i roto i etahi momo putunga korero, rangitaki ranei, ka whakahiato i tenei rangitaki ka tātarihia ki tetahi waahi. I tua atu, me whai whakaaro tatou kei te mahi me te mahi te mahi, katahi ano ka puta mai he momo hapa i roto, ka pakaru ranei, katahi ka tere ka kitea e tatou?

E marama ana ka taea te tirotiro tere i enei mea katoa. He pai ano tenei, engari ko te aroturuki he mea iti e taea ai e koe te aroturuki i etahi mea i te taumata teitei.

Ina hiahia tatou kia timata a tatou tukanga ki te taunekeneke ki a raua, hei tauira, ki te tuku korero ki a raua ano, katahi ano ka puta te patai - me pehea e tupu ai? Ka puta he ahuatanga o te iwi, ka tuhirua tetahi ki tetahi, ka tae tika nga raraunga, ka ngaro tetahi mea i te huarahi? Me whakawhanake etahi momo kawa, aha atu.

Ko te whakarite i enei mahi katoa ehara i te mea iti. Na ka akiakihia te kaiwhakawhanake kia heke iho ki te taumata iti rawa atu, ka tuhi i nga punaha mai i te maatanga, kaore ranei i te maataki, engari ehara tenei i te mea ngawari.

Mena ka tae mai koe ki tetahi algorithm cryptographic, ka whakatinanahia ranei, katahi ka maka atu, na te mea kaore pea e pai ki a koe. He maha nga hapa ka wareware koe ki te whakarato. Kaua rawa e whakamahia mo tetahi mea nui na te mea ka kore e pumau. Na te mea ko nga algorithms katoa e noho ana kua whakamatauria e te waa mo te wa roa. Kei te raruhia e te hapori. He kaupapa motuhake tenei. A he pera ano i konei. Mena ka kore e taea e koe te whakatinana i etahi momo mahi tukutahi, he pai ake kia kaua e mahi i tenei, na te mea he tino uaua ka arahi koe ki te ara wiri o te rapu hapa tonu.

I tenei ra e korero ana matou mo te ZooKeeper. I tetahi taha, he anga, i tetahi atu ringa, he ratonga e ngawari ake ai te oranga mo te kaiwhakawhanake me te whakangawari i te whakatinanatanga o te arorau me te ruruku o a tatou mahi i te mea ka taea.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Kia maumahara tatou he aha te ahua o te punaha tohatoha paerewa. Koinei ta matou i korero ai - HDFS, HBase. He mahinga Kaiwhakaako e whakahaere ana i nga kaimahi me nga mahi pononga. Ko ia te kawenga mo te whakarite me te tohatoha i nga mahi, te whakaara ano i nga kaimahi, te whakarewa i nga mahi hou, me te tohatoha i nga kawenga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko tetahi mea matatau ake ko te Ratonga Whakakotahitanga, ara, nekehia te mahi ruruku ki tetahi mahi motuhake, me te whakahaere i etahi momo taapiri, te Kaiwhakaako stanby ranei i roto i te whakarara, na te mea ka ngaro pea te Kaiwhakaako. A ki te hinga te Kaiwhakaako, kare e mahi to tatou punaha. Kei te whakahaerehia e matou he taapiri. Ko etahi e kii ana me whakahoki ano te Kaiwhakaako ki te taapiri. Ka taea hoki tenei te tuku ki te Ratonga Whakariterite. Engari i roto i tenei hoahoa, ko te Kaiwhakaako ake te kawenga mo te ruruku i nga kaimahi; kei konei te ratonga e ruruku ana i nga mahi tukurua raraunga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te whiringa pai ake ko te wa e whakahaerea ana nga mahi katoa e ta maatau ratonga, pera i te nuinga o te waa. Kei a ia te kawenga mo te whakarite kia pai nga mea katoa. A, ki te kore e mahi tetahi mea, ka kitea e maatau ka ngana ki te huri i tenei ahuatanga. Ahakoa he aha, ka mahue mai he Kaiwhakaako e mahi tahi ana me nga pononga ka taea te tuku raraunga, korero, karere, aha atu ma etahi ratonga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He kaupapa tino matatau ake, ina karekau he Kaiwhakaako, he pononga rangatira nga pona katoa, he rereke o raatau whanonga. Engari me mahi tonu raua ki a raua ano, no reira kei te toe etahi ratonga hei whakarite i enei mahi. Akene, ko Cassandra, e mahi ana i runga i tenei kaupapa, e pai ana ki tenei kaupapa.

He uaua ki te kii ko wai o enei kaupapa ka pai ake. Kei ia tangata ake te pai me te kino.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

E aita e faufaa ia mǎta‘u i te tahi mau mea i pihai iho i te Fatu, no te mea, mai ta te ohipa e faaite ra, e ere oia i te mea ohie ia tavini tamau. Ko te mea nui i konei ko te whiriwhiri i te otinga tika mo te manaaki i tenei ratonga i runga i tetahi pona kaha motuhake, kia nui ai nga rauemi, na mena ka taea, kaore nga kaiwhakamahi e uru ki reira, kia kore ai e mate pohehe i tenei mahi. Engari i te wa ano, i roto i taua kaupapa he tinowari ake te whakahaere i nga kaimahi mai i te tukanga Kaiwhakaako, ara he maamaa tenei kaupapa mai i te tirohanga o te whakatinanatanga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

A ko tenei kaupapa (i runga ake) he uaua ake, engari he pono ake.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te raru nui ko nga hapa hapa. Hei tauira, ka tukuna e matou he karere i runga i te Whatunga, ka puta he aitua, a ko te tangata nana i tuku te karere kaore e mohio mena kua tae mai tana karere me te mea i pa ki te taha o te kaiwhiwhi, kaore e mohio mena i tika te tukatuka o te karere. , ara e kore ia e whiwhi i tetahi whakapumautanga.

No reira, me whakahaere tenei ahuatanga. A ko te mea ngawari ko te tuku ano i tenei karere ka tatari kia tae mai he whakautu. I tenei keehi, kaore i te whakaarohia mehemea kua rereke te ahua o te kaiwhiwhi. Ka tukuna pea e matou he karere me te taapiri i nga raraunga e rua.

Kei te tuku a ZooKeeper i nga huarahi ki te whakatutuki i enei whakahē, he maamaa ake hoki o tatou oranga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ka rite ki te korero i mua ake nei, he rite tenei ki te tuhi i nga kaupapa maha-miro, engari ko te rereketanga nui ko te mea i roto i nga tono tohatoha ka hangaia e matou i runga i nga miihini rereke, ko te huarahi anake hei whakawhitiwhiti korero ko te Whatunga. Ko te tikanga, he hoahoanga-kore-kore tenei. Ko ia tukanga, ratonga ranei e rere ana i runga i te miihini kotahi he maharatanga, he kopae, he tukatuka, kaore e tohatoha ki tetahi.

Mena ka tuhia e tatou he papatono miro-maha i runga i te rorohiko kotahi, ka taea e tatou te whakamahi i te mahara tiritahi hei whakawhiti raraunga. He huringa horopaki kei reira, ka taea e nga tukanga te huri. Ka pa tenei ki te mahi. I tetahi taha, kaore he mea pera i roto i te kaupapa i runga i te roopu, engari he raruraru kei te Whatunga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Na reira, ko nga raru nui ka puta mai i te wa e tuhi ana i nga punaha tohatoha ko te whirihoranga. Kei te tuhi matou i etahi momo tono. Mena he ngawari, katahi ka whakapakeke tatou i nga momo tau katoa i roto i te waehere, engari he uaua tenei, na te mea ki te whakatau tatou kaore he waahi mo te haurua hēkona e hiahia ana tatou ki te waahi mo te kotahi hēkona, me whakahiato ano te tono me hurihia ano nga mea katoa. He mea kotahi ina kei runga i te miihini kotahi, ka taea e koe te whakaara ano, engari ka maha a maatau miihini, me kape tonu nga mea katoa. Me ngana tatou ki te hanga i te tono kia whirihora.

I konei e korero ana matou mo te whirihoranga pateko mo nga tukanga punaha. Ehara tenei i te mea katoa, tera pea mai i te tirohanga a te punaha whakahaere, he whirihoranga pateko pea mo a maatau mahi, ara he whirihoranga tenei kaore e taea te tango me te whakahou.

He whirihoranga hihiri ano hoki. Ko nga tawhā enei e hiahia ana matou ki te whakarereke i runga i te rere kia tikina atu ki reira.

He aha te raruraru i konei? I whakahouhia e matou te whirihora, i whakatakahia, he aha? Ko te raru pea i tetahi taha i hurihia e matou te whirihora, engari i wareware ki te mea hou, i noho tonu te whirihora. Tuarua, i a matou e huri haere ana, i whakahoutia te whirihoranga i etahi waahi, engari kaore i etahi atu. A ko etahi o nga tukanga o ta matou tono e whakahaere ana i runga i te miihini kotahi i timata ano me te whirihora hou, me tetahi waahi me te mea tawhito. Ko tenei ka puta mai i to maatau tono toha ka kore e rite mai i te tirohanga whirihoranga. He mea noa tenei raruraru. Mo te whirihoranga hihiri, he mea nui ake na te mea e kii ana ka taea te whakarereke i runga i te rere.

Ko tetahi atu raruraru ko te mema roopu. Kei a matou etahi huinga kaimahi i nga wa katoa, e hiahia ana matou ki te mohio ko wai o ratou kei te ora, ko wai o ratou kua mate. Mena he Kaiwhakaako, me mohio ia ko wai nga kaimahi ka taea te tuku atu ki nga kaihoko kia whakahaerehia e ratou nga tatauranga me te mahi me nga raraunga, kaore e taea. Ko tetahi raruraru ka pupū ake i nga wa katoa ko te mohio ko wai kei te mahi i roto i ta tatou roopu.

Ko tetahi atu raruraru ko te pooti rangatira, ina hiahia ana matou ki te mohio ko wai te rangatira. Ko tetahi tauira ko te tukuruatanga, ina he tukanga e whiwhi ana i nga mahi tuhi katahi ka tukurua i roto i etahi atu tukanga. Ko ia te rangatira, ka whakarongo katoa ki a ia, ka whai ia ia. He mea tika ki te whiriwhiri i tetahi tukanga kia kore ai e marama ki te katoa, kia kore ai e puta ka kowhiria nga rangatira tokorua.

He huarahi motuhake ano hoki. Ko te raruraru i konei he uaua ake. He mea ano he mutex, ina tuhi koe i nga kaupapa miro-maha ka hiahia koe ki te uru ki etahi rauemi, hei tauira, he pūtau mahara, kia whakawhäitihia, kia mahia e te miro kotahi anake. I konei ka taea e te rauemi he mea iti ake. A ko nga tono rereke mai i nga waahanga rereke o to tatou Whatunga me uru anake ki tetahi rauemi, kaua e taea e te katoa te whakarereke, te tuhi ranei i tetahi mea ki reira. Ko enei nga mea e kiia nei he raka.

Ka taea e ZooKeeper te whakaoti i enei raru katoa ki tetahi tohu. A ka whakaatu ahau me nga tauira me pehea e taea ai e koe te mahi i tenei.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Karekau he parapara i mua. Ka tiimata ana taatau ki te whakamahi i tetahi mea, kaore tenei kaupapa e tatari mo tetahi huihuinga ka puta. Ko te mea pea, ka mahi noa tenei mea, na reira ka kore nga tukanga e iri i a ratau e tatari ana mo tetahi mea. He mea tino whai hua tenei.

Ka tukatukahia nga tono a te kiritaki i runga i te raupapa o te rarangi whanui.

A ka whai waahi nga kaihoko ki te whakamohiotanga mo nga huringa o etahi kawanatanga, mo nga huringa o nga raraunga, i mua i te kitenga o te kaihoko i nga raraunga whakarereke.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ka taea e ZooKeeper te mahi i roto i nga tikanga e rua. Ko te tuatahi he mokemoke, kei runga i tetahi pona. He waatea tenei mo te whakamatautau. Ka taea hoki te mahi i roto i te aratau tautau i runga i te maha o nga tūmau. Mena he 100 nga miihini kei a maatau, kaore e tika kia mahi i runga i nga miihini 100. He nui ki te kowhiri i etahi miihini ka taea e koe te whakahaere ZooKeeper. A e kii ana i te kaupapa o te waatea nui. I ia tauira whakahaere, ka penapenahia e ZooKeeper tetahi kape katoa o nga raraunga. Hei muri ka korero ahau ki a koe me pehea tana mahi. Kaore e pakaru nga raraunga ka wehewehe ranei. I tetahi taha, he iti te kore e taea e taatau te penapena nui, i tetahi atu taha, kaore he take ki te mahi i tenei. Ehara tena i te mea i hoahoatia, ehara i te papaunga raraunga.

Ka taea te keteroki raraunga ki te taha o te kiritaki. He maataapono paerewa tenei kia kore ai e pokanoa te ratonga me te kore e utaina ki nga tono ano. Kei te mohio te kaihoko mohio ki tenei, ka keteroki.

Hei tauira, kua rereke tetahi mea i konei. He momo tono. I pootihia he kaihautu hou, ko ia te kawenga, hei tauira, mo te tukatuka i nga mahi tuhi. A e hiahia ana matou ki te tarai i nga raraunga. Ko tetahi otinga ko te whakauru ki roto i te kohanga. A ka patai tonu matou ki ta maatau ratonga - kua rereke tetahi mea? Ko te kōwhiringa tuarua he pai ake. He mahinga mataara tenei e taea ai e koe te whakamohio ki nga kaihoko kua rereke tetahi mea. He tikanga iti ake te utu mo nga rauemi me te watea ake mo nga kaihoko.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te kaihoko te kaiwhakamahi e whakamahi ana i te ZooKeeper.

Ko te tūmau te tukanga ZooKeeper ake.

Ko Znode te mea nui i ZooKeeper. Ko nga znodes katoa ka penapenahia e ZooKeeper ki roto i te mahara, ka whakaritea i roto i te ahua o te hoahoa aroākapa, i te ahua o te rakau.

E rua nga momo mahi. Ko te tuatahi ko te whakahou/tuhi, ka huri etahi mahi i te ahua o to tatou rakau. He mea noa te rakau.

A tera pea kaore te kaihoko e whakaoti i tetahi tono ka momotuhia, engari ka taea e ia te whakatu i tetahi huihuinga e mahi tahi ai me ZooKeeper.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He rite te tauira raraunga a ZooKeeper ki te punaha konae. He pakiaka paerewa katahi ka haere matou me te mea na roto i nga raarangi ka puta mai i te pakiaka. Na ko te rarangi o te taumata tuatahi, taumata tuarua. Ko nga znodes katoa tenei.

Ka taea e ia znode te penapena i etahi raraunga, ko te tikanga kaore i te tino nui, hei tauira, 10 kiropaita. A ka taea e ia znode te maha o nga tamariki.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He maha nga momo Znodes. Ka taea te hanga. A, i te wa e hanga ana i te znode, ka tohua e matou te momo e tika ana.

E rua nga momo. Ko te tuatahi ko te haki ephemeral. Kei te noho a Znode i roto i tetahi huihuinga. Hei tauira, kua whakaritea e te kiritaki he huihuinga. A, i te wa e ora ana tenei huihuinga, ka noho tonu. He mea tika tenei kia kore ai e whakaputa i tetahi mea kore. He pai hoki tenei mo nga wa e mea nui ana ki a maatau ki te penapena i nga korero taketake i roto i te waahi.

Ko te momo tuarua he haki raupapa. Ka piki ake te porotiti i te huarahi ki te znode. Hei tauira, he whaiaronga ta matou me te tono 1_5. A, i te wa i hanga ai e matou te node tuatahi, ka whiwhi p_1, ko te tuarua - p_2. A, ki te karanga tatou i tenei tikanga ia wa, ka paahitia e tatou te huarahi katoa, e tohu ana i tetahi waahanga noa o te ara, ka piki aunoa tenei nama na te mea ka tohuhia te momo node - raupapa.

Znode auau. Ka ora tonu ia me te ingoa e kiia nei e matou ki a ia.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko tetahi atu mea whai hua ko te haki mataara. Mena ka whakauruhia e matou, ka taea e te kaihoko te ohauru ki etahi huihuinga mo tetahi waahanga motuhake. Ka whakaatu ahau ki a koe i muri mai me tetahi tauira me pehea te mahi. Ko te ZooKeeper ake te whakamohio ki te kiritaki kua huri nga raraunga i runga i te node. Heoi, kaore nga whakamohiotanga e kii kua tae mai etahi raraunga hou. Ka kii noa ratou kua rereke tetahi mea, no reira me whakataurite nga raraunga i muri mai me nga waea motuhake.

Ka rite ki taku korero, ko te raupapa o nga raraunga ka whakatauhia e nga kilobytes. Kaore he take ki te penapena i nga raraunga kuputuhi nui ki reira, na te mea ehara i te papaaarangi, he tūmau ruruku mahi.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ka korero atu ahau ki a koe mo nga huihuinga. Mēnā he maha ō mātou tūmau, ka taea e mātou te neke mārama mai i te tūmau ki te tūmau mā te whakamahi i te pūtāutu wātū. He tino watea.

Kei ia wahanga he momo waahi. Ka tautuhia he waahi ma te tuku atu e te kiritaki tetahi mea ki te tūmau i taua wātū. Mena karekau ia i tuku i tetahi mea i te wa paunga, ka taka te huihuinga, ka taea ranei e te kiritaki te kati i a ia ano.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Kaore he maha o nga ahuatanga, engari ka taea e koe te mahi rereke me tenei API. Ko taua waea i kite matou i te waihanga ka hanga he znode ka tango i nga tawhā e toru. Koinei te huarahi ki te znode, a me tino tohu mai i te putake. A koinei hoki etahi raraunga e hiahia ana matou ki te whakawhiti ki reira. Me te momo haki. A, i muri i te hanganga ka hoki mai te ara ki te znode.

Tuarua, ka taea e koe te whakakore. Ko te mahi i konei ko te taapiri tuarua, i tua atu i te huarahi ki te znode, ka taea te whakaatu i te putanga. No reira, ka mukua taua znode mena ka rite tana putanga i whakawhitia e matou ki tera e noho tonu ana.

Ki te kore matou e pirangi ki te tirotiro i tenei putanga, ka tukuna noa te tohenga "-1".

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Tuatoru, ka tirotirohia te noho o te znode. Ka whakahoki pono mena kei te noho te pona, he teka ke.

Na ka puta te mataaratanga haki, ka taea e koe te aro turuki i tenei node.

Ka taea e koe te whakanoho i tenei haki ahakoa i runga i te node kore ka whiwhi panui ina puta. Ka whai hua ano tenei.

He tokorua ano nga wero tikiRaraunga. E marama ana ka taea e tatou te whiwhi raraunga ma te znode. Ka taea hoki e koe te whakamahi i te mataara haki. I tenei keehi, kaore e whakauruhia mena kaore he node. No reira, me maarama koe kei te noho tonu, katahi ka whiwhi raraunga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Kei reira ano TautuhiRaraunga. I konei ka tukuna e matou te putanga. A, ki te tukuna tenei, ka whakahouhia nga raraunga i runga i te znode o tetahi putanga.

Ka taea hoki e koe te tohu "-1" ki te whakakore i tenei haki.

Ko tetahi atu tikanga whai hua tikiTamariki. Ka taea hoki e matou te tiki rarangi o nga znodes katoa kei a ia. Ka taea e tatou te aroturuki i tenei ma te whakarite i te mataaratanga haki.

Me te tikanga tukutahi ka tukuna nga huringa katoa i te wa kotahi, na reira ka tiakina, ka tino whakarereketia nga raraunga katoa.

Mena ka tuhia e matou he whakataurite ki nga kaupapa tikanga, na ka whakamahi koe i nga tikanga penei i te tuhi, ka tuhi i tetahi mea ki te kopae, a ka whakahoki mai he whakautu ki a koe, kaore he taurangi kua tuhia e koe nga raraunga ki te kōpae. A ahakoa ka maia te punaha whakahaere kua tuhia nga mea katoa, kei roto ano nga tikanga kei roto i te kopae kei te haere te mahi ma nga papa o nga papa, a muri iho ka tukuna nga raraunga ki runga i te kōpae.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te nuinga ka whakamahia nga waea tukutahi. Ma tenei ka taea e te kiritaki te mahi whakarara me nga tono rereke. Ka taea e koe te whakamahi i te huarahi tukutahi, engari he iti ake te hua.

Ko nga mahinga e rua i korerohia e matou ko te whakahou / tuhi, e huri ana i nga raraunga. Ko enei ko te waihanga, te tautuhiRaraunga, te tukutahi, te muku. Na kei te noho tonu te panui, tikiRaraunga, tikiTamariki.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Inaianei etahi tauira me pehea e taea ai e koe te hanga i nga kaupapa tuatahi mo te mahi i roto i te punaha tohatoha. Hei tauira, e pa ana ki te whirihoranga o tetahi mea. Kua puta mai he kaimahi hou. I tapirihia e matou te miihini ka timata te mahi. A ko nga patai e toru e whai ake nei. Me pehea te patai ki a ZooKeeper mo te whirihoranga? A, ki te hiahia tatou ki te whakarereke i te whirihoranga, me pehea e huri ai? A i muri i ta maatau whakarereke, me pehea e whiwhi ai nga kaimahi i a maatau?

He ngawari tenei mahi a ZooKeeper. Hei tauira, kei reira to tatou rakau znode. He node mo ta maatau tono i konei, ka hangaia e matou he taapiri taapiri kei roto, kei roto nga raraunga mai i te whirihoranga. He tawhā motuhake pea enei, kaore ranei. I te mea he iti te rahi, he iti ano te rahi o te whirihoranga, na reira ka taea te penapena ki konei.

Kei te whakamahi koe i te tikanga tikiRaraunga ki te tiki i te whirihoranga mo te kaimahi mai i te node. Tautuhi ki te pono. Mena he take karekau tenei node, ka whakamohiohia mai ki a maatau ka puta, ka huri ranei. Mena kei te pirangi matou ki te mohio kua rereke tetahi mea, katahi ka whakatauhia e matou ki te pono. A, ki te huri nga raraunga o tenei node, ka mohio tatou.

TautuhiRaraunga. Ka tautuhia e matou nga raraunga, ka tautuhi "-1", ara, kaore matou e tirotiro i te putanga, ka whakaaro matou he kotahi tonu te whirihoranga, kaore matou e hiahia ki te rokiroki i nga whirihoranga maha. Mena ka hiahia koe ki te rokiroki i te maha, ka hiahia koe ki te taapiri i tetahi atu taumata. I konei ka whakapono matou he kotahi anake, no reira ka whakahouhia e matou te mea hou, kia kore e tirohia te putanga. I tenei wa, ko nga kaihoko katoa kua ohauru i mua ka whiwhi whakamohiotanga kua rereke tetahi mea i tenei node. A, i muri i to ratou whiwhinga, me tono ano nga raraunga. Ko te whakamohiotanga ko te kore e whiwhi i nga raraunga ake, engari ko te whakamohiotanga o nga huringa anake. I muri i tenei me tono mo nga raraunga hou.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te kōwhiringa tuarua mo te whakamahi i te taketake ko mema roopu. Kei a matou he tono kua tohatohahia, he roopu kaimahi kei te hiahia matou ki te mohio kei te noho katoa. No reira, me rehita ratou e mahi ana ratou i roto i ta matou tono. A kei te pirangi ano matou ki te mohio, mai i te tikanga Kaiwhakaako, i tetahi atu waahi ranei, mo nga kaimahi kaha katoa kei a matou inaianei.

Me pehea tatou e mahi ai? Mo te tono, ka waihangahia he node kaimahi ka taapirihia he taumata iti ki reira ma te whakamahi i te tikanga hanga. He hapa kei runga i te kiriata. I konei ka hiahia koe raupapa tauwhāiti, katahi ka hanga takitahi nga kaimahi katoa. Na te tono, e tono ana i nga raraunga katoa mo nga tamariki o tenei node, ka whiwhi i nga kaimahi kaha katoa e noho ana.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He tino whakamataku tenei mo te pehea e taea ai tenei i roto i te waehere Java. Me timata mai i te mutunga, me te tikanga matua. Ko ta matou akomanga tenei, ma matou e hanga tona tikanga. Ko te tohenga tuatahi ka whakamahia e matou he kaihautu, kei hea matou e hono ana, ara, ka whakatauhia hei tohenga. A ko te tohenga tuarua ko te ingoa o te roopu.

Me pehea e tupu ai te hononga? He tauira ngawari tenei o te API e whakamahia ana. He ngawari nga mea katoa i konei. He karaehe ZooKeeper paerewa. Ka tukuna e matou nga kaihautu ki a ia. Ka tautuhia te waahi, hei tauira, ki te 5 hēkona. A he mema ta matou e kiia nei ko connectedSignal. Ko te tikanga, ka waihangahia e matou he roopu i runga i te huarahi tuku. Kaore matou e tuhi raraunga ki reira, ahakoa kua tuhia tetahi mea. A ko te node i konei ko te momo tohe. Ko te tikanga, he node noa tenei ka noho tonu i nga wa katoa. Koinei te waahi ka hangaia te waahi. Koinei te whakatinanatanga o te kiritaki ake. Ka tukuna e ta maatau kaihoko nga karere i ia wa e tohu ana kei te ora te huihuinga. A, ka mutu te huihuinga, ka karanga tata ka mutu, ka taka te wahanga. Inaa ka taka tetahi mea mo tatou, kia mohio ai a ZooKeeper mo taua mea, ka mutu te huihuinga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Me pehea te maukati rauemi? I konei he uaua ake nga mea katoa. He huinga kaimahi ta matou, tera ano etahi rauemi e hiahia ana matou ki te kati. Ki te mahi i tenei, ka hangahia e matou he node motuhake, hei tauira, ko te lock1 te ingoa. Mena ka taea e matou te hanga, katahi ka mau mai he raka ki konei. A, ki te kore e taea e matou te hanga, katahi ka ngana te kaimahi ki te tiki getData mai i konei, a, i te mea kua oti te hanga te node, katahi ka tuu he kaitutei ki konei me te wa ka huri te ahua o tenei node, ka mohio tatou mo tena. A ka taea e tatou te ngana ki te whai wa ki te hanga ano. Mena ka mau tatou i tenei node, ka mau i tenei raka, ka mutu ka kore e hiahiatia te raka, ka whakarerea e tatou, i te mea kei roto noa i te wahanga te node. Na reira, ka ngaro. A ko tetahi atu kaihoko, i roto i te anga o tetahi atu huihuinga, ka kaha ki te tango i te raka ki runga i tenei pona, engari, ka whiwhi ia i te panui kua rereke tetahi mea ka taea e ia te ngana ki te mahi i te waa.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko tetahi atu tauira me pehea e taea ai e koe te whiriwhiri i te kaiarahi matua. He iti ake te uaua, engari he ngawari ano hoki. He aha kei konei? He node matua hei whakahiato i nga kaimahi katoa. E ngana ana matou ki te tiki raraunga mo te rangatira. Mena i tutuki pai tenei, ara, kua riro mai etahi raraunga, katahi ka timata ta matou kaimahi ki te whai i tenei kaiarahi. E whakapono ana ia he rangatira kee.

Mena i mate te rangatira mo etahi take, hei tauira, ka hinga, katahi ka ngana ki te hanga rangatira hou. A, ki te angitu tatou, ka noho to tatou kaimahi hei rangatira. A, ki te mea ka taea e tetahi i tenei wa te hanga rangatira hou, katahi ka ngana ki te mohio ko wai ia ka whai ia ia.

I konei ka ara ake te mea e kiia nei ko te herd effect, ara ko te herd effect, no te mea ka mate te rangatira, ko te tangata tuatahi i te wa ka tu hei rangatira.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

I te wa e hopu ana koe i tetahi rauemi, ka taea e koe te ngana ki te whakamahi i tetahi huarahi rereke, e whai ake nei. Hei tauira, e hiahia ana matou ki te tiki raka, engari kaore he painga o te hert. Kei roto i te meka e tono ana ta maatau tono i nga rarangi o nga id node katoa mo tetahi node kua mau tonu me te raka. A, ki te mea i mua i tera ko te node i hanga ai he raka ko te mea iti rawa o te huinga i riro mai i a matou, ko te tikanga tenei kua mau i a matou te raka. Ka tirohia e matou kua riro mai he raka. Hei haki, ka puta he tikanga ko te id i riro mai i a matou i te wa e hanga ana he raka hou he iti. A, ki te riro mai i a matou, ka mahi ano matou.

Mena he id he iti ake i to tatou raka, katahi ka tuu he kaitutei mo tenei huihuinga ka tatari mo te panui kia huri ra ano tetahi mea. Arā, kua riro mai i a mātou tēnei raka. A, kia taka ra ano, kare tatou e riro i te iti rawa o te id me te kore e whiwhi i te raka iti, na reira ka taea e tatou te takiuru. A, ki te kore e tutuki tenei ahuatanga, katahi ka haere tonu tatou ki konei ka ngana ki te tiki ano i tenei raka, na te mea kua rerekee tetahi mea i tenei wa.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

He aha te ZooKeeper? E 4 nga mea matua. He tukanga tukatuka tenei - Tono. Na ZooKeeper Atomic Broadcast. He Rangitaki Whakaaetanga ka tuhia nga mahi katoa. A ko te In-Memory Replicated DB ake, ara ko te papaunga raraunga ake kei te rongoa tenei rakau katoa.

Me mahara ko nga mahi tuhi katoa ka haere ma te Tukatuka Tono. Na ka haere tika nga mahi panui ki te paataka mahara-roto.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te pātengi raraunga ake kua tino tāruatia. Ko nga waahi katoa o ZooKeeper ka penapena he kape katoa o nga raraunga.

Hei whakaora i te pātengi raraunga i muri i te tukinga, kei reira he rangitaki Commit. Ko te tikanga o mua ko te mea i mua i te urunga o nga raraunga ki roto i te maharatanga, ka tuhia ki reira mena ka pakaru, ka taea te purei ano i tenei poro ka taea te whakahoki ano i te ahuatanga o te punaha. Ka whakamahia hoki nga whakaahua o ia wa o te putunga raraunga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Ko te ZooKeeper Atomic Broadcast tetahi mea e whakamahia ana hei pupuri i nga raraunga taapiri.

Ka kowhiri a roto a ZAB he kaihautu mai i te tirohanga o te node ZooKeeper. Ko etahi atu pona ka whai i a ia me te tumanako ki etahi mahi mai i a ia. Mena ka whiwhi ratou i nga whakaurunga, ka tukuna katoatia ki te rangatira. I te tuatahi ka mahia e ia he mahi tuhi katahi ka tuku karere mo nga mea kua huri ki ana akonga. Ko tenei, me mahi ngota, ara ko te mahi hopu me te mahi whakapaoho o te mea katoa me mahi ngota, na reira ka taurangi te rite o nga raraunga.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop" Ka tukatuka noa i nga tono tuhi. Ko tana mahi nui ko te huri i te mahi ki te whakahou i nga mahi. He tono hanga motuhake tenei.

Na konei he mea tika kia mohio ko te koretake o nga whakahoutanga mo te mahi kotahi ka whakamanahia. He aha tena? Ko tenei mea, ki te mahia e rua, ka rite tonu te ahua, ara, ko te tono ano e kore e huri. A me mahi tenei kia puta he tukinga, ka taea e koe te whakaara ano i te mahi, ma reira ka huri whakamuri i nga huringa kua hinga i tenei wa. I tenei keehi, ka rite tonu te ahua o te punaha, ara, kaua e waiho he raupapa o taua mea, hei tauira, nga tukanga whakahou, i arahina ki nga ahuatanga whakamutunga o te punaha.

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

"Hadoop. ZooKeeper" mai i te raupapa Mail.Ru Group Technostream "Nga tikanga mo te tukatuka tohatoha o te nui o nga raraunga i Hadoop"

Source: will.com

Tāpiri i te kōrero