Ke fana ka tlhahiso ea hore u bale sengoloa sa puo "Hadoop. ZooKeeper" ho tsoa letotong la "Mekhoa ea ho ajoa ts'ebetso ea palo e kholo ea data ho Hadoop"
ZooKeeper ke eng, sebaka sa eona tikolohong ea Hadoop. Maaka mabapi le computing e ajoang. Setšoantšo sa tsamaiso e tloaelehileng e ajoang. Bothata ba ho hokahanya litsamaiso tse ajoang. Mathata a tloaelehileng a ho hokahanya. Melao-motheo ea moralo oa ZooKeeper. Mofuta oa data oa ZooKeeper. lifolakha tsa znode. Likopano. Client API. Li-primitives (tlhophiso, litho tsa sehlopha, linotlolo tse bonolo, likhetho tsa baetapele, ho notlela ntle le phello ea mohlape). Mehaho ea ZooKeeper. ZooKeeper DB. ZAB. Kopa mokhanni.
Kajeno re tla bua ka ZooKeeper. Ntho ena e molemo haholo. E, joalo ka sehlahisoa sefe kapa sefe sa Apache Hadoop, e na le logo. E tšoantšetsa monna.
Pele ho sena, re buile haholo ka hore na data e ka sebetsoa joang moo, mokhoa oa ho e boloka, ke hore, mokhoa oa ho e sebelisa ka tsela e itseng le ho sebetsa le eona ka tsela e itseng. Mme kajeno ke rata ho bua hanyane ka ho aha likopo tse ajoang. 'Me ZooKeeper ke e' ngoe ea lintho tse u lumellang ho nolofatsa taba ena. Ena ke mofuta oa ts'ebeletso e reretsoeng mofuta o itseng oa khokahanyo ea tšebelisano ea lits'ebetso lits'ebetsong tse ajoang, lits'ebetsong tse ajoang.
Tlhokahalo ea likopo tse joalo e ntse e eketseha letsatsi le letsatsi, ke seo thupelo ea rona e leng sona. Ka lehlakoreng le leng, MapReduce le moralo ona o itokiselitseng o u lumella ho hlakisa bothata bona le ho lokolla sebatli ho tsoa ho lingoloa tsa mantlha tse kang tšebelisano le khokahano ea lits'ebetso. Empa ka lehlakoreng le leng, ha ho motho ea tiisang hore sena se ke ke sa tlameha ho etsoa leha ho le joalo. MapReduce kapa meralo e meng e seng e entsoe ha se kamehla e nkang sebaka sa linyeoe tse ke keng tsa kengoa ts'ebetsong ka sena. Ho kenyeletsoa MapReduce ka boeona le letšoele la merero e meng ea Apache; ha e le hantle, le tsona li ajoa likopo. Mme ho nolofatsa ho ngola, ba ngotse ZooKeeper.
Joalo ka lits'ebetso tsohle tse amanang le Hadoop, e entsoe ke Yahoo! Hona joale hape ke kopo ea molao ea Apache. Ha e ea ntlafatsoa ka mafolofolo joalo ka HBase. Haeba u ea JIRA HBase, joale letsatsi le leng le le leng ho na le litlaleho tse ngata tsa likokoana-hloko, letšoele la litlhahiso tsa ho ntlafatsa ntho e itseng, ke hore, bophelo morerong bo ntse bo tsoela pele. 'Me ZooKeeper, ka lehlakoreng le leng, ke sehlahisoa se batlang se le bonolo, 'me ka lehlakoreng le leng, sena se tiisa ho tšepahala ha sona. 'Me e bonolo haholo ho e sebelisa, ke ka hona e fetohileng maemo a tloaelehileng lits'ebetsong kahare ho Hadoop ecosystem. Kahoo ke ile ka nahana hore ho tla ba molemo ho e hlahloba ho utloisisa hore na e sebetsa joang le hore na e sebelisoa joang.
Sena ke setšoantšo se tsoang puong e 'ngoe eo re bileng le eona. Re ka re ke orthogonal ho tsohle tseo re li hlahlobileng ho fihlela joale. 'Me ntho e' ngoe le e 'ngoe e bontšitsoeng mona, ho isa tekanyong e itseng, e sebetsa le ZooKeeper, ke hore, ke tšebeletso e sebelisang lihlahisoa tsena kaofela. HDFS kapa MapReduce ha ba ngole litšebeletso tsa bona tse tšoanang tse tla ba sebeletsa ka ho khetheha. Ka hona, ZooKeeper e sebelisoa. 'Me sena se nolofatsa nts'etsopele le lintho tse ling tse amanang le liphoso.
Tsena tsohle li tsoa hokae? Ho ka bonahala eka re tsebisitse lits'ebetso tse peli ka ho ts'oana likhomphutha tse fapaneng, ra li kopanya ka khoele kapa ka letlooeng, 'me tsohle lia sebetsa. Empa bothata ke hore Network ha e tšepahale, 'me haeba u ne u fofonela sephethephethe kapa u sheba se etsahalang moo ka boemo bo tlaase, hore na bareki ba sebelisana joang ho Network, hangata u ka bona hore lipakete tse ling li lahlehile kapa li romelloa hape. Ha se lefeela hore liprothokholo tsa TCP li qapiloe, tse u lumellang hore u thehe seboka se itseng le ho netefatsa ho tsamaisoa ha melaetsa. Empa ho sa tsotellehe boemo leha e le bofe, esita le TCP e ke ke ea u pholosa kamehla. Ntho e 'ngoe le e 'ngoe e na le nako. Marang-rang a ka 'na a oa ka nakoana. E ka panya feela. 'Me sena sohle se lebisa tabeng ea hore u ke ke ua itšetleha ka Network ho tšepahala. Ena ke phapang e ka sehloohong ho tloha ho ngola likopo tse tšoanang tse sebetsang khomphuteng e le 'ngoe kapa k'homphieutheng e le' ngoe, moo ho se nang Network, moo ho nang le bese e ka tšeptjoang ea phapanyetsano ea data mohopolong. 'Me sena ke phapang ea mantlha.
Har'a lintho tse ling, ha u sebelisa Network, kamehla ho na le latency e itseng. Disk le eona e na le eona, empa Network e na le tse ling tsa eona. Latency ke nako ea ho lieha, e ka bang nyane kapa ea bohlokoa haholo.
Topology ea marang-rang e ntse e fetoha. Topology ke eng - sena ke ho behoa ha lisebelisoa tsa rona tsa marang-rang. Ho na le litsi tsa data, ho na le li-racks tse emeng moo, ho na le likerese. Sena sohle se ka kopanngoa, sa sisinyeha, joalo-joalo. Sena sohle le sona se hloka ho tsotelloa. Mabitso a IP a fetoha, tsela eo sephethephethe sa rona se tsamaeang ka eona ea fetoha. Sena le sona se hloka ho eloa hloko.
Marang-rang a ka boela a fetoha ho latela lisebelisoa. Ho tloha ts'ebetsong, nka bolela hore baenjiniere ba rona ba marang-rang ba hlile ba rata ho ntlafatsa nako le nako ntho e itseng ka likerese. Ka tšohanyetso ho ile ha hlaha firmware e ncha 'me ba ne ba sa thahaselle ka ho khetheha lihlopha tse ling tsa Hadoop. Ba na le mosebetsi oa bona. Bakeng sa bona, ntho e ka sehloohong ke hore Network e sebetsa. Ka hona, ba batla ho kenya ntho e 'ngoe hape moo, ba bonese ho hardware ea bona,' me hardware le eona e fetoha nako le nako. Tsena tsohle ka tsela e itseng li hloka ho eloa hloko. Sena sohle se ama kopo ea rona e ajoang.
Hangata batho ba qalang ho sebetsa ka lintlha tse ngata ka lebaka le itseng ba lumela hore Inthanete ha e na moeli. Haeba ho na le faele ea li-terabyte tse 'maloa moo, u ka e isa ho seva kapa komporong ea hau ebe u e bula u sebelisa katse le ho shebella. Phoso e 'ngoe e kene ke ile ka sheba lifate. Le ka mohla u se ke ua etsa sena hobane se mpe. Hobane Vim e leka ho thibela ntho e 'ngoe le e' ngoe, kenya ntho e 'ngoe le e' ngoe mohopolong, haholo-holo ha re qala ho tsamaea ka har'a logi ena re batla ho hong. Tsena ke lintho tse lebetsoeng, empa tse lokelang ho nahanoa.
Ho bonolo ho ngola lenaneo le le leng le sebetsang khomphuteng e le 'ngoe ka processor e le' ngoe.
Ha tsamaiso ea rona e ntse e hōla, re batla ho e bapisa kaofela, le ho e bapisa eseng feela khomphuteng, empa hape le ka sehlopha. Ho hlaha potso: mokhoa oa ho hokahanya taba ee? Likopo tsa rona li kanna tsa se ke tsa sebelisana, empa re tsamaile lits'ebetso tse 'maloa ka ho ts'oana ho li-server tse' maloa. Le mokhoa oa ho beha leihlo hore tsohle li ba tsamaela hantle? Ka mohlala, ba romela ntho e itseng ka Inthanete. Ba tlameha ho ngola ka boemo ba bona kae-kae, mohlala, mofuteng o mong oa database kapa log, ebe ba kopanya lethathamo lena ebe ba le hlahloba kae-kae. Ho feta moo, re lokela ho ela hloko hore ts'ebetso e ne e sebetsa ebile e sebetsa, ka tšohanyetso phoso e 'ngoe e ile ea hlaha ho eona kapa e ile ea senyeha, joale re tla fumana kapele hakae ka eona?
Ho hlakile hore sena sohle se ka shejoa kapele. Sena se boetse se molemo, empa ho beha leihlo ke ntho e lekanyelitsoeng e u lumellang ho beha lintho tse ling leihlo maemong a holimo.
Ha re batla hore lits'ebetso tsa rona li qale ho sebelisana, mohlala, ho romellana lintlha tse ling, joale potso e boetse e hlaha - see se tla etsahala joang? Na ho tla ba le mofuta o mong oa maemo a morabe, na ba tla ngolana, na data e tla fihla ka nepo, na ho tla lahleha letho tseleng? Re hloka ho theha mofuta o itseng oa protocol, joalo-joalo.
Ho hokahanya lits'ebetso tsena kaofela ha se ntho e sa reng letho. 'Me e qobella moqapi ho theohela boemong bo tlase le ho feta,' me a ngole litsamaiso ho tloha qalong, kapa eseng ho tloha qalong, empa sena ha se bonolo.
Haeba u tla le algorithm ea cryptographic kapa esita le ho e sebelisa, joale u e lahlele hang-hang, hobane mohlomong e ke ke ea u sebeletsa. E ka 'na ea e-ba le liphoso tse ngata tseo u lebetse ho fana ka tsona. Le ka mohla u se ke ua e sebelisa bakeng sa ntho leha e le efe e tebileng hobane e tla ba e sa tsitsang. Hobane li-algorithms tsohle tse teng li 'nile tsa lekoa ke nako ka nako e telele haholo. E hlekefetsoa ke sechaba. Ena ke sehlooho se arohaneng. Mme ho a tshwana le mona. Haeba ho khonahala hore u se ke ua kenya tšebetsong mofuta o itseng oa khokahano ea ts'ebetso, joale ho molemo hore u se ke oa etsa sena, hobane e rarahane haholo mme e u isa tseleng e sisinyehang ea ho batla liphoso khafetsa.
Kajeno re bua ka ZooKeeper. Ka lehlakoreng le leng, ke moralo, ka lehlakoreng le leng, ke ts'ebeletso e nolofaletsang moqapi le ho nolofatsa ts'ebetsong ea logic le khokahanyo ea lits'ebetso tsa rona ka hohle kamoo ho ka khonehang.
Ha re hopoleng hore na sistimi e tloaelehileng e ajoang e ka shebahala joang. Sena ke seo re buileng ka sona - HDFS, HBase. Ho na le Master process e laolang basebetsi le lits'ebetso tsa makhoba. O na le boikarabelo ba ho hokahanya le ho aba mesebetsi, ho qala basebetsi bocha, ho qala e mecha le ho aba meroalo.
Ntho e tsoetseng pele haholo ke Ts'ebeletso ea Khokahano, ke hore, ho tsamaisa mosebetsi oa khokahano ka boyona ts'ebetsong e arohaneng, 'me u tsamaise mofuta o itseng oa backup kapa stanby Master ka ho ts'oana, hobane Monghali a ka hloleha. 'Me haeba Monghali a ka oa, joale tsamaiso ea rona e ke ke ea sebetsa. Re ntse re tsamaisa bekapo. Ba bang ba re Master o hloka ho phetoa ho boloka. Sena se ka boela sa tšepeloa ho Tšebeletso ea Khokahano. Empa setšoantšong sena, Monghali ka boeena o na le boikarabelo ba ho hokahanya basebetsi; mona tšebeletso e hokahanya mesebetsi ea ho pheta-pheta data.
Khetho e tsoetseng pele haholo ke ha likhokahanyo tsohle li sebetsoa ke ts'ebeletso ea rona, joalo ka ha ho etsoa hangata. O nka boikarabelo ba ho netefatsa hore tsohle lia sebetsa. 'Me haeba ho hong ho sa sebetse, re fumana ka eona ebe re leka ho potoloha boemo bona. Leha ho le joalo, re sala le Monghali eo ka tsela e itseng a sebelisanang le makhoba 'me a ka romela lintlha, boitsebiso, melaetsa, joalo-joalo ka tšebeletso e itseng.
Ho na le morero o tsoetseng pele le ho feta, ha re se na Monghali, li-node tsohle ke makhoba a hloahloa, a fapaneng ka boitšoaro ba bona. Empa ba ntse ba hloka ho sebelisana, kahoo ho ntse ho e-na le tšebeletso e setseng ho hokahanya liketso tsena. Mohlomong, Cassandra, ea sebetsang ka molao-motheo ona, o lumellana le morero ona.
Ho thata ho bolela hore na ke efe ea merero ena e sebetsang betere. E 'ngoe le e 'ngoe e na le melemo le likotsi tsa eona.
'Me ha ho hlokahale hore u tšabe lintho tse ling le Monghali, hobane, joalokaha tloaelo e bontša, ha a khone ho sebeletsa kamehla. Ntho e ka sehloohong mona ke ho khetha tharollo e nepahetseng bakeng sa ho amohela tšebeletso ena sebakeng se arohaneng se matla, e le hore se be le lisebelisoa tse lekaneng, e le hore haeba ho khoneha, basebelisi ha ba na monyetla oa ho fumana moo, e le hore ba se ke ba bolaea mokhoa ona ka phoso. Empa ka nako e ts'oanang, morerong o joalo ho bonolo haholo ho laola basebetsi ho tloha ts'ebetsong ea Monghali, ke hore morero ona o bonolo ho tloha ponong ea ts'ebetsong.
'Me morero ona (ka holimo) mohlomong o rarahane, empa o ka tšeptjoa haholoanyane.
Bothata bo boholo ke ho hlōleha ha karolo e itseng. Ka mohlala, ha re romela molaetsa ka marang-rang, ho hlaha kotsi ea mofuta o itseng, 'me ea rometseng molaetsa a ke ke a tseba hore na molaetsa oa hae o amohetsoe le hore na ho etsahetse'ng ka lehlakoreng la moamoheli, a ke ke a tseba hore na molaetsa o sebetsitsoe ka nepo. , ke hore a ke ke a fumana netefatso leha e le efe.
Ka hona, re tlameha ho sebetsana le boemo bona. 'Me ntho e bonolo ka ho fetisisa ke ho romela molaetsa ona hape le ho ema ho fihlela re fumana karabo. Tabeng ena, ha e nahane hore na boemo ba moamoheli bo fetohile. Re ka romella molaetsa mme ra eketsa data e tšoanang habeli.
ZooKeeper e fana ka litsela tsa ho sebetsana le ho hana ho joalo, e leng ho nolofatsang bophelo ba rona.
Joalokaha ho boletsoe pejana, sena se tšoana le ho ngola mananeo a mefuta e mengata, empa phapang e kholo ke hore lits'ebetsong tse ajoang tseo re li hahang ka mechine e fapaneng, tsela feela ea ho buisana ke Network. Ha e le hantle, ona ke moralo o arolelanoeng o se nang letho. Ts'ebetso kapa ts'ebeletso e ngoe le e ngoe e sebetsang mochining o le mong e na le mohopolo oa eona, disk ea eona, processor ea eona, eo e sa e arolelaneng le mang kapa mang.
Haeba re ngola lenaneo le nang le likhoele tse ngata khomphuteng e le 'ngoe, joale re ka sebelisa mohopolo o arolelanoang ho fapanyetsana data. Re na le phetoho ea maemo moo, lits'ebetso li ka fetoha. Sena se ama tshebetso. Ka lehlakoreng le leng, ha ho na ntho e joalo lenaneong la sehlopha, empa ho na le mathata le Network.
Ka hona, mathata a mantlha a hlahang ha ho ngoloa litsamaiso tse ajoang ke tlhophiso. Re ngola mofuta o itseng oa kopo. Haeba e le bonolo, joale re hardcode mefuta eohle ea linomoro ka khoutu, empa sena ha se bonolo, hobane haeba re etsa qeto ea hore ho e-na le nako ea ho qeta halofo ea motsotsoana re batla nako ea nako ea motsotsoana o le mong, joale re hloka ho tsosolosa kopo le ntsha tsohle hape. Ke ntho e le 'ngoe ha e le mochining o le mong, ha u ka e qala bocha, empa ha re e-na le mechini e mengata, re tlameha ho lula re kopitsa ntho e ngoe le e ngoe. Re tlameha ho leka ho etsa hore sesebelisoa se hlophisehe.
Mona re bua ka static configuration bakeng sa mekhoa ea tsamaiso. Sena ha se ka botlalo, mohlomong ho latela pono ea sistimi ea ts'ebetso, e kanna ea ba tlhophiso e tsitsitseng bakeng sa lits'ebetso tsa rona, ke hore, sena ke tlhophiso e ke keng ea nkuoa le ho ntlafatsoa feela.
Ho boetse ho na le tlhophiso e matla. Ke li- parameter tseo re batlang ho li fetola ka ntsintsi hore li tle li nkeloe mono.
Bothata ke bofe moo? Re ntlafalitse config, re e ntšitse, joale ho thoe'ng? Bothata e kanna ea ba hore ka lehlakoreng le leng re kentse config, empa re lebetse ka ntho e ncha, config e ile ea sala moo. Taba ea bobeli, ha re ntse re tsoela pele, tlhophiso e ile ea ntlafatsoa libakeng tse ling, empa eseng ho tse ling. Mme lits'ebetso tse ling tsa ts'ebeliso ea rona tse sebetsang mochining o le mong li ile tsa qalisoa bocha ka tlhophiso e ncha, mme kae-kae ka ea khale. Sena se ka etsa hore sesebelisoa sa rona se phatlalalitsoeng se se ke sa lumellana ho latela maemo a tlhophiso. Bothata bona bo tloaelehile. Bakeng sa tlhophiso e matla, e bohlokoa haholo hobane e fana ka maikutlo a hore e ka fetoloa hang-hang.
Bothata bo bong ke litho tsa sehlopha. Kamehla re na le sehlopha sa basebetsi, re batla ho tseba hore na ke ofe ho bona ea phelang, hore na ke ofe ho bona ea shoeleng. Haeba ho na le Monghali, joale o tlameha ho utloisisa hore na ke basebetsi bafe ba ka fetisetsoang ho bareki e le hore ba etse lipalo kapa ba sebetse ka data, le ba sa khoneng. Bothata bo lulang bo hlaha ke hore re hloka ho tseba hore na ke mang ea sebetsang sehlopheng sa rona.
Bothata bo bong bo tloaelehileng ke likhetho tsa baetapele, ha re batla ho tseba hore na ke mang ea ikarabellang. Mohlala o mong ke ho pheta-pheta, ha re e-na le mokhoa o mong o amohelang ts'ebetso ea ho ngola ebe o e pheta-pheta har'a mekhoa e meng. E tla ba moetapele, bohle ba tla mo mamela, ba mo latele. Hoa hlokahala ho khetha ts'ebetso e le hore e se ke ea hlaka ho bohle, e le hore ho se ke ha e-ba le baeta-pele ba babeli ba khethiloeng.
Ho boetse ho na le phihlello e ikhethileng. Bothata mona bo rarahane ho feta. Ho na le ntho e kang mutex, ha u ngola mananeo a mefuta e mengata 'me u batla ho fumana mohloli o itseng, mohlala, sele ea memori, e lokelang ho lekanyetsoa le ho etsoa ka khoele e le' ngoe feela. Mona mohloli e ka ba ntho e 'ngoe e sa utloahaleng. 'Me lits'ebetso tse fapaneng tse tsoang ho li-node tse fapaneng tsa Marang-rang a rona li lokela ho fumana feela phihlello e ikhethileng ho sesebelisoa se fanoeng, eseng hore motho e mong le e mong a ka e fetola kapa a ngola ho hong moo. Tsena ke tseo ho thoeng ke liloko.
ZooKeeper e u lumella ho rarolla mathata ana kaofela ho isa tekanyong e le 'ngoe. 'Me ke tla bontša ka mehlala kamoo e lumella u ho etsa sena.
Ha ho na li-primitives tse thibelang. Ha re qala ho sebelisa ntho e itseng, sena sa khale se ke ke sa emela hore ketsahalo efe kapa efe e etsahale. Ho ka etsahala hore ebe ntho ena e tla sebetsa ka mokhoa o ts'oanang, ka hona e lumella lits'ebetso hore li se ke tsa fanyeha ha li ntse li emetse ho hong. Ena ke ntho e molemo haholo.
Likopo tsohle tsa bareki li sebetsanoa ka tatellano ea mokoloko o akaretsang.
Mme bareki ba na le monyetla oa ho fumana tsebiso mabapi le liphetoho naheng e 'ngoe, mabapi le liphetoho tsa data, pele moreki a bona data e fetotsoeng ka bobona.
ZooKeeper e ka sebetsa ka mekhoa e 'meli. Ea pele ke e ikemetseng, sebakeng se le seng. Sena se loketse bakeng sa tlhahlobo. E ka boela ea sebetsa ka mokhoa oa lihlopha ho palo efe kapa efe ea li-server. Haeba re na le sehlopha sa mechine e 100, ha ho hlokahale hore e sebetse ka mechine e 100. Ho lekane ho khetha mechini e 'maloa moo o ka tsamaisang ZooKeeper. 'Me e bolela molao-motheo oa ho fumaneha ho phahameng. Ketsahalong e 'ngoe le e' ngoe e sebetsang, ZooKeeper e boloka kopi eohle ea data. Hamorao ke tla u bolella hore na o e etsa joang. Ha e arole data kapa hona ho e arola. Ka lehlakoreng le leng, ke minus eo re ke keng ra e boloka e ngata, ka lehlakoreng le leng, ha ho hlokahale ho etsa sena. Ha se seo e etselitsoeng sona, ha se database.
Lintlha li ka bolokoa ka lehlakoreng la bareki. Ona ke molao-motheo o tloaelehileng e le hore re se ke ra sitisa tšebeletso mme re se ke ra e kenya ka likopo tse tšoanang. Hangata moreki ea bohlale o tseba ka sena mme oa se boloka.
Ka mohlala, ho na le ntho e fetohileng ka rōna. Ho na le mofuta o itseng oa kopo. Ho ile ha khethoa moetapele e mocha, ea ikarabellang, ka mohlala, bakeng sa ts'ebetso ea ho ngola. 'Me re batla ho pheta-pheta data. Tharollo e 'ngoe ke ho e kenya ka har'a lupu. 'Me re lula re belaella tšebeletso ea rona - na ho na le letho le fetohileng? Khetho ea bobeli e nepahetse haholoanyane. Ena ke mochine oa ho shebella o u lumellang ho tsebisa bareki hore ho na le ntho e fetohileng. Ena ke mokhoa o theko e tlase haholo mabapi le lisebelisoa mme o loketse bareki.
Client ke mosebelisi ea sebelisang ZooKeeper.
Seva ke ts'ebetso ea ZooKeeper ka boeona.
Znode ke ntho ea bohlokoa ho ZooKeeper. Li-znode tsohle li bolokiloe mohopolong ke ZooKeeper 'me li hlophisitsoe ka mokhoa oa setšoantšo sa maemo a phahameng, ka sebōpeho sa sefate.
Ho na le mefuta e 'meli ea ts'ebetso. Ea pele ke ho ntlafatsa / ho ngola, ha ts'ebetso e 'ngoe e fetola boemo ba sefate sa rona. Sefate se tloaelehile.
Mme ho ka etsahala hore moreki ha a phethe kopo e le 'ngoe mme o khaotsoe, empa a ka theha lenaneo leo ka lona a sebelisanang le ZooKeeper.
Moetso oa data oa ZooKeeper o tšoana le sistimi ea faele. Ho na le motso o tloaelehileng 'me joale re ile ra tsamaea joalokaha eka ke ka li-directory tse tsoang motsong. 'Me joale lethathamo la lethathamo la boemo ba pele, boemo ba bobeli. Tsena tsohle ke li-znode.
Znode e 'ngoe le e' ngoe e ka boloka lintlha tse ling, hangata ha li kholo haholo, mohlala, 10 kilobytes. 'Me znode e' ngoe le e 'ngoe e ka ba le palo e itseng ea bana.
Li-Znode li tla ka mefuta e mengata. Li ka bōptjoa. 'Me ha re theha znode, re totobatsa mofuta oo e lokelang ho ba oa oona.
Ho na le mefuta e 'meli. Ea pele ke folakha ea ephemeral. Znode o phela ka nako e itseng. Ka mohlala, moreki o thehile seboka. 'Me ha feela seboka sena se ntse se phela, se tla ba teng. Sena sea hlokahala e le hore se se ke sa hlahisa ntho e sa hlokahaleng. Sena se boetse se loketse linako tseo ho leng bohlokoa hore re boloke li-primitives tsa data ka nako e itseng.
Mofuta oa bobeli ke sequential flag. E eketsa khaontara tseleng e eang znode. Ka mohlala, re ne re e-na le bukana e nang le kopo 1_5. Mme ha re theha node ea pele, e amohetse p_1, ea bobeli - p_2. 'Me ha re bitsa mokhoa ona nako le nako, re feta tsela e feletseng, e bontšang karolo feela ea tsela,' me palo ena e ntse e eketseha hobane re bontša mofuta oa node - sequential.
Znode e tloaelehileng. O tla dula a phela mme a na le lebitso leo re mo bolellang lona.
Ntho e 'ngoe ea bohlokoa ke folakha ea ho shebella. Haeba re e kenya, joale mofani a ka ngolisa liketsahalong tse ling bakeng sa node e itseng. Ke tla u bontša hamorao ka mohlala hore na sena se etsoa joang. ZooKeeper ka boeona e tsebisa moreki hore data e ho node e fetohile. Leha ho le joalo, litsebiso ha li tiise hore lintlha tse ling tse ncha li fihlile. Ba mpa ba re ho na le ho hong ho fetohileng, kahoo o ntse o tlameha ho bapisa data hamorao le mehala e arohaneng.
'Me joalokaha ke se ke boletse, taelo ea data e khethoa ke kilobytes. Ha ho na tlhoko ea ho boloka data e kholo ea mongolo moo, hobane ha se database, ke seva sa khokahano ea liketso.
Ke tla u bolella hanyane ka liboka. Haeba re na le li-server tse ngata, joale re ka tloha ka mokhoa o hlakileng ho tloha ho seva ho ea ho seva re sebelisa sekhetho sa nako. Ho loketse haholo.
Seboka se seng le se seng se na le mofuta o itseng oa nako. Seboka se hlalosoa ke hore na moreki o romella eng kapa eng ho seva nakong eo. Haeba a sa fetisetsa letho nakong ea nako, lenaneo lea oa, kapa moreki a ka ikoalla ka boeena.
Ha e na likarolo tse ngata hakaalo, empa u ka etsa lintho tse fapaneng ka API ena. Mohala oo re o boneng o theha znode mme o nka liparamente tse tharo. Ena ke tsela e eang ho znode, 'me e tlameha ho hlalosoa ka botlalo ho tloha motsong. Hape sena ke lintlha tse ling tseo re batlang ho li fetisetsa moo. Le mofuta oa folakha. 'Me ka mor'a pōpo e khutlisetsa tsela ea znode.
Ea bobeli, u ka e hlakola. Leqheka mona ke hore parameter ea bobeli, ho phaella tseleng e eang ho znode, e ka hlalosa phetolelo. Ka hona, znode eo e tla hlakoloa haeba mofuta oa eona oo re o fetisitseng o lekana le o teng.
Haeba re sa batle ho hlahloba mofuta ona, re mpa re fetisa "-1" khang.
Ea boraro, e hlahloba boteng ba znode. E khutlisa 'nete haeba node e le teng, ha ho joalo.
Ebe ho hlaha oache ea folakha, e u lumellang hore u shebe node ena.
U ka beha folakha ena esita le sebakeng se seng teng 'me u fumane tsebiso ha e hlaha. Sena se ka boela sa thusa.
Liphephetso tse ling tse 'maloa ke getData. Ho hlakile hore re ka fumana data ka znode. U ka boela ua sebelisa oache ea folakha. Tabeng ena, e ke ke ea kenya haeba ho se na node. Ka hona, o hloka ho utloisisa hore e teng, ebe o amohela data.
Ho boetse ho na le SetData. Mona re fetisa mofuta. 'Me haeba re fetisa sena, data e ho znode ea mofuta o itseng e tla ntlafatsoa.
U ka boela ua hlakisa "-1" ho se kenyelletse cheke ena.
Mokhoa o mong oa bohlokoa ke fumana Bana. Hape re ka fumana lethathamo la li-znode tsohle tseo e leng tsa eona. Re ka hlokomela sena ka ho seta oache ea folakha.
Le mokhoa lumellana e lumella liphetoho tsohle ho romelloa hang-hang, ka hona ho netefatsa hore li bolokiloe mme data eohle e fetotsoe ka botlalo.
Haeba re etsa li-analogies ka lenaneo le tloaelehileng, joale ha u sebelisa mekhoa e kang ho ngola, e ngollang ntho e itseng ho disk, 'me ka mor'a hore e khutlisetse karabo ho uena, ha ho na tiiso ea hore u ngotse data ho disk. 'Me esita le ha tsamaiso ea ts'ebetso e kholisehile hore ntho e' ngoe le e 'ngoe e ngotsoe, ho na le mekhoa ka har'a disk ka boeona moo ts'ebetso e tsamaeang ka lihlopha tsa li-buffers,' me feela ka mor'a hore data e behoe ho disk.
Hangata li-call tsa asynchronous li sebelisoa. Sena se lumella moreki ho sebetsa ka mokhoa o ts'oanang le likopo tse fapaneng. U ka sebelisa mokhoa oa synchronous, empa ha o hlahise haholo.
Ts'ebetso tse peli tseo re buileng ka tsona ke ntlafatso / ngola, tse fetolang data. Tsena ke theha, setData, sync, hlakola. Mme read is exist, getData, getChildren.
Hona joale mehlala e seng mekae ea kamoo u ka etsang li-primitives bakeng sa ho sebetsa tsamaisong e ajoang. Ka mohlala, e amanang le tlhophiso ea ntho e itseng. Ho hlahile mosebetsi e mocha. Re kentse mochine mme re qala ts'ebetso. Mme ho na le dipotso tse tharo tse latelang. E botsa ZooKeeper joang bakeng sa tlhophiso? 'Me haeba re batla ho fetola tlhophiso, re e fetola joang? Mme kamora hore re e fetole, basebetsi bao re neng re na le bona ba e fumana jwang?
ZooKeeper e etsa hore sena se be bonolo. Ka mohlala, ho na le sefate sa rona sa znode. Ho na le node bakeng sa ts'ebeliso ea rona mona, re theha node e eketsehileng ho eona, e nang le data e tsoang ho tlhophiso. Tsena li ka 'na tsa se ke tsa e-ba li-parameter tse arohaneng. Kaha boholo bo nyane, boholo ba tlhophiso hangata bo nyane, ka hona hoa khoneha ho e boloka mona.
U sebelisa mokhoa getData ho fumana tlhophiso bakeng sa mosebeletsi ho tloha node. Beha 'nete. Haeba ka lebaka le itseng node ena ha e eo, re tla tsebisoa ka eona ha e hlaha, kapa ha e fetoha. Haeba re batla ho tseba hore ho na le ntho e fetohileng, joale re e beha hore e be 'nete. 'Me haeba data e ho node ena e fetoha, re tla tseba ka eona.
SetData. Re beha data, re beha "-1", ke hore, ha re hlahlobe phetolelo, re nka hore kamehla re na le tlhophiso e le 'ngoe, ha ho hlokahale hore re boloke litlhophiso tse ngata. Haeba o hloka ho boloka e ngata, o tla hloka ho eketsa boemo bo bong. Mona re lumela hore ho na le e le 'ngoe feela, kahoo re ntlafatsa ea morao-rao feela, kahoo ha re hlahlobe phetolelo. Ka nako ena, bareki bohle ba kileng ba ingolisa ba fumana tsebiso ea hore ho na le ntho e fetohileng sebakeng sena. 'Me ka mor'a hore ba e fumane, ba tlameha ho kopa data hape. Tsebiso ke hore ha ba fumane data ka boeona, empa ke tsebiso feela ea liphetoho. Ka mor'a moo, ba tlameha ho kopa data e ncha.
Khetho ea bobeli ea ho sebelisa ea khale ke setho sa sehlopha. Re na le kopo e abiloeng, ho na le sehlopha sa basebetsi mme re batla ho utloisisa hore kaofela ba teng. Ka hona, ba tlameha ho ingolisa hore ba sebetsa kopong ea rona. Hape re batla ho tseba, ebang ke ho tsoa ho Master process kapa kae-kae, ka basebetsi bohle ba mafolofolo bao re nang le bona hajoale.
Re etsa see joang? Bakeng sa ts'ebeliso, re theha node ea basebetsi mme re eketsa sublevel moo re sebelisa mokhoa oa ho theha. Ke na le phoso selaeteng. Mona o hloka tse latellanang hlalosa, joale basebetsi bohle ba tla bōptjoa ka bonngoe. 'Me kopo, e kopa lintlha tsohle tse mabapi le bana ba node ena, e amohela basebetsi bohle ba mafolofolo ba teng.
Ena ke ts'ebetsong e mpe ea hore na sena se ka etsoa joang ka khoutu ea Java. A re qaleng ho tloha qetellong, ka mokhoa o ka sehloohong. Ena ke sehlopha sa rona, ha re theheng mokhoa oa eona. Joalo ka khang ea pele eo re e sebelisang moamoheli, moo re hokahanyang, ke hore, re e beha joalo ka khang. 'Me khang ea bobeli ke lebitso la sehlopha.
Khokahano e etsahala joang? Ona ke mohlala o bonolo oa API o sebelisoang. Ntho e 'ngoe le e 'ngoe e batla e le bonolo mona. Ho na le sehlopha se tloaelehileng sa ZooKeeper. Re fetisetsa mabotho ho eona. Ebe u beha nako, mohlala, metsotsoana e 5. 'Me re na le setho se bitsoang connectionSignal. Ha e le hantle, re theha sehlopha tseleng e fetisitsoeng. Ha re ngole data moo, le hoja ho ka be ho ngotsoe ho hong. 'Me node mona ke ea mofuta o phehellang. Ha e le hantle, ena ke node e tloaelehileng e tloaelehileng e tla ba teng ka linako tsohle. Mona ke moo kopano e etsoang teng. Ena ke ts'ebetsong ea mofani ka boeena. Moreki oa rona o tla romella melaetsa nako le nako e bontšang hore seboka se ntse se phela. 'Me ha re qeta seboka, re bitsa haufi' me ke phetho, seboka se oa. Sena se ka etsahala hore ho be le ho hong ho ka re hlahelang, e le hore ZooKeeper a tsebe ka eona mme a khaotse thuto.
Mokhoa oa ho notlela sesebelisoa? Mona ntho e 'ngoe le e' ngoe e rarahane haholoanyane. Re na le sehlopha sa basebetsi, ho na le lisebelisoa tseo re batlang ho li notlela. Ho etsa sena, re theha node e arohaneng, mohlala, e bitsoang lock1. Haeba re khonne ho e etsa, joale re na le senotlolo mona. 'Me haeba re sa khone ho e theha, joale mosebeletsi o leka ho fumana GetData ho tloha mona,' me kaha node e se e bōpiloe, joale re beha molebeli mona le nako eo boemo ba node ena bo fetohang, re tla tseba ka eona. 'Me re ka leka ho ba le nako ea ho e bopa bocha. Haeba re nka node ena, re nka senotlolo sena, joale ka mor'a hore re se ke ra hlola re hloka senotlolo, re tla e lahla, kaha node e teng feela ka har'a seboka. Ka lebaka leo, e tla nyamela. 'Me mofani e mong, ka har'a moralo oa seboka se seng, o tla khona ho nka senotlolo sebakeng sena, kapa ho e-na le hoo, o tla fumana tsebiso ea hore ho na le ntho e fetohileng' me a ka leka ho e etsa ka nako.
Mohlala o mong oa kamoo u ka khethang moetapele ea ka sehloohong. Sena se rarahane ho feta, empa hape se bonolo. Ho etsahalang moo? Ho na le node e kholo e kopanyang basebetsi bohle. Re leka ho fumana lintlha ka moetapele. Haeba sena se etsahetse ka katleho, ke hore re fumane boitsebiso bo itseng, joale mosebeletsi oa rona o qala ho latela moetapele enoa. O lumela hore ho se ho na le moetapele.
Haeba moetapele a shoele ka lebaka le itseng, mohlala, a oa, joale re leka ho theha moetapele e mocha. 'Me haeba re atleha, joale mosebetsi oa rona e ba moetapele. 'Me haeba motho ka nako ena a khonne ho theha moetapele e mocha, joale re leka ho utloisisa hore na ke mang ebe re mo latela.
Mona ho hlaha seo ho thoeng ke mohlape, ke hore mohlape oa mohlape, hobane ha moetapele a e-shoa, ea tlang pele ka nako e tla ba moetapele.
Ha u hapa sesebelisoa, u ka leka ho sebelisa mokhoa o fapaneng hanyane, o latelang. Ka mohlala, re batla ho fumana senotlolo, empa ntle le phello ea hert. E tla kenyelletsa taba ea hore kopo ea rona e kopa lethathamo la li-id tsa node bakeng sa node e seng e ntse e le teng e nang le senotlolo. 'Me haeba pele ho moo node eo re e thehileng senotlolo ke e nyenyane ka ho fetisisa ea sete eo re e fumaneng, joale sena se bolela hore re hapile senotlolo. Re hlahloba hore na re fumane senotlolo. Joalo ka cheke, ho tla ba le boemo ba hore id eo re e fumaneng ha re theha senotlolo se secha e nyane. 'Me haeba re e amohetse, joale re sebetsa ho ea pele.
Haeba ho na le id e itseng e nyane ho feta senotlolo sa rona, joale re beha molebeli ketsahalong ena ebe re emela tsebiso ho fihlela ntho e fetoha. Ke hore re fumane senotlolo sena. Mme ho fihlela e putlama, re ke ke ra ba bonyane id mme re ke ke ra fumana senotlolo se tlase, ka hona re tla khona ho kena. 'Me haeba boemo bona bo sa finyelloe, joale re ea mona hang-hang 'me re leke ho fumana senotlolo sena hape, hobane ntho e ka' na eaba e fetohile nakong ena.
ZooKeeper e kenyelletsa eng? Ho na le lintho tse 4 tsa bohlokoa. Ena ke mekhoa ea ho sebetsa - Kopo. Hape le Phatlalatso ea Atomic ea ZooKeeper. Ho na le Lethathamo la Boitlamo moo lits'ebetso tsohle li rekotiloeng. Le In-memory Replicated DB ka boeona, ke hore database ka boeona moo sefate sena kaofela se bolokiloeng teng.
Ke habohlokoa ho hlokomela hore ts'ebetso eohle ea ho ngola e feta ka Application Processor. 'Me ts'ebetso ea ho bala e ea ka kotloloho polokelong ea memori ea In-memory.
Database ka boeona e kopitsoe ka botlalo. Likarolo tsohle tsa ZooKeeper li boloka kopi e felletseng ea data.
E le hore u tsosolose database ka mor'a ho senyeha, ho na le tlaleho ea Boitlamo. Tloaelo e tloaelehileng ke hore pele data e kena mohopolong, e ngotsoe moo e le hore haeba e senyeha, log ena e ka bapaloa hape 'me boemo ba tsamaiso bo ka tsosolosoa. Hape ho sebelisoa linepe tsa nako le nako tsa database.
Phatlalatso ea Atomic ea ZooKeeper ke ntho e sebelisoang ho boloka data e phetoang.
ZAB ka hare e khetha moetapele ho tloha sebakeng sa pono ea node ea ZooKeeper. Li-node tse ling li fetoha balateli ba hae 'me u lebelle liketso tse itseng ho eena. Haeba ba amohela likenyelletso, ba li fetisetsa kaofela ho moetapele. O qala ka ho etsa opereishene ea ho ngola ebe o romela molaetsa oa se fetohileng ho balateli ba hae. Sena, ha e le hantle, se tlameha ho etsoa ka atomically, ke hore, ts'ebetso ea ho rekota le ho hasanya ntho eohle e tlameha ho etsoa ka mokhoa oa atomo, ka hona, ho netefatsa ho lumellana ha data.
E sebetsa feela ka likopo tsa ho ngola. Mosebetsi oa eona o ka sehloohong ke ho fetola ts'ebetso hore e be ntlafatso ea transaction. Ena ke kopo e entsoeng ka ho khetheha.
'Me mona ke habohlokoa ho hlokomela hore ho hloka matla ha lisebelisoa bakeng sa ts'ebetso e tšoanang ho tiisitsoe. Ke eng? Ntho ena, haeba e etsoa habeli, e tla ba le boemo bo tšoanang, ke hore, kopo ka boeona e ke ke ea fetoha. 'Me sena se lokela ho etsoa e le hore haeba ho ka ba le kotsi, u ka qala ts'ebetso hape, kahoo u khutlisetsa morao liphetoho tse oeleng hona joale. Tabeng ena, boemo ba tsamaiso bo tla tšoana, ke hore, ha hoa lokela ho ba joalo hore letoto le tšoanang, ka mohlala, lits'ebetso tsa ntlafatso, li lebisitse linaheng tse fapaneng tsa ho qetela tsa tsamaiso.
Source: www.habr.com