Waxaan kuu soo jeedinayaa inaad akhrido qoraalka muxaadarada "Hadoop. ZooKeeper" ee taxanaha "Habab loogu qaybinayo xogta tirada badan ee Hadoop"
Waa maxay ZooKeeper, meesha ay ku leedahay nidaamka deegaanka Hadoop. Been-abuurka ku saabsan xisaabinta la qaybiyay. Jaantuska nidaamka qaybsan ee caadiga ah. Ku adkaanta iskudubaridka nidaamyada qaybsan. Dhibaatooyinka isuduwidda ee caadiga ah. Mabaadi'da ka dambeysa naqshadeynta ZooKeeper. Qaabka xogta ZooKeeper. calanka znode. Fadhiyo Client API. Primitives (qaabaynta, xubin kooxeed, quful fudud, doorashada hogaamiyaha, quful aan saamayn xoolo). Nashqada ZooKeeper ZooKeeper DB. ZAB. Codso maamulaha
Maanta waxaan ka hadli doonaa ZooKeeper. Shaygani aad buu faa'iido u leeyahay. Waxay, sida alaab kasta oo Apache Hadoop ah, waxay leedahay calaamad. Waxa ay muujinaysaa nin.
Intaa ka hor, waxa aan inta badan ka hadalnay sida xogta halkaas loogu farsamayn karo, sida loo kaydiyo, taas oo ah, sida loo isticmaalo oo si uun loogu shaqeeyo. Maantana waxaan jeclaan lahaa inaan wax yar ka hadlo dhismaha codsiyada la qaybiyey. Iyo ZooKeeper waa mid ka mid ah waxyaabaha kuu ogolaanaya inaad fududeyso arrintan. Kani waa nooc ka mid ah adeegga loogu talagalay nooc ka mid ah isuduwidda isdhexgalka ee hababka la qaybiyey, codsiyada la qaybiyey.
Baahida loo qabo codsiyada noocan oo kale ah ayaa sii kordhaya maalin kasta, taasi waa waxa koorsadayadu ku saabsan tahay. Dhinaca kale, MapReduce iyo qaab-dhismeedkan diyaarsan ayaa kuu oggolaanaya inaad heer ka saarto kakanaantan oo aad ka xorayso barnaamij-sameeyaha qoraallada asaasiga ah sida is-dhexgalka iyo isku-dubbaridka habraacyada. Laakiin dhinaca kale, ma jiro qof dammaanad qaadaya in tani aan si kastaba loo samayn doonin. MapReduce ama qaabab kale oo diyaarsan had iyo jeer si buuxda uma beddelaan kiisaska qaarkood ee aan la fulin karin iyadoo la adeegsanayo tan. Oo ay ku jiraan MapReduce lafteeda iyo farabadan oo ka mid ah mashaariicda Apache; iyaga, dhab ahaantii, sidoo kale waa codsiyada la qaybiyay. Si loo fududeeyo qorista, waxay qoreen ZooKeeper.
Sida dhammaan codsiyada la xidhiidha Hadoop, waxaa sameeyay Yahoo! Hadda sidoo kale waa codsi rasmi ah Apache. Uma kobcin si firfircoon sida HBase. Haddii aad tagto JIRA HBase, markaa maalin kasta waxaa jira warbixinno badan oo cayayaan ah, farabadan oo soo jeedin ah si wax loo hagaajiyo, ie nolosha mashruuca ayaa si joogto ah u socota. Iyo ZooKeeper, dhanka kale, waa badeecad fudud, dhanka kale, tani waxay xaqiijinaysaa isku halaynta. Wayna fududahay in la isticmaalo, waana sababta ay halbeeg uga noqotay codsiyada gudaha Hadoop-ga deegaanka. Markaa waxaan u maleeyay inay faa'iido leedahay inaan dib u eegis ku sameeyo si loo fahmo sida ay u shaqeyso iyo sida loo isticmaalo.
Kani waa sawir laga soo qaaday muxaadaro aan qabanay. Waxaynu odhan karnaa waa wax kasta oo aan ilaa hadda ka fiirsanay. Iyo wax kasta oo halkan lagu tilmaamo, hal shahaado ama mid kale, waxay la shaqeeyaan ZooKeeper, i.e., waa adeeg isticmaala dhammaan alaabooyinkaas. HDFS iyo MapReduce midkoodna ma qoraan adeegyo la mid ah oo iyaga si gaar ah ugu shaqaynaya. Sidaa darteed, ZooKeeper ayaa la isticmaalaa. Waxayna tani fududaynaysaa horumarka iyo waxyaalaha qaar ee la xidhiidha khaladaadka.
Xaggee waxaas oo dhami ka yimaadeen? Waxay u egtahay in aan soo saarnay laba codsi oo isku mid ah kombiyuutarada kala duwan, iyaga oo ku xiran xarig ama mesh, wax walbana way shaqeeyaan. Laakiin dhibka jira ayaa ah in Shabakadda aan la isku haleyn karin, oo haddii aad urisay gaadiidka ama aad u fiirsato waxa meesha ka dhacaya si hoose, sida macaamiishu ula falgalaan Shabakadda, waxaad inta badan arki kartaa in baakadaha qaar ay lumeen ama dib loo soo diray. Waxba maaha in borotokoolka TCP la abuuray, kaas oo kuu oggolaanaya inaad dejiso fadhi gaar ah oo aad dammaanad qaaddo gudbinta fariimaha. Laakiin xaalad kasta, xitaa TCP mar walba kuma badbaadin karto. Wax walba waqti ayey leeyihiin. Shabakadu waxa laga yaabaa inay si fudud u go'do in muddo ah. Waxa laga yaabaa inay il bidhaamiso. Oo tan oo dhan waxay keenaysaa xaqiiqda ah inaadan isku hallayn karin Shabakadda la isku halayn karo. Tani waa farqiga ugu weyn ee u dhexeeya qorista codsiyada barbar socda ee ku shaqeeya hal kombuyuutar ama hal supercomputer, halkaas oo aan lahayn Network, halkaas oo uu jiro bas xog-isweydaarsi ah oo la isku halleyn karo oo xusuusta ah. Tanina waa farqi aasaasi ah.
Waxyaabaha kale, marka la isticmaalayo Network, waxaa jira had iyo jeer latency gaar ah. Disk-gu sidoo kale wuu leeyahay, laakiin Shabakadu waxay leedahay wax badan oo ka mid ah. Latency waa wakhti dib u dhac ah, kaas oo noqon kara mid yar ama aad u weyn.
Shabakadda topology-ga ayaa isbedeleysa. Waa maxay topology - tani waa meelaynta qalabka shabakadaha. Waxaa jira xarumo xogeed, waxaa jira raakidhyo taagan, waxaa jira shumacyo. Waxaas oo dhan waa la isku xidhi karaa, la dhaqaajin karaa, iwm. Tan oo dhan waxay u baahan tahay in xisaabta lagu daro. Magacyada IP-ga ayaa isbeddela, marinka ay taraafikadayadu ku socdaalayaan way isbeddelaan. Tani waxay sidoo kale u baahan tahay in la tixgeliyo.
Shabakadda ayaa sidoo kale laga yaabaa inay isbedesho xagga qalabka. Dhaqan ahaan, waxaan dhihi karaa injineerada shabakadu waxay runtii jecel yihiin inay cusboonaysiiyaan wax ku saabsan shumacyada. Isla markiiba firmware cusub ayaa soo baxay mana ay xiiso gaar ah u lahayn qaar ka mid ah kooxda Hadoop. Waxay leeyihiin shaqo u gaar ah. Iyaga, waxa ugu muhiimsan waa in Shabakadu ay shaqeyso. Sidaas awgeed, waxay rabaan inay dib u soo geliyaan shay halkaas, ku sameeyaan biligleynaya qalabkooda, iyo qalabku sidoo kale waa isbeddelaa xilliyo. Waxaas oo dhan si uun bay u baahan yihiin in la tixgeliyo. Waxaasoo dhan waxay saameeyaan codsigayaga la qaybiyey.
Caadi ahaan dadka bilaabaya inay ku shaqeeyaan xog badan oo sababa qaar ka mid ah waxay aaminsan yihiin in internetka aanu xad lahayn. Haddii uu jiro faylal dhowr terabytes ah halkaas, markaa waxaad u qaadi kartaa server-kaaga ama kumbuyuutarkaaga oo fur adoo isticmaalaya cat oo daawo. Qalad kale ayaa ku jira Vim bal u fiirsada geedaha. Weligaa tan ha samayn sababtoo ah way xun tahay. Sababtoo ah Vim wuxuu isku dayaa inuu wax walba kaydiyo, ku shubo wax walba xusuusta, gaar ahaan markaan bilowno inaan ku dhex dhaqaaqno buuggan oo aan wax raadinno. Kuwani waa waxyaabo la ilaaway, laakiin mudan in la tixgeliyo.
Way fududahay in la qoro hal barnaamij oo ku shaqeeya hal kumbuyuutar oo leh hal processor.
Marka nidaamkeenu kordho, waxaan rabnaa inaan isbarbar dhigno dhammaan, oo aan barbar dhigno kumbuyuutarka oo keliya, laakiin sidoo kale kutlada. Su'aashu waxay soo baxaysaa: sida loo isku dubbarido arrintan? Codsiyadayagu xitaa ma wada falgalaan, laakiin waxaan ku wadnay dhowr hannaan oo isbarbar socda dhowr server. Iyo sida loola socdo in wax walba ay si fiican ugu socdaan iyaga? Tusaale ahaan, waxay wax ku diraan internetka. Waa inay gobolkooda wax ku qoraan meel, tusaale ahaan, nooc ka mid ah kaydka xogta ama log, ka dibna isku geeyaan qoraalkan ka dibna meel ku falanqeeyaan. Intaa waxaa dheer, waxaan u baahannahay inaan xisaabta ku darno in geeddi-socodku uu shaqeynayay oo shaqeynayay, si lama filaan ah qalad ayaa u muuqday ama wuu burburay, ka dibna sida ugu dhakhsaha badan ayaan u ogaan doonaa?
Way caddahay in waxaas oo dhan si degdeg ah loola socon karo. Tani sidoo kale waa wanaagsan, laakiin la socodka waa shay xaddidan oo kuu ogolaanaya inaad la socoto waxyaabaha qaarkood heerka ugu sarreeya.
Marka aan rabno in hababkayadu ay bilaabaan inay isdhexgalaan midba midka kale, tusaale ahaan, si aan isku dirno xogta qaar, ka dibna su'aashu waxay sidoo kale soo baxdaa - sidee tani u dhici doontaa? Ma jiri doontaa nooc ka mid ah xaalad jinsiyadeed, miyay isku qori doonaan midba midka kale, xogta si sax ah ma u iman doontaa, ma wax lumin doonaa jidka? Waxaan u baahanahay inaan horumarino nooc ka mid ah borotokoolka, iwm.
Iskudubarid dhammaan hababkaas maaha wax fudud. Waxayna ku khasabtaa horumariyaha inuu hoos ugu dhaadhaco heer hoose, oo uu nidaamyo ka soo qoro xoq, ama aan meel fog ka soo qorin, laakiin tani ma fududa.
Haddii aad la timaaddo algorithm cryptographic ama xitaa fuliso, ka dibna isla markiiba iska tuur, sababtoo ah waxay u badan tahay inaysan kuu shaqeyn doonin. Waxay u badan tahay inay ka koobnaan doonto khaladaad farabadan oo aad illowday inaad bixiso. Weligaa ha u isticmaalin wax halis ah sababtoo ah waxay u badan tahay inay noqoto mid aan degganayn. Sababtoo ah dhammaan algorithms-yada jira waxaa la tijaabiyay waqti wakhti aad u dheer. Waxaa cakiran bulshada. Kani waa mowduuc gaar ah. Oo halkan waa isku mid. Haddii ay suurtagal tahay inaadan fulin nooc ka mid ah habraaca isku-dhafka naftaada, markaa way fiicantahay inaadan tan samayn, sababtoo ah way adag tahay waxayna kuu horseedaysaa jidka gariiraya ee si joogto ah u raadinta khaladaadka.
Maanta waxaan ka hadleynaa ZooKeeper. Dhanka kale, waa qaab-dhismeed, dhanka kale, waa adeeg nolosha u fududeeya horumariyaha oo fududeeya hirgelinta macquulnimada iyo iskudubaridyada habraacyadayada intii suurtagal ah.
Aynu xasuusanno sida nidaamka qaybsan ee caadiga ahi u ekaan karo. Tani waa waxa aan ka hadalnay - HDFS, HBase. Waxaa jira hannaan Master ah oo maamula shaqaalaha iyo hababka addoonta. Wuxuu mas'uul ka yahay isku-dubbaridka iyo qaybinta hawlaha, dib-u-kicinta shaqaalaha, bilaabista kuwa cusub, qaybinta rarka.
Wax horumarsan ayaa ah Adeegga Iskuduwidda, taas oo ah, u dhaqaaji hawsha iskudubarid lafteeda hannaan gaar ah, oo lagu daro nooc ka mid ah kaydinta ama Master-ka oo is barbar socda, sababtoo ah Masterka ayaa laga yaabaa inuu ku guuldareysto. Oo haddii Masterku dhaco, markaa nidaamkayagu ma shaqeyn doono. Waxaan wadnaa gurmad Qaar ayaa sheegaya in Master-ku uu u baahan yahay in lagu celiyo si loo kaydiyo. Tan waxa kale oo lagu aamini karaa Adeegga Iskuduwidda. Laakiin jaantuskan, Master-ka laftiisa ayaa mas'uul ka ah isku-dubbaridka shaqaalaha; halkan adeeggu waa isku-dubbaridka hawlaha ku-noqoshada xogta.
Ikhtiyaar aad u horumarsan waa marka dhammaan isuduwidda ay maamusho adeegeena, sida inta badan la sameeyo. Waxa uu qaadayaa masuuliyadda hubinta in wax walba ay shaqeeyaan. Oo haddii shay uu shaqayn waayo, waanu ogaanay oo isku daynaa inaan ka gudubno xaaladdan. Si kastaba arrintu ha ahaatee, waxaa naga haray Master-ka oo si uun ula falgala addoomaha oo u diri kara xog, macluumaad, farriimo, iwm. Adeegga qaar.
Waxaa jira qorshe aad u horumarsan, marka aynaan haysan Master, dhammaan qanjidhada ayaa ah addoommo sayid ah, oo ka duwan habdhaqankooda. Laakiin wali waxay u baahan yihiin inay is dhexgalaan, sidaas darteed weli waxaa jira adeeg qaar ka haray in la isku duwo falalkan. Malaha, Cassandra, oo ka shaqeysa mabda'an, ayaa ku habboon nidaamkan.
Way adag tahay in la sheego mid ka mid ah nidaamyadan si fiican u shaqeeya. Mid kastaa wuxuu leeyahay faa'iidooyin iyo khasaare u gaar ah.
Oo looma baahna in laga cabsado waxyaabaha qaarkood ee Masterka, sababtoo ah, sida dhaqanku muujinayo, isagu maaha mid u nugul inuu si joogto ah u adeego. Waxa ugu muhiimsan ee halkan waa in la doorto xalka saxda ah ee martigelinta adeeggan oo ku yaal meel gaar ah oo awood leh, si ay u hesho kheyraad ku filan, si haddii ay suurtagal tahay, isticmaalayaashu aysan heli karin halkaas, si aysan si lama filaan ah u dilin habkan. Laakiin isla mar ahaantaana, nidaamka noocan oo kale ah aad bay u fududahay in shaqaalaha laga maareeyo habka Master-ka, i.e. nidaamkani wuu ka fudud yahay aragtida fulinta.
Nidaamkan (korka) ayaa laga yaabaa inuu ka sii adag yahay, laakiin la isku halleyn karo.
Dhibaatada ugu weyni waa guuldarrooyin qayb ah. Tusaale ahaan marka aan fariin u dirno shabakada waxaa dhaca shil nooc ka mid ah, qofka fariinta soo dirayna ma ogaanayo in fariintiisa la soo gaarsiiyey iyo waxa ka dhacay dhinaca soo qaadaha, ma ogaan karo in fariinta si sax ah loo maamulay iyo in kale. , tusaale ahaan ma heli doono wax xaqiijin ah.
Sidaas awgeed, waa in aan ka baaraan-deganaa xaaladdan. Waxa ugu fududna waa in aad farriintan dib u dirto oo aad sugto inta aan jawaab ka helayno. Xaaladdan oo kale, laguma tixgelinayo in xaaladda qaataha uu isbeddelay. Waxaa laga yaabaa inaan dirno fariin oo aan ku darno xog isku mid ah laba jeer.
ZooKeeper wuxuu bixiyaa habab lagula tacaalo diidmada noocaas ah, taas oo sidoo kale ka dhigaysa nolosheenna mid fudud.
Sida aan hore u soo sheegnay, tani waxay la mid tahay qorista barnaamijyo badan oo taxane ah, laakiin farqiga ugu weyn ayaa ah in codsiyada la qaybiyo ee aan ku dhisno mashiinno kala duwan, habka kaliya ee lagu wada xiriiro waa Network. Asal ahaan, kani waa naqshad la wadaago oo aan waxba la wadaagin. Nidaam kasta ama adeeg kasta oo ku shaqeeya hal mashiin wuxuu leeyahay xusuusta u gaar ah, diskooga u gaar ah, processor u gaar ah, oo aanay cidna la wadaagin.
Haddii aan hal kombuyuutar ku qorno barnaamij taxane badan, markaas waxaan isticmaali karnaa xusuusta la wadaago si aan xogta isku dhaafsano. Waxaan halkaa ku haynaa beddelka macnaha guud, habraacyadu way beddeli karaan. Tani waxay saamaysaa waxqabadka. Dhinaca kale, ma jiraan wax caynkaas ah oo ku jira barnaamijka kutlada, laakiin waxaa jira dhibaatooyin xagga Shabakadda.
Sidaa darteed, dhibaatooyinka ugu muhiimsan ee soo baxa marka la qorayo hababka loo qaybiyay waa qaabeynta. Waxaan qoraynaa nooc codsi ah. Haddii ay fududahay, markaa waxaan ku dhejineynaa dhammaan noocyada lambarrada ee code-ka, laakiin tani waa mid aan habooneyn, sababtoo ah haddii aan go'aansanno in halkii waqti ka baxsan nus ilbiriqsi aan rabno waqti ka baxsan hal ilbiriqsi, markaa waxaan u baahanahay inaan dib u soo koobno codsiga iyo wax walba dib u rogo. Waa hal shay marka ay ku jirto hal mashiin, marka aad dib u bilaabi karto, laakiin marka aan haysano mashiinno badan, waa inaan si joogto ah u koobi karnaa wax walba. Waa in aan isku daynaa in aan codsiga ka dhigno mid la habeyn karo.
Halkan waxaan kaga hadlaynaa qaabeynta joogtada ah ee hababka nidaamka. Tani gabi ahaanba maahan, laga yaabee in laga eego nidaamka nidaamka hawlgalka, waxay noqon kartaa qaabaynta hab-socodkayaga, taas oo ah, tani waa qaabayn aan si fudud loo qaadan karin oo la cusbooneysiin karin.
Waxa kale oo jira qaabayn firfircoon. Kuwani waa halbeegyada aan rabno inaan beddelno duullimaadyada si halkaas looga soo qaado.
Waa maxay dhibku halkan? Waanu cusboonaysiinay qaabaynta, waanu soo saarnay, haddaba waa maxay? Dhibaatadu waxay noqon kartaa in dhinaca aan ka soo saarnay qaabeynta, laakiin waxaan iloobey wax cusub, qaabeynta ayaa ku hartay. Marka labaad, markii aan dib u soo rognay, qaabeynta ayaa la cusbooneysiiyay meelaha qaarkood, laakiin maaha kuwo kale. Iyo qaar ka mid ah hababka codsigayaga ee ku shaqeeya hal mishiin ayaa dib loo bilaabay iyada oo la adeegsanayo habayn cusub, iyo meel leh mid hore. Tani waxay keeni kartaa in codsigayaga la qaybiyey uu noqdo mid aan ku habboonayn marka loo eego qaabeynta. Dhibaatadani waa mid caadi ah. Qaabaynta firfircoon, way ku habboon tahay sababtoo ah waxay ka dhigan tahay in la bedeli karo duulista.
Dhibaato kale ayaa ah xubinnimada kooxda. Waxaan had iyo jeer leenahay qaar ka mid ah shaqaale, waxaan had iyo jeer rabnaa inaan ogaanno mid iyaga ka mid ah oo nool, kee baa dhintay. Haddii uu jiro Master, markaas waa in uu fahmo shaqaalaha loo wareejin karo macaamiisha si ay u xisaabiyaan ama u shaqeeyaan xogta, oo aan awoodin. Dhibaatada si joogto ah u soo baxda ayaa ah inaan u baahanahay inaan ogaano cidda ka shaqeysa kooxdeena.
Dhibaatada kale ee caadiga ah waa doorashada hoggaamiyeyaasha, marka aan rabno inaan ogaanno cidda hoggaanka haysa. Mid ka mid ah tusaale ahaan waa ku celcelin, marka aan haysanno xoogaa habsocod ah oo hela hawlgallada qorista ka dibna ku celceliya hababka kale. Isagaa madax ahaan doona, oo dadka kale oo dhan ayaa addeeci doona isaga. Waxaa lagama maarmaan ah in la doorto hannaan qof walba madmadow ku jiro, si aysan u dhicin in laba hoggaamiye la soo xulo.
Waxa kale oo jira galaangal labada dhinac u gaar ah. Dhibaatada halkan waa ka sii adag. Waxaa jira wax la yiraahdo mutex, marka aad qorto barnaamijyo badan oo taxane ah oo aad rabto in aad hesho kheyraad, tusaale ahaan, unugga xusuusta, in la xaddido oo lagu fuliyo hal dun oo keliya. Halkan kheyraadku waxa uu noqon karaa wax aan la taaban karin. Codsiyada kala duwan ee noodhka kala duwan ee Shabakadeena waa in ay helaan oo kaliya marin u gaar ah kheyraadka la bixiyay, ee maaha in qof kastaa uu beddelo ama wax ku qoro halkaas. Kuwani waa waxa loogu yeero quful.
ZooKeeper wuxuu kuu ogolaanayaa inaad dhammaan dhibaatooyinkaas ku xalliso hal darajo ama mid kale. Oo waxaan ku tusi doonaa tusaalayaal sida ay kuu ogolaato inaad tan sameyso.
Ma jiraan wax hortaagan. Marka aan bilowno isticmaalka shay, kan hore ma sugi doono dhacdo kasta oo dhacda. Waxay u badan tahay, shaygani wuxuu u shaqeyn doonaa si isku mid ah, taas oo u oggolaanaysa geeddi-socodyada inaysan ku xirnayn inta ay wax sugayaan. Tani waa shay aad waxtar u leh.
Dhammaan codsiyada macmiilka waxa loo habeeyey siday u kala horreeyaan safka guud.
Waxayna macaamiishu fursad u helayaan inay helaan ogeysiis ku saabsan isbeddelada gobolka qaarkood, ku saabsan isbeddelka xogta, ka hor inta aanu macmiilku arkin xogta la beddelay.
ZooKeeper wuxuu ku shaqayn karaa laba qaab. Midka hore waa kaligiis, oo ku yaal hal nood. Tani waxay ku habboon tahay tijaabinta. Waxa kale oo ay ku shaqayn kartaa qaab kooxeed tiro kasta oo adeegayaal ah. Haddii aan haysano koox ka kooban 100 mashiin, markaa lagama maarmaan ma aha inay ku shaqeyso 100 mashiin. Waa ku filan inaad doorato dhowr mashiin oo aad ku maamuli karto ZooKeeper. Oo waxay qiraysaa mabda'a helitaanka sare. Tusaale kasta oo socda, ZooKeeper waxa ay kaydisaa koobiga xogta oo dhan. Ka dib waxaan kuu sheegi doonaa sida uu sameeyo. Ma jeexjeexo xogta mana kala qaybinayso. Dhinaca kale, waa laga jaray in aynaan wax badan kaydin karin, dhinaca kale, looma baahna in tan la sameeyo. Taasi maaha waxa loogu talagalay, maaha database.
Xogta waxa lagu kaydin karaa dhinaca macmiilka. Tani waa mabda'a caadiga ah si aynaan u joojin adeegga oo aynaan ku shubin codsiyo isku mid ah. Macmiil caqli badan ayaa inta badan ka og arrintan oo kaydsada.
Tusaale ahaan, wax baa halkan iska beddelay. Waxaa jira nooc codsi ah. Hogaamiye cusub ayaa la doortay, kaasoo mas'uul ka ah, tusaale ahaan, socodsiinta howlaha qorista. Oo waxaan rabnaa inaan ku celcelino xogta. Hal xal ayaa ah in lagu dhejiyo wareeg. Oo waxaan si joogto ah su'aal u adeegeena - wax isbedeleen? Doorashada labaad ayaa ah mid aad u fiican. Tani waa habka daawashada oo kuu ogolaanaya inaad ogeysiiso macaamiisha in wax isbedeleen. Tani waa hab ka qaalisan xagga kheyraadka oo aad ugu habboon macaamiisha.
Client waa isticmaale isticmaala ZooKeeper.
Server-ku waa habka ZooKeeper laftiisa.
Znode waa shayga ugu muhiimsan ee ZooKeeper. Dhammaan znodes waxa lagu kaydiyaa xusuusta ZooKeeper waxaana loo habeeyey qaab jaantus heersare ah, oo qaab geed ah.
Waxa jira laba nooc oo hawlgal ah. Midka ugu horreeya waa cusbooneysiin/qor, marka qalliinka qaar uu beddelo xaaladda geedkayaga. Geedku waa caadi.
Waxaana suurtogal ah in macmiilku aanu buuxin hal codsi oo uu ka go’o, balse uu samayn karo fadhi uu kula xidhiidho ZooKeeper.
Qaabka xogta ZooKeeper waxay u egtahay nidaamka faylka. Waxaa jira xidid caadi ah ka dibna waxaan u gudubnay sidii iyada oo loo marayo hagayaasha ka soo jeeda xididka. Ka dibna liiska heerka koowaad, heerka labaad. Tani waa dhammaan znodes.
Znode kasta wuxuu kaydin karaa xogta qaar ka mid ah, sida caadiga ah aan aad u weyn, tusaale ahaan, 10 kilobytes. Oo znode kasta wuxuu yeelan karaa tiro cayiman oo carruur ah.
Znodes waxay ku yimaadaan dhowr nooc. Waa la abuuri karaa. Iyo marka la abuurayo znode, waxaan qeexnaa nooca ay tahay inay ka tirsan tahay.
Waxaa jira laba nooc. Midka koowaad waa calanka ephemeral. Znode wuxuu ku nool yahay fadhi gudaheed. Tusaale ahaan, macmiilku wuxuu sameeyay fadhi. Inta fadhigani nool yahayna wuu jirayaa. Tani waa lagama maarmaan si aysan u soo saarin wax aan loo baahnayn. Tani waxay sidoo kale ku habboon tahay waqtiyada ay muhiim noogu tahay inaan kaydinno xogta asaasiga ah ee fadhi gudaheed.
Nooca labaad waa calanka taxanaha ah. Waxay kordhisaa miisaska jidka loo maro znode. Tusaale ahaan, waxaanu haysanay hage wata codsiga 1_5. Oo markii aan abuuray noode ugu horeysay, waxay heshay p_1, labaad - p_2. Oo markaan u yeerno habkan mar kasta, waxaan ka gudubnaa waddada buuxda, taas oo muujinaysa qayb ka mid ah jidka, lambarkan si toos ah ayaa loo kordhiyaa sababtoo ah waxaan tilmaamaynaa nooca noode - taxane ah.
znode joogto ah. Had iyo jeer way noolaan doontaa oo waxay yeelan doontaa magaca aan u sheegno.
Wax kale oo faa'iido leh waa calanka daawashada. Haddii aan rakibno, markaa macmiilku wuxuu ku biiri karaa dhacdooyinka qaar ka mid ah noode gaar ah. Waxaan gadaal ku tusi doonaa tusaale sida tan loo sameeyo. ZooKeeper lafteedu waxay ogaysiisaa macmiilka in xogta ku taal noodhka ay isbedeshay. Si kastaba ha ahaatee, ogaysiisyadu ma dammaanad qaadayaan in qaar ka mid ah xogta cusubi timid. Waxay si fudud u sheegaan in wax isbeddeleen, markaa waa inaad weli is barbardhigtaa xogta dambe iyo wicitaanno kala duwan.
Iyo sida aan horayba u sheegay, nidaamka xogta waxaa lagu go'aamiyaa kilobytes. Looma baahna in halkaas lagu kaydiyo xogta qoraalka weyn, sababtoo ah ma aha xog ururin, waa server-ka isuduwidda waxqabadka.
Waxaan wax yar kaaga sheegi doonaa fadhiyada. Haddii aan haysano servero badan, markaa waxaan si hufan uga guuri karnaa server-ka una guuri karnaa adeegaha annaga oo adeegsanayna aqoonsiga fadhiga. Aad bay u habboon tahay.
Kalfadhi kastaa waxa uu leeyahay nooc wakhti wakhti ah. Kalfadhiga waxa lagu qeexaa in macmiilku u soo diro wax server-ka inta lagu jiro fadhigaas. Haddii uusan wax gudbin inta lagu jiro wakhtiga, fadhigu wuu dhacayaa, ama macmiilku laftiisu wuu xidhi karaa.
Ma laha astaamo intaas le'eg, laakiin waxaad API-gan ku samayn kartaa waxyaabo kala duwan. Wicitaankaas aan aragnay wuxuu abuurayaa znode wuxuuna qaataa saddex cabbir. Tani waa dariiqa loo maro znode, waana in si buuxda loo qeexaa xididka. Iyo sidoo kale tani waa qaar ka mid ah xogta aan rabno inaan ku wareejinno halkaas. Iyo nooca calanka. Oo abuurista ka dib waxay ku soo celisaa jidka znode.
Marka labaad, waad tirtiri kartaa. Khiyaamada halkan ayaa ah in cabbirka labaad, marka lagu daro jidka znode, uu qeexi karo nooca. Sidaas awgeed, znode-kaas waa la tirtiri doonaa haddii nooca aan ku wareejinay uu u dhigmo midka dhabta ah ee jira.
Haddii aynaan doonayn inaan hubinno noocaan, markaa waxaan si fudud u gudbineynaa doodda "-1".
Saddex, waxay hubisaa jiritaanka znode. Run ku soo noqda haddi udurku jiro, been hadii kale.
Kadibna saacada calanka ayaa soo baxda, kaas oo kuu ogolaanaya inaad la socoto noodhkan.
Waxaad ku dhejin kartaa calankaan xitaa meel aan jirin oo waxaad heli kartaa ogeysiin marka ay muuqato. Tani waxay sidoo kale noqon kartaa mid waxtar leh.
Laba caqabadood oo kale ayaa jira heliData. Way caddahay in aan xogta ku heli karno znode. Waxaad kaloo isticmaali kartaa saacadda calanka. Xaaladdan oo kale, ma rakibi doonto haddii aysan jirin node. Sidaa darteed, waxaad u baahan tahay inaad fahamto inay jirto, ka dibna aad hesho xogta.
Waxaa kaloo jira SetData. Halkan waxaan ku gudbinaynaa version. Oo haddii aan tan gudbino, xogta ku taal znode ee nooc gaar ah ayaa la cusbooneysiin doonaa.
Waxaad sidoo kale qeexi kartaa "-1" si aad uga saarto jeegan.
Hab kale oo faa'iido leh ayaa ah helay caruur. Waxaan sidoo kale heli karnaa liiska dhammaan znodes-ka ay iska leedahay. Waxaan la socon karnaa tan anagoo dejineynaa saacad calanka.
Iyo habka sync waxay ogolaataa in dhammaan isbeddelada la soo diro hal mar, si loo hubiyo in la keydiyay oo dhammaan xogta la beddelay.
Haddii aan ku sawirno ereyo la mid ah barnaamijyada caadiga ah, markaa marka aad isticmaasho hababka sida qorista, oo wax ku qora diskka, ka dib markii ay kuu soo celiso jawaabta, ma jirto damaanad ah inaad ku qortay xogta diskka. Xitaa marka nidaamka qalliinka uu ku kalsoon yahay in wax walba la qoray, waxaa jira habab ku jira diskka laftiisa halkaas oo geeddi-socodku uu marayo lakabyo buffers, oo kaliya ka dib marka xogta lagu dhejiyo diskka.
Inta badan waxaa la isticmaalaa wicitaanada is-macnaha. Tani waxay u oggolaanaysaa macmiilka inuu si barbar socda codsiyo kala duwan u shaqeeyo. Waxaad isticmaali kartaa habka isku midka ah, laakiin waa mid waxtar yar.
Labada hawlgal ee aan ka hadalnay waa cusbooneysiin/qoraal, kuwaas oo beddela xogta. Kuwani waa abuur, dejin Data, isku dhejin, tirtir. Oo wax akhrisku waa jiraa, getData, getChildren.
Hadda dhawr tusaale oo ku saabsan sida aad u samayn karto horudhac si aad ugu shaqeyso nidaam qaybsan. Tusaale ahaan, la xidhiidha qaabaynta wax. Shaqaale cusub ayaa soo muuqday. Waxaan ku darnay mishiinka oo aan bilownay hawsha. Waxaana jira saddex su'aalood oo soo socda. Sidee ayay u waydiinaysaa ZooKeeper qaabaynta? Oo haddii aan rabno in aan beddelno qaabeynta, sideen u beddelnaa? Oo markii aannu beddelnay, sidee bay shaqaalihii aannu haysannay ku heleen?
ZooKeeper ayaa tan ka dhigaysa mid fudud. Tusaale ahaan, waxaa jira geedkeena znode. Waxaa jira noode codsigeena halkan, waxaan ku abuureynaa nood dheeraad ah, kaas oo ka kooban xogta qaabeynta. Kuwani waxa laga yaabaa ama laga yaabaa inaanay noqon xuduudo kala duwan. Maadaama cabbirku yar yahay, cabbirka qaabeynta ayaa sidoo kale aad u yar, sidaas darteed waa suurtagal in halkan lagu kaydiyo.
Waxaad isticmaalaysaa habka heliData si aad u hesho habaynta shaqaalaha ka soo baxa. Run u dhig Haddii sabab qaar ka mid ah uusan noodu jirin, waa naloo soo sheegi doonaa marka uu soo baxo, ama marka uu isbeddelo. Haddii aan rabno in aan ogaano in ay wax isbeddeleen, markaa waxaan u dhignay run. Oo haddii xogta ku jirta noodhkan ay isbedesho, waan ogaan doonaa.
SetData. Waxaan dejineynaa xogta, dhig "-1", i.e. ma hubinno nooca, waxaan u maleyneynaa inaan mar walba haysanno hal qaabeyn, uma baahnid inaan kaydinno qaabab badan. Haddii aad u baahan tahay inaad kaydiso wax badan, waxaad u baahan doontaa inaad ku darto heer kale. Halkan waxaan aaminsanahay inuu jiro hal kaliya, sidaas darteed waxaan cusbooneysiineynaa kaliya kii ugu dambeeyay, si aanan u hubin nooca. Waqtigan xaadirka ah, dhammaan macaamiishii hore u diiwaan gashaday waxay helayaan ogeysiis ah in wax iska beddeleen noodhkan. Ka dib markay helaan, waa inay sidoo kale codsadaan xogta mar kale. Ogeysiinta waa in aysan helin xogta lafteeda, laakiin kaliya ogeysiinta isbeddelada. Taas ka dib waa inay waydiiyaan xog cusub.
Xulashada labaad ee isticmaalka asaasiga ah waa xubinnimada kooxda. Waxaan haynaa codsi qaybsan, waxaa jira tiro shaqaale ah waxaanan rabnaa inaan fahanno inay dhamaantood meesha ku jiraan. Sidaa darteed, waa inay isdiiwaangeliyaan inay ka shaqeeyaan codsigayaga. Waxaan sidoo kale rabnaa inaan ka ogaanno, ha noqoto habka Master-ka ama meel kale, dhammaan shaqaalaha firfircoon ee aan hadda haysanno.
Sideen u samaynaa tan? Codsiga, waxaanu u abuurnaa noodhka shaqaalaha oo aanu ku darsanay sublevel halkaas anagoo adeegsanayna habka abuurista. Khalad baa iga galay duleelka Halkan waxaad u baahan tahay isku xig xiga cadee, markaa dhammaan shaqaalaha ayaa mid mid loo abuuri doonaa. Codsiga, codsashada dhammaan xogta ku saabsan carruurta noodhkan, waxay helaysaa dhammaan shaqaalaha firfircoon ee jira.
Tani waa sida ugu xun ee fulinta sida tan loogu samayn karo Java code. Aan ka bilowno dhamaadka, habka ugu muhiimsan. Tani waa fasalkayaga, aynu abuurno habkeeda. Sida doodda koowaad waxaan isticmaalnaa martigeliyaha, halka aan isku xireyno, i.e. waxaan u dhignay dood ahaan. Doodda labaadna waa magaca kooxda.
Sidee buu xiriirku u dhacaa? Tani waa tusaale fudud oo API ah oo la isticmaalo. Wax walba waa sahlan yihiin halkan. Waxaa jira ZooKeeper heerka caadiga ah. Waxaan u gudbinay martigaliyayaasha. Oo wakhtiga ka dhig, tusaale ahaan, ilaa 5 sekan. Waxaana leenahay xubin la yiraahdo ConnectSignal. Asal ahaan, waxaan abuurnaa koox jidka la kala qaado. Xog kuma qorno halkaas, inkastoo wax la qori karay. Iyo noodhka halkan waa nooca joogtada ah. Asal ahaan, tani waa noodhka caadiga ah ee caadiga ah oo jiri doona mar kasta. Tani waa meesha fadhiga laga abuuray. Tani waa hirgelinta macmiilka laftiisa. Macmiilkayagu waxa uu soo diri doona fariimo xilliyeedka ah oo tilmaamaya in fadhigu nool yahay. Marka aan dhammeyno fadhiga, waxaan u yeernaa meel dhow oo taasi waa, fadhigu wuu dhacayaa. Tani waa haddii ay wax nagu dhacaan, si ZooKeeper uu u ogaado oo uu u gooyo fadhiga.
Sidee loo xiraa kheyraadka? Halkan wax waliba way yara adag yihiin. Waxaan leenahay shaqaale kooxeed, waxaa jira xoogaa kheyraad ah oo aan dooneyno inaan xirno. Si tan loo sameeyo, waxaan abuurnaa noode gaar ah, tusaale ahaan, loo yaqaan lock1. Haddii aan awoodnay inaan abuurno, markaa waxaan helnay quful halkan. Oo haddii aan awoodin inaan abuurno, ka dibna shaqaaluhu wuxuu isku dayaa inuu heloData halkan, iyo tan iyo mar hore ayaa la abuuray, ka dibna waxaan ku dhejineynaa ilaaliye halkan iyo xilliga xaaladda node-kan isbeddelayo, waan ogaan doonaa. Oo waxaan isku dayi karnaa inaan helno waqti aan ku soo celino. Haddii aan qaadanay noodhkan, qaadanay qufulkan, ka dib markaan u baahnayn qufulka, waanu ka tagi doonaa, maadaama qanjidhku uu jiro kaliya fadhiga dhexdiisa. Sidaas awgeed, way baaba'aysaa. Iyo macmiil kale, oo ku dhex jira qaab dhismeedka kalfadhi kale, wuxuu awoodi doonaa inuu qaato qufulka qanjidhkan, ama halkii, wuxuu heli doonaa ogeysiis ah in wax isbedeleen oo uu isku dayi karo inuu sameeyo wakhtiga.
Tusaale kale oo ku saabsan sida aad u dooran karto hoggaamiyaha ugu weyn. Tani way ka yara adag tahay, laakiin sidoo kale waa mid fudud. Maxaa halkan ka socda? Waxaa jira noode weyn oo isu geynaya dhammaan shaqaalaha. Waxaan isku dayeynaa inaan helno xogta ku saabsan hogaamiyaha. Haddii tani ay si guul leh u dhacday, ie. waxaan helnay xog qaar, markaa shaqaalahayagu wuxuu bilaabay inuu raaco hogaamiyahan. Waxa uu aaminsan yahay in uu hore u jiray hoggaamiye.
Haddii hoggaamiyuhu uu u dhintay sabab qaar ka mid ah, tusaale ahaan, uu ka dhacay, markaa waxaan isku daynaa inaan abuurno hoggaamiye cusub. Haddaynu ku guulaysano, markaa shaqaalahayagu wuxuu noqdaa hoggaamiyaha. Oo haddii qof xilligan la joogo uu ku guulaystey inuu abuuro hoggaamiye cusub, markaa waxaan isku daynaa inaan fahamno cidda uu yahay ka dibna raacno isaga.
Halkan waxa ka soo baxa waxa loogu yeedho saamaynta adhiga, tusaale ahaan saamaynta xoolaha, sababtoo ah marka hogaamiyuhu dhinto, kan wakhtiga ugu horeeya ayaa noqon doona hogaamiyaha.
Markaad qabsanayso kheyraad, waxaad isku dayi kartaa inaad isticmaasho hab wax yar ka duwan, kaas oo ah sida soo socota. Tusaale ahaan, waxaan rabnaa inaan helno quful, laakiin iyada oo aan saameyn hert ah. Waxay ka koobnaan doontaa xaqiiqda ah in codsigayagu uu codsado liisaska dhammaan id-yada noodhka ee noodhka hore u jiray ee leh quful. Oo haddii ka hor inta noodhka aan u abuurnay quful uu yahay midka ugu yar ee jaantuska aan helnay, markaa tani waxay ka dhigan tahay in aan qabsanay qufulka. Waxaan hubineynaa inaan helnay quful. Jeeg ahaan, waxaa jiri doona shuruud ah in aqoonsiga aan helnay markii la abuurayay quful cusub uu yar yahay. Oo haddii aan helnay, ka dibna waxaan sii shaqaynaynaa.
Haddii uu jiro id gaar ah oo ka yar qufulkayaga, ka dib waxaan dhignaa goobjooge dhacdadan oo aan sugno ogeysiis ilaa wax isbedelaan. Taasi waa, waxaan helnay qufulkan. Ilaa ay ka dhacayso, ma noqon doonno id ugu hooseeya mana heli doonno qufulka ugu yar, sidaas darteed waxaan awood u yeelan doonnaa inaan galno. Oo haddii xaaladdan aan la daboolin, markaa isla markiiba halkan ayaan tagnaa oo aan isku daynaa inaan mar kale helno qufulkan, sababtoo ah wax ayaa isbeddelay inta lagu jiro wakhtigan.
Maxey ka kooban tahay ZooKeeper? Waxaa jira 4 arrimood oo waaweyn. Tani waa habsocodyada habraaca - Codsiga. Iyo sidoo kale ZooKeeper Atomic Broadcast. Waxaa jira Log Ballan oo dhammaan hawlgallada lagu duubo. Iyo In-memory Replicated DB lafteeda, i.e. database lafteeda halka geedkan oo dhan lagu kaydiyo.
Waxaa xusid mudan in dhammaan hawlgallada qorista ay maraan Processor-ka Codsiga. Oo akhri hawlgallada si toos ah u tagaan in-memory database.
Xogta xogta lafteedu si buuxda ayaa loo soo koobay. Dhammaan dhacdooyinka ZooKeeper waxay kaydiyaan koobiga xogta oo dhammaystiran.
Si loo soo celiyo xogta kaydka shilka ka dib, waxa jira Log Ballanqaad ah. Dhaqanka caadiga ah waa in ka hor inta aan xogta la gelin xusuusta, waxaa lagu qoraa si haddii ay burburto, log this dib loo ciyaari karo oo nidaamka nidaamka dib loo soo celin karo. Waxa kale oo la isticmaalaa sawir-qaadyo xilliyeedka ah ee kaydka xogta.
ZooKeeper Atomic Broadcast waa shay loo isticmaalo in lagu ilaaliyo xogta la soo koobay.
ZAB gudeedku waxa ay ka doorataa hogaamiye marka laga eego dhinaca noodhka ZooKeeper. Noocyada kale waxay noqdaan kuwa raacsan oo waxay ka filayaan ficilada qaar iyada. Haddii ay helaan qoraallo, waxay dhammaantood u gudbiyaan hoggaamiyaha. Wuxuu marka hore sameeyaa qalliin qoraal ah ka dibna wuxuu u diraa fariin ku saabsan waxa iska beddelay xertiisa. Tani, dhab ahaantii, waa in si toos ah loo fuliyaa, tusaale ahaan duubista iyo baahinta hawlgalka wax walba waa in lagu sameeyaa atomically, si loo dammaanad qaado joogtaynta xogta.
Waxa kaliya oo ay socodsiisaa codsiyada qorista. Shaqadeeda ugu weyni waa in ay u beddesho hawlgalka cusboonaysiinta wax kala iibsiga. Tani waa codsi si gaar ah loo soo saaray.
Oo halkan waxaa xusid mudan in idempotency of updates ee hawlgalka la mid ah waa la damaanad qaaday. Waa maxay? Shaygan, haddii la fuliyo laba jeer, waxay yeelan doontaa isla gobolka, i.e. codsiga laftiisa ma beddeli doono. Oo tan waxay u baahan tahay in la sameeyo si haddii ay dhacdo shil, aad dib u bilaabi karto qalliinka, taas oo dib u soo celinaysa isbeddellada dhacay xilligan. Xaaladdan oo kale, xaaladda nidaamku waxay noqon doontaa isku mid, i.e. ma aha in ay dhacdo in taxane isku mid ah, tusaale ahaan, hababka cusboonaysiinta, ay u horseedeen gobollo kala duwan oo u dambeeya nidaamka.
Source: www.habr.com