"Hadoop. ZooKeeper" bhon t-sreath Technostream Mail.Ru Group "Modhan airson giullachd sgaoilte de mhòran dàta ann an Hadoop"

Tha mi a 'moladh gun leugh thu tar-sgrìobhadh na h-òraid "Hadoop. ZooKeeper" bhon t-sreath "Modhan airson làimhseachadh sgaoilte de mhòran dàta ann an Hadoop"

Dè a th’ ann an ZooKeeper, a àite ann an eag-shiostam Hadoop. An fhìrinn mu dheidhinn coimpiutaireachd sgaoilte. Diagram de shiostam sgaoilte àbhaisteach. Duilgheadas ann a bhith a’ co-òrdanachadh siostaman sgaoilte. Duilgheadasan co-òrdanachaidh àbhaisteach. Na prionnsapalan air cùl dealbhadh ZooKeeper. Modail dàta ZooKeeper. brataichean znode. Seiseanan. Client API. Prìomhachasan (rèiteachadh, ballrachd buidhne, glasan sìmplidh, taghadh ceannard, glasadh gun bhuaidh treud). ZooKeeper ailtireachd. Zookeeper DB. ZAB. Neach-làimhseachaidh iarrtas.

An-diugh bruidhnidh sinn mu dheidhinn ZooKeeper. Tha an rud seo glè fheumail. Tha suaicheantas aige, mar toradh Apache Hadoop sam bith. Tha e a’ sealltainn fear.

Roimhe seo, bhruidhinn sinn sa mhòr-chuid air mar a ghabhas dàta a phròiseasadh an sin, mar a stòradh e, is e sin, mar a chleachdas tu e ann an dòigh air choreigin agus obraich còmhla ris ann an dòigh air choireigin. Agus an-diugh bu mhath leam beagan bruidhinn mu dheidhinn tagraidhean sgaoilte togail. Agus is e ZooKeeper aon de na rudan sin a leigeas leat a’ chùis seo a dhèanamh nas sìmplidhe. Is e seo seòrsa de sheirbheis a thathar an dùil airson co-òrdanachadh de sheòrsa air choreigin air eadar-obrachadh phròiseasan ann an siostaman sgaoilte, ann an tagraidhean sgaoilte.

Tha an fheum air leithid de thagraidhean a’ fàs barrachd is barrachd a h-uile latha, is ann mu dheidhinn sin a tha an cùrsa againn. Air an aon làimh, tha MapReduce agus am frèam deiseil seo a’ leigeil leat an iom-fhillteachd seo a chothromachadh agus am prògramadair a shaoradh bho bhith a’ sgrìobhadh prìomhadaichean leithid eadar-obrachadh agus co-òrdanachadh phròiseasan. Ach air an làimh eile, chan eil duine cinnteach nach fheum seo a dhèanamh idir. Cha bhith MapReduce no frèaman deiseil eile an-còmhnaidh a’ dol an àite cuid de chùisean nach gabh a chuir an gnìomh le bhith a’ cleachdadh seo. A’ toirt a-steach MapReduce fhèin agus dòrlach de phròiseactan Apache eile; tha iad, gu dearbh, cuideachd nan tagraidhean air an sgaoileadh. Agus airson sgrìobhadh a dhèanamh nas fhasa, sgrìobh iad ZooKeeper.

Coltach ris a h-uile tagradh co-cheangailte ri Hadoop, chaidh a leasachadh le Yahoo! Tha e a-nis na thagradh oifigeil Apache cuideachd. Chan eil e air a leasachadh cho gnìomhach ri HBase. Ma thèid thu gu JIRA HBase, an uairsin a h-uile latha tha dòrlach de dh ’aithisgean air bug, dòrlach de mholaidhean airson rudeigin a bharrachadh, ie tha beatha sa phròiseact an-còmhnaidh a’ dol air adhart. Agus tha ZooKeeper, air an aon làimh, na thoradh gu math sìmplidh, agus air an làimh eile, tha seo a 'dèanamh cinnteach gu bheil e earbsach. Agus tha e gu math furasta a chleachdadh, agus is e sin as coireach gu bheil e air a thighinn gu bhith na ìre àbhaisteach ann an tagraidhean taobh a-staigh eag-shiostam Hadoop. Mar sin shaoil ​​​​mi gum biodh e feumail ath-sgrùdadh a dhèanamh air gus tuigsinn mar a tha e ag obair agus mar a chleachdas e e.

Seo dealbh bho òraid air choireigin a bh’ againn. Faodaidh sinn a ràdh gu bheil e orthogonal ris a h-uile dad air an do bheachdaich sinn gu ruige seo. Agus tha a h-uile dad a tha air a chomharrachadh an seo, gu ìre no gu ìre, ag obair le ZooKeeper, ie, is e seirbheis a th ’ann a bhios a’ cleachdadh na toraidhean sin uile. Cha bhith HDFS no MapReduce a’ sgrìobhadh na seirbheisean coltach riutha fhèin a dh’ obraicheadh ​​gu sònraichte dhaibh. A rèir sin, thathas a’ cleachdadh ZooKeeper. Agus tha seo a 'sìmpleachadh leasachadh agus cuid de rudan co-cheangailte ri mearachdan.

Cò às a tha seo uile a’ tighinn? Bhiodh e coltach gun do chuir sinn air bhog dà iarrtas aig an aon àm air diofar choimpiutairean, gan ceangal le sreang no ann am mogal, agus tha a h-uile càil ag obair. Ach is e an duilgheadas a th’ ann gu bheil an Lìonra neo-earbsach, agus ma thug thu sùil air an trafaic no ma choimheadas tu air na tha a’ tachairt an sin aig ìre ìosal, mar a bhios teachdaichean ag eadar-obrachadh air an Lìonra, chì thu gu tric gu bheil cuid de phasganan air chall no air an ath-chur. Chan ann airson dad a chaidh protocolaidhean TCP a chruthachadh, a leigeas leat seisean sònraichte a stèidheachadh agus gealltainn gun tèid teachdaireachdan a lìbhrigeadh. Ach co-dhiù, chan urrainn eadhon TCP an-còmhnaidh do shàbhaladh. Tha ùine-ama aig a h-uile dad. Faodaidh an lìonra tuiteam dheth airson greis. Is dòcha gu bheil e dìreach a’ frasadh. Agus tha seo uile a’ ciallachadh nach urrainn dhut a bhith an urra ris an Lìonra a bhith earbsach. 'S e seo am prìomh eadar-dhealachadh bho bhith a' sgrìobhadh co-shìnte iarrtasan a 'ruith air aon choimpiutair no air aon supercomputer, far nach eil Lìonra, far a bheil bus iomlaid dàta nas earbsaiche ann an cuimhne. Agus is e eadar-dhealachadh bunaiteach a tha seo.

Am measg rudan eile, nuair a bhios tu a 'cleachdadh an Lìonra, tha daonnan latency sònraichte. Tha e air an diosg cuideachd, ach tha barrachd dheth aig an Lìonra. Is e beagan ùine dàil a th’ ann an latency, a dh’ fhaodadh a bhith beag no gu math cudromach.

Tha topology lìonra ag atharrachadh. Dè a th 'ann an topology - is e seo suidheachadh an uidheamachd lìonra againn. Tha ionadan dàta ann, tha racaichean ann a tha nan seasamh an sin, tha coinnlearan ann. Faodaidh seo uile a bhith air ath-cheangal, gluasad, msaa Feumaidh seo uile cuideachd a bhith air a ghabhail a-steach. Bidh ainmean IP ag atharrachadh, agus bidh an t-slighe tro bheil an trafaic againn a’ siubhal ag atharrachadh. Feumar seo a thoirt fa-near cuideachd.

Faodaidh an lìonra atharrachadh cuideachd a thaobh uidheamachd. Bho chleachdadh, is urrainn dhomh a ràdh gu bheil na h-innleadairean lìonra againn gu mòr a 'còrdadh ri bhith ag ùrachadh rudeigin mu na coinnlean bho àm gu àm. Gu h-obann thàinig firmware ùr a-mach agus cha robh ùidh shònraichte aca ann an cuid de bhuidheann Hadoop. Tha an obair aca fhèin. Dhaibh, is e am prìomh rud gu bheil an Lìonra ag obair. A rèir sin, tha iad airson rudeigin ath-luchdachadh suas an sin, frasadh a dhèanamh air a’ bhathar-cruaidh aca, agus bidh am bathar-cruaidh cuideachd ag atharrachadh bho àm gu àm. Feumar seo uile a thoirt fa-near ann an dòigh air choreigin. Bidh seo uile a’ toirt buaidh air an tagradh sgaoilte againn.

Mar as trice bidh daoine a thòisicheas ag obair le tòrr dàta airson adhbhar air choireigin den bheachd gu bheil an eadar-lìn gun chrìoch. Ma tha faidhle de ghrunn terabytes ann, faodaidh tu a thoirt chun t-seirbheisiche no coimpiutair agad agus fhosgladh le bhith a’ cleachdadh cat agus faire. Tha mearachd eile ann Vim thoir sùil air na clàran. Na dèan seo a-riamh oir tha e dona. Leis gu bheil Vim a’ feuchainn ri bufair a h-uile càil, luchdaich a h-uile càil na chuimhne, gu sònraichte nuair a thòisicheas sinn a’ gluasad tron ​​log seo agus a’ coimhead airson rudeigin. Is iad seo rudan a tha air an dìochuimhneachadh, ach is fhiach beachdachadh orra.

Tha e nas fhasa aon phrògram a sgrìobhadh a ruitheas air aon choimpiutair le aon phròiseasar.

Nuair a dh'fhàsas an siostam againn, tha sinn airson a h-uile càil a cho-shìnteadh, agus a cho-shìnteadh chan ann a-mhàin air coimpiutair, ach cuideachd air brabhsair. Tha a 'cheist ag èirigh: ciamar a cho-òrdanachadh a' chùis seo? Is dòcha nach bi na tagraidhean againn eadhon ag eadar-obrachadh le chèile, ach ruith sinn grunn phròiseasan aig an aon àm air grunn luchd-frithealaidh. Agus ciamar a nì thu sgrùdadh gu bheil a h-uile càil a 'dol gu math dhaibh? Mar eisimpleir, bidh iad a 'cur rudeigin thairis air an eadar-lìon. Feumaidh iad sgrìobhadh mun stàit aca an àiteigin, mar eisimpleir, ann an seòrsa de stòr-dàta no log, an uairsin cruinnich an log seo agus an uairsin dèan sgrùdadh air an àiteigin. A bharrachd air an sin, feumaidh sinn a bhith mothachail gu robh am pròiseas ag obair agus ag obair, gu h-obann nochd mearachd ann no gun do thuit e, an uairsin dè cho luath sa gheibh sinn a-mach mu dheidhinn?

Tha e soilleir gum faodar seo uile a sgrùdadh gu sgiobalta. Tha seo math cuideachd, ach tha sgrùdadh na rud cuibhrichte a leigeas leat sùil a chumail air cuid de rudan aig an ìre as àirde.

Nuair a tha sinn airson gum bi na pròiseasan againn a 'tòiseachadh a' conaltradh ri chèile, mar eisimpleir, gus beagan dàta a chuir gu chèile, tha a 'cheist ag èirigh cuideachd - ciamar a thachras seo? Am bi suidheachadh cinnidh de sheòrsa air choreigin ann, an dèan iad ath-sgrìobhadh air a chèile, an ruig an dàta gu ceart, an tèid dad a chall air an t-slighe? Feumaidh sinn seòrsa de phròtacal a leasachadh, msaa.

Chan e rud beag a th’ ann an co-òrdanachadh nam pròiseasan sin uile. Agus bheir e air an leasaiche a dhol sìos gu ìre eadhon nas ìsle, agus siostaman a sgrìobhadh an dàrna cuid bhon fhìor thoiseach, no chan ann bhon fhìor thoiseach, ach chan eil seo cho sìmplidh.

Ma thig thu suas le algairim criptografach no eadhon ga chuir an gnìomh, an uairsin tilg air falbh e sa bhad, oir is coltaiche nach obraich e dhut. Tha e coltach gum bi dòrlach de mhearachdan ann a dhìochuimhnich thu ullachadh air an son. Na cleachd a-riamh e airson rud sam bith dona oir tha coltas ann gum bi e neo-sheasmhach. Leis gu bheil na h-algorithms uile a tha ann air a bhith air an deuchainn le ùine airson ùine mhòr. Tha e air a bhuaireadh leis a’ choimhearsnachd. Is e cuspair air leth a tha seo. Agus tha e an aon rud an seo. Ma tha e comasach gun a bhith a 'cur an gnìomh seòrsa de shioncronachadh pròiseas thu fhèin, tha e nas fheàrr gun a bhith a' dèanamh seo, oir tha e gu math toinnte agus gad thoirt sìos an t-slighe chrith a tha daonnan a 'lorg mhearachdan.

An-diugh tha sinn a 'bruidhinn mu dheidhinn ZooKeeper. Air an aon làimh, is e frèam a th ’ann, air an làimh eile, is e seirbheis a th’ ann a tha a ’dèanamh beatha nas fhasa don leasaiche agus a’ sìmpleachadh buileachadh loidsig agus co-òrdanachadh ar pròiseasan cho mòr ‘s as urrainn.

Cuimhnichidh sinn cò ris a bhiodh siostam àbhaisteach sgaoilte coltach. Seo na bhruidhinn sinn mu dheidhinn - HDFS, HBase. Tha pròiseas Master ann a bhios a’ riaghladh pròiseasan luchd-obrach agus thràillean. Tha e an urra ri bhith a 'co-òrdanachadh agus a' sgaoileadh ghnìomhan, ag ath-thòiseachadh luchd-obrach, a 'cur air bhog feadhainn ùra, agus a' sgaoileadh an luchd.

Is e rud nas adhartaiche an t-Seirbheis Co-òrdanachaidh, is e sin, gluais an obair co-òrdanachaidh fhèin gu pròiseas air leth, a bharrachd air a bhith a’ ruith seòrsa de chùl-taic no maighstir cùl-taic aig an aon àm, oir faodaidh am Maighstir fàiligeadh. Agus ma thuiteas am Maighstir, chan obraich an siostam againn. Tha sinn a’ ruith cùl-taic. Tha cuid ag ràdh gum feum am Maighstir a bhith air ath-aithris gu cùl-taic. Faodar seo a chur an urra ris an t-Seirbheis Co-òrdanachaidh cuideachd. Ach anns an diagram seo, tha uallach air a’ Mhaighstir fhèin airson an luchd-obrach a cho-òrdanachadh; an seo tha an t-seirbheis a’ co-òrdanachadh gnìomhan mac-samhail dàta.

Is e roghainn nas adhartaiche nuair a bhios an t-seirbheis againn a’ làimhseachadh a h-uile co-òrdanachadh, mar as àbhaist. Tha e an urra ri dèanamh cinnteach gu bheil a h-uile càil ag obair. Agus mura obraich rudeigin, gheibh sinn a-mach mu dheidhinn agus feuchaidh sinn ri faighinn timcheall air an t-suidheachadh seo. Ann an suidheachadh sam bith, tha sinn air fhàgail le Maighstir a bhios ann an dòigh air choreigin ag eadar-obrachadh le tràillean agus as urrainn dàta, fiosrachadh, teachdaireachdan, msaa a chuir tro chuid de sheirbheis.

Tha sgeama eadhon nas adhartaiche ann, nuair nach eil Maighstir againn, tha na nodan uile nam prìomh thràillean, eadar-dhealaichte nan giùlan. Ach feumaidh iad fhathast eadar-obrachadh le chèile, agus mar sin tha beagan seirbheis air fhàgail gus na gnìomhan sin a cho-òrdanachadh. Is dòcha gu bheil Cassandra, a tha ag obair air a 'phrionnsapal seo, a' freagairt air an sgeama seo.

Tha e duilich a ràdh dè na sgeamaichean sin a tha ag obair nas fheàrr. Tha na buannachdan agus na cunntasan aca fhèin aig gach fear.

Agus chan fheum eagal a bhith air cuid de rudan leis a’ Mhaighstir, oir, mar a tha cleachdadh a’ sealltainn, chan eil e cho buailteach a bhith an-còmhnaidh a’ frithealadh. Is e am prìomh rud an seo am fuasgladh ceart a thaghadh airson a bhith a ’toirt aoigheachd don t-seirbheis seo air nód cumhachdach fa leth, gus am bi goireasan gu leòr aige, gus nach bi cothrom aig luchd-cleachdaidh ma tha sin comasach, gus nach cuir iad às don phròiseas seo gun fhiosta. Ach aig an aon àm, ann an leithid de sgeama tha e mòran nas fhasa luchd-obrach a stiùireadh bhon phròiseas Master, ie tha an sgeama seo nas sìmplidh bho shealladh buileachaidh.

Agus is dòcha gu bheil an sgeama seo (gu h-àrd) nas iom-fhillte, ach nas earbsaiche.

Is e am prìomh dhuilgheadas fàilligeadh pàirt. Mar eisimpleir, nuair a chuireas sinn teachdaireachd thairis air an Lìonra, bidh tubaist de sheòrsa air choreigin a’ tachairt, agus cha bhi fios aig an neach a chuir an teachdaireachd an deach an teachdaireachd aige fhaighinn agus dè thachair air taobh a’ ghlacadair, cha bhi fios aige an deach an teachdaireachd a phròiseasadh gu ceart. , i.e. chan fhaigh e dearbhadh sam bith.

A rèir sin, feumaidh sinn an suidheachadh seo a phròiseasadh. Agus is e an rud as sìmplidh am brath seo a chuir air ais agus feitheamh gus am faigh sinn freagairt. Anns a 'chùis seo, chan eilear a' gabhail a-steach a bheil staid a 'ghlacadair air atharrachadh. Faodaidh sinn teachdaireachd a chuir agus an aon dàta a chuir ris dà uair.

Tha ZooKeeper a’ tabhann dhòighean air dèiligeadh ri leithid de dhiùltadh, a nì ar beatha nas fhasa cuideachd.

Mar a chaidh a ràdh beagan na bu tràithe, tha seo coltach ri bhith a 'sgrìobhadh phrògraman ioma-snàithleach, ach is e am prìomh eadar-dhealachadh ann an tagraidhean sgaoilte a bhios sinn a' togail air diofar innealan, is e an lìonra an aon dòigh air conaltradh. Gu bunaiteach, is e ailtireachd co-roinnte a tha seo. Tha a chuimhne fhèin aig gach pròiseas no seirbheis a tha a 'ruith air aon inneal, a diosc fhèin, a phròiseas fhèin, nach eil e a' roinn le duine sam bith.

Ma sgrìobhas sinn prògram ioma-snàthainn air aon choimpiutair, is urrainn dhuinn cuimhne co-roinnte a chleachdadh airson dàta iomlaid. Tha tionndadh co-theacsa againn an sin, faodaidh pròiseasan atharrachadh. Bheir seo buaidh air coileanadh. Air an aon làimh, chan eil leithid de rud anns a 'phrògram air braisle, ach tha duilgheadasan ann leis an Lìonra.

Mar sin, is e rèiteachadh na prìomh dhuilgheadasan a thig am bàrr nuair a thathar a’ sgrìobhadh shiostaman sgaoilte. Tha sinn a’ sgrìobhadh tagradh de sheòrsa air choreigin. Ma tha e sìmplidh, an uairsin bidh sinn a’ còdachadh a h-uile seòrsa de dh’ àireamhan sa chòd, ach tha seo mì-ghoireasach, oir ma cho-dhùnas sinn an àite leth-diog gu bheil sinn ag iarraidh ùine a-mach à aon diog, feumaidh sinn an tagradh ath-chruinneachadh agus cuir a-mach a h-uile càil a-rithist. Is e aon rud a th’ ann nuair a tha e air aon inneal, nuair as urrainn dhut dìreach ath-thòiseachadh, ach nuair a tha mòran innealan againn, feumaidh sinn a h-uile càil a chopaigeadh gu cunbhalach. Feumaidh sinn feuchainn ris an aplacaid a rèiteachadh.

An seo tha sinn a 'bruidhinn mu dheidhinn rèiteachadh statach airson pròiseasan siostam. Chan eil seo gu tur, is dòcha bho shealladh an t-siostaim obrachaidh, is dòcha gur e rèiteachadh statach a th’ ann airson ar pròiseasan, is e sin, is e rèiteachadh a tha seo nach gabh a thogail agus ùrachadh.

Tha rèiteachadh fiùghantach ann cuideachd. Is iad sin na crìochan a tha sinn airson atharrachadh air an itealan gus am bi iad air an togail an sin.

Dè an duilgheadas a th’ ann an seo? Dh'ùraich sinn an rèiteachadh, chuir sinn a-steach e, mar sin dè? Is dòcha gur e an duilgheadas a th’ ann gun do chuir sinn a-steach an config air an aon làimh, ach dhìochuimhnich sinn mun rud ùr, dh’ fhan an config ann. San dàrna h-àite, fhad ‘s a bha sinn ga sgaoileadh a-mach, chaidh an rèiteachadh ùrachadh ann an cuid de dh’ àiteachan, ach chan ann ann an àiteachan eile. Agus chaidh cuid de phròiseasan den tagradh againn a tha a’ ruith air aon inneal ath-thòiseachadh le config ùr, agus an àiteigin le seann fhear. Faodaidh seo leantainn gu bheil an tagradh sgaoilte againn neo-chunbhalach bho shealladh rèiteachaidh. Tha an duilgheadas seo cumanta. Airson rèiteachadh fiùghantach, tha e nas buntainniche oir tha e a’ ciallachadh gum faodar atharrachadh air an itealan.

Is e duilgheadas eile ballrachd buidhne. Bidh an-còmhnaidh seata de luchd-obrach againn, bidh sinn an-còmhnaidh ag iarraidh faighinn a-mach cò dhiubh a tha beò, cò dhiubh a tha marbh. Ma tha Maighstir ann, feumaidh e tuigsinn dè an luchd-obrach as urrainn ath-stiùireadh gu teachdaichean gus an ruith iad àireamhachadh no obrachadh le dàta, agus nach urrainn. Is e duilgheadas a tha ag èirigh gu cunbhalach gum feum fios a bhith againn cò a tha ag obair anns a’ bhuidheann againn.

Is e duilgheadas àbhaisteach eile taghaidhean stiùiriche, nuair a tha sinn airson faighinn a-mach cò a tha os cionn. Is e aon eisimpleir ath-riochdachadh, nuair a tha pròiseas air choreigin againn a gheibh obair sgrìobhaidh agus an uairsin gan ath-riochdachadh am measg phròiseasan eile. Bidh e na cheannard, bidh a h-uile duine eile umhail dha, leanaidh e e. Tha e riatanach pròiseas a thaghadh gus am bi e gun teagamh airson a h-uile duine, gus nach tionndaidh e a-mach gu bheil dà stiùiriche air an taghadh.

Tha ruigsinneachd neo-eisimeileach ann cuideachd. Tha an duilgheadas an seo nas iom-fhillte. Tha leithid de rud ann ri mutex, nuair a bhios tu a’ sgrìobhadh prògraman ioma-snàithleanach agus ag iarraidh cothrom air goireas air choireigin, mar eisimpleir, cealla cuimhne, a bhith cuibhrichte agus air a dhèanamh le dìreach aon snàithlean. An seo dh’ fhaodadh an goireas a bhith rudeigin nas eas-chruthach. Agus cha bu chòir do thagraidhean eadar-dhealaichte bho dhiofar nodan den Lìonra againn ach cothrom sònraichte fhaighinn air goireas sònraichte, agus chan ann gus an urrainn dha a h-uile duine atharrachadh no rudeigin a sgrìobhadh an sin. Is iad seo na glasan ris an canar.

Leigidh ZooKeeper leat na duilgheadasan sin uile fhuasgladh gu ìre no gu ìre. Agus seallaidh mi le eisimpleirean mar a leigeas e leat seo a dhèanamh.

Chan eil primitives bacadh sam bith ann. Nuair a thòisicheas sinn a’ cleachdadh rudeigin, cha bhith am prìomhadail seo a’ feitheamh gus an tachair tachartas sam bith. Nas coltaiche, obraichidh an rud seo gu neo-chinnteach, mar sin a 'leigeil le pròiseasan gun a bhith a' crochadh fhad 'sa tha iad a' feitheamh ri rudeigin. Is e rud gu math feumail a tha seo.

Tha a h-uile iarrtas teachdaiche air a phròiseasadh ann an òrdugh a’ chiudha coitcheann.

Agus tha cothrom aig teachdaichean fios fhaighinn mu atharrachaidhean ann an cuid de stàite, mu atharrachaidhean ann an dàta, mus faic an neach-dèiligidh an dàta atharraichte iad fhèin.

Faodaidh ZooKeeper obrachadh ann an dà dhòigh. Tha a’ chiad fhear leis fhèin, air aon nód. Tha seo goireasach airson deuchainnean. Faodaidh e obrachadh ann am modh cruinneachaidh cuideachd, air àireamh sam bith de nódan. frithealaicheanMura h-eil cruinneachadh againn de 100 inneal, chan fheum e ruith air 100 inneal. Tha e gu leòr beagan innealan a shònrachadh far am faod ZooKeeper ruith. Agus tha e a’ cumail ri prionnsapal ruigsinneachd àrd. Bidh ZooKeeper a’ stòradh leth-bhreac iomlan den dàta air gach eisimpleir a tha a’ ruith. Mìnichidh mi mar a nì e seo nas fhaide air adhart. Chan eil e a’ roinneadh no a’ sgoltadh an dàta. Air an aon làimh, tha seo na ana-cothrom oir chan urrainn dhuinn mòran a stòradh, ach air an làimh eile, chan eil feum air. Chan eil e air a dhealbhadh airson sin; chan e stòr-dàta a th’ ann.

Faodar dàta a thasgadh air taobh an neach-dèiligidh. Is e prionnsapal àbhaisteach a tha seo gus nach cuir sinn stad air an t-seirbheis agus nach luchdaich sinn e leis na h-aon iarrtasan. Mar as trice bidh fios aig teachdaiche snasail mu dheidhinn seo agus ga thasgadh.

Mar eisimpleir, tha rudeigin air atharrachadh an seo. Tha seòrsa de thagradh ann. Chaidh ceannard ùr a thaghadh, a tha cunntachail, mar eisimpleir, airson obair sgrìobhaidh a làimhseachadh. Agus tha sinn airson an dàta ath-riochdachadh. Is e aon fhuasgladh a chuir ann an lùb. Agus bidh sinn an-còmhnaidh a’ ceasnachadh ar seirbheis - a bheil dad air atharrachadh? Tha an dàrna roghainn nas fheàrr. Is e inneal faire a tha seo a leigeas leat fios a chuir gu teachdaichean gu bheil rudeigin air atharrachadh. Is e dòigh nas saoire a tha seo a thaobh goireasan agus nas goireasaiche dha teachdaichean.

Is e neach-dèiligidh an neach-cleachdaidh a bhios a’ cleachdadh ZooKeeper.

Is e am frithealaiche am pròiseas ZooKeeper fhèin.

Is e Znode am prìomh rud ann an ZooKeeper. Tha a h-uile znodes air an stòradh mar chuimhneachan le ZooKeeper agus air an eagrachadh ann an cruth diagram rangachaidh, ann an cruth craoibhe.

Tha dà sheòrsa obrachaidh ann. Is e a’ chiad fhear ùrachadh/sgrìobhadh, nuair a dh’ atharraicheas cuid de dh’ obair staid ar craoibhe. Tha an craobh cumanta.

Agus tha e comasach nach lìon an neach-dèiligidh aon iarrtas agus gu bheil e air a dhì-cheangal, ach gun urrainn dha seisean a stèidheachadh tron ​​​​bheil e ag eadar-obrachadh le ZooKeeper.

Tha modal dàta ZooKeeper coltach ri siostam faidhle. Tha freumh àbhaisteach ann agus an uairsin chaidh sinn mar gum biodh sinn tro na clàran a tha a’ dol bhon fhreumh. Agus an uairsin a 'chatalog den chiad ìre, an dàrna ìre. Tha seo uile znodes.

Faodaidh gach znode beagan dàta a stòradh, mar as trice chan eil e glè mhòr, mar eisimpleir, 10 kilobytes. Agus faodaidh àireamh sònraichte de chlann a bhith aig gach znode.

Bidh znodes a 'tighinn ann an grunn sheòrsachan. Faodaidh iad a bhith air an cruthachadh. Agus nuair a bhios sinn a 'cruthachadh znode, bidh sinn a' sònrachadh an seòrsa dha bu chòir a bhith.

Tha dà sheòrsa ann. Is e a’ chiad fhear am bratach fad-ùine. Tha Znode a’ fuireach taobh a-staigh seisean. Mar eisimpleir, tha an neach-dèiligidh air seisean a stèidheachadh. Agus fhad 's a bhios an seisean seo beò, bidh e ann. Tha seo riatanach gus nach dèan thu rudeigin neo-riatanach. Tha seo cuideachd freagarrach airson amannan nuair a tha e cudromach dhuinn prìomhadaichean dàta a stòradh taobh a-staigh seisean.

Is e an dàrna seòrsa bratach sreathach. Bidh e ag àrdachadh a’ chunntair air an t-slighe chun an znode. Mar eisimpleir, bha eòlaire againn le tagradh 1_5. Agus nuair a chruthaich sinn a’ chiad nód, fhuair e p_1, an dàrna fear - p_2. Agus nuair a chanas sinn ris an dòigh seo gach turas, bidh sinn a 'dol seachad air an t-slighe iomlan, a' comharrachadh dìreach pàirt den t-slighe, agus tha an àireamh seo air àrdachadh gu fèin-ghluasadach oir tha sinn a 'comharrachadh an seòrsa nód - sreath.

Znode cunbhalach. Bidh i an-còmhnaidh beò agus bidh an t-ainm a dh’ innseas sinn dhi.

Is e rud feumail eile am bratach faire. Ma stàlaicheas sinn e, faodaidh an neach-dèiligidh ballrachd a thoirt do chuid de thachartasan airson nód sònraichte. Seallaidh mi dhut nas fhaide air adhart le eisimpleir mar a tha seo air a dhèanamh. Bidh ZooKeeper fhèin ag innse don neach-dèiligidh gu bheil an dàta air an nód air atharrachadh. Ach, chan eil brathan a’ gealltainn gu bheil cuid de dhàta ùr air ruighinn. Tha iad dìreach ag ràdh gu bheil rudeigin air atharrachadh, agus mar sin feumaidh tu fhathast coimeas a dhèanamh eadar dàta nas fhaide air adhart le fiosan air leth.

Agus mar a thuirt mi mu thràth, tha òrdugh an dàta air a dhearbhadh le kilobytes. Chan eil feum air dàta teacsa mòr a stòradh an sin, oir chan e stòr-dàta a th’ ann, is e frithealaiche co-òrdanachaidh gnìomh a th’ ann.

Leig dhomh beagan innse dhut mu sheiseanan. Ma tha grunn fhrithealaichean againn, is urrainn dhuinn gluasad gu follaiseach bho aon fhrithealaiche gu frithealaiche eile. frithealaiche, a’ cleachdadh an ID seisein. Tha seo gu math goireasach.

Tha ùine de sheòrsa air choreigin aig gach seisean. Tha seisean air a mhìneachadh le co-dhiù a chuireas an neach-dèiligidh rud sam bith chun t-seirbheisiche tron ​​​​t-seisean sin. Mura h-eil e a 'toirt seachad rud sam bith rè na h-ùine-ama, bidh an seisean a' tuiteam dheth, no faodaidh an neach-dèiligidh e fhèin a dhùnadh.

Chan eil na h-uimhir de fheartan aige, ach faodaidh tu diofar rudan a dhèanamh leis an API seo. Tha an gairm sin a chunnaic sinn a’ cruthachadh a’ cruthachadh znode agus a’ gabhail trì paramadairean. Is e seo an t-slighe chun an znode, agus feumaidh e a bhith air a shònrachadh gu h-iomlan bhon fhreumh. Agus cuideachd seo beagan dàta a tha sinn airson a ghluasad an sin. Agus an seòrsa bratach. Agus an dèidh cruthachadh bidh e a 'tilleadh an t-slighe chun an znode.

San dàrna àite, faodaidh tu a sguabadh às. Is e an cleas an seo gum faod an dàrna paramadair, a bharrachd air an t-slighe chun an znode, an dreach a shònrachadh. Mar sin, thèid an znode sin a dhubhadh às ma tha an dreach aige a ghluais sinn co-ionann ris an fhear a tha ann dha-rìribh.

Mura h-eil sinn airson sùil a thoirt air an tionndadh seo, bidh sinn dìreach a’ dol seachad air an argamaid “-1”.

San treas àite, bidh e a’ dèanamh cinnteach gu bheil znode ann. Tillidh e fìor ma tha an nód ann, ceàrr air dhòigh eile.

Agus an uairsin nochdaidh faire bratach, a leigeas leat sùil a chumail air an nód seo.

Faodaidh tu am bratach seo a shuidheachadh eadhon air nód nach eil ann agus fios fhaighinn nuair a nochdas e. Faodaidh seo a bhith feumail cuideachd.

Tha dùbhlan no dhà eile ann faigh Dàta. Tha e soilleir gun urrainn dhuinn dàta fhaighinn tro znode. Faodaidh tu cuideachd faire bratach a chleachdadh. Anns a 'chùis seo, cha stàlaich e mura h-eil nód ann. Mar sin, feumaidh tu tuigsinn gu bheil e ann, agus an uairsin a 'faighinn dàta.

Tha cuideachd SetData. An seo tha sinn a 'dol seachad air dreach. Agus ma bheir sinn seachad seo, thèid an dàta air an znode de dhreach sònraichte ùrachadh.

Faodaidh tu cuideachd "-1" a shònrachadh gus an t-seic seo a thoirmeasg.

Tha dòigh feumail eile faigh clann. Gheibh sinn cuideachd liosta de na znodes uile a bhuineas dha. Is urrainn dhuinn sùil a chumail air seo le bhith a’ suidheachadh uaireadair brataich.

Agus dòigh-obrach sioncronaich a’ ceadachadh a h-uile atharrachadh a chuir a-steach aig an aon àm, mar sin a’ dèanamh cinnteach gu bheil iad air an sàbhaladh agus gu bheil an dàta gu lèir air atharrachadh gu tur.

Ma tharraingeas sinn analogies le prògramadh cunbhalach, an uairsin nuair a chleachdas tu dòighean leithid sgrìobhadh, a sgrìobhas rudeigin gu diosc, agus às deidh dha freagairt a thilleadh thugad, chan eil gealltanas sam bith ann gu bheil thu air an dàta a sgrìobhadh gu diosc. Agus eadhon nuair a tha an siostam-obrachaidh cinnteach gu bheil a h-uile càil air a sgrìobhadh, tha uidheamachdan anns an diosg fhèin far a bheil am pròiseas a 'dol tro shreathan de bhufairean, agus dìreach às deidh sin thèid an dàta a chuir air an diosg.

Thathas a’ cleachdadh gairmean asyncronach sa mhòr-chuid. Leigidh seo leis an neach-dèiligidh obrachadh ann an co-shìnte le diofar iarrtasan. Faodaidh tu an dòigh sioncronaich a chleachdadh, ach chan eil e cho cinneasach.

Is e an dà ghnìomhachd air an do bhruidhinn sinn ùrachadh / sgrìobhadh, a bhios ag atharrachadh dàta. Is iad sin cruthaich, setData, sioncranachadh, cuir às. Agus tha leughadh ann, getData, getChildren.

A-nis beagan eisimpleirean air mar as urrainn dhut prìomhadaichean a dhèanamh airson a bhith ag obair ann an siostam sgaoilte. Mar eisimpleir, co-cheangailte ri rèiteachadh rudeigin. Tha neach-obrach ùr air nochdadh. Chuir sinn ris an inneal agus thòisich sinn air a 'phròiseas. Agus tha na trì ceistean a leanas ann. Ciamar a tha e a’ ceasnachadh ZooKeeper airson rèiteachadh? Agus ma tha sinn airson an rèiteachadh atharrachadh, ciamar a dh'atharraicheas sinn e? Agus às deidh dhuinn atharrachadh, ciamar a gheibh an luchd-obrach sin a bha againn e?

Tha ZooKeeper a’ dèanamh seo gu ìre mhath furasta. Mar eisimpleir, tha ar craobh znode ann. Tha nód airson an tagraidh againn an seo, bidh sinn a’ cruthachadh nód a bharrachd ann, anns a bheil dàta bhon rèiteachadh. Faodaidh no nach bi iad sin nam paramadairean fa leth. Leis gu bheil am meud beag, mar as trice tha meud an rèiteachaidh beag cuideachd, agus mar sin tha e comasach a stòradh an seo.

Tha thu a 'cleachdadh an dòigh-obrach faigh Dàta gus an rèiteachadh airson an neach-obrach fhaighinn bhon nód. Suidhich gu fìor. Mura h-eil an nód seo ann airson adhbhar air choireigin, thèid innse dhuinn mu dheidhinn nuair a nochdas e, no nuair a dh’ atharraicheas e. Ma tha sinn airson faighinn a-mach gu bheil rudeigin air atharrachadh, tha sinn ga chuir gu fìor. Agus ma dh'atharraicheas an dàta anns an nód seo, bidh fios againn mu dheidhinn.

SetData. Shuidhich sinn an dàta, seata “-1”, i.e. cha bhith sinn a’ sgrùdadh an dreach, tha sinn a’ gabhail ris gu bheil aon rèiteachadh againn an-còmhnaidh, chan fheum sinn mòran rèiteachaidhean a stòradh. Ma dh'fheumas tu tòrr a stòradh, feumaidh tu ìre eile a chur ris. An seo tha sinn den bheachd nach eil ann ach aon, agus mar sin cha bhith sinn ag ùrachadh ach an tè as ùire, gus nach toir sinn sùil air an dreach. Aig an àm seo, gheibh a h-uile neach-dèiligidh a tha air ballrachd a dhèanamh roimhe fios gu bheil rudeigin air atharrachadh san nód seo. Agus às deidh dhaibh fhaighinn, feumaidh iad cuideachd an dàta iarraidh a-rithist. Is e am fios nach fhaigh iad an dàta fhèin, ach dìreach fios mu atharrachaidhean. Às deidh seo feumaidh iad dàta ùr iarraidh.

Tha an dàrna roghainn airson cleachdadh na prìomhadail ballrachd buidhne. Tha iarrtas sgaoilte againn, tha dòrlach de luchd-obrach ann agus tha sinn airson tuigsinn gu bheil iad uile nan àite. Mar sin, feumaidh iad iad fhèin a chlàradh gu bheil iad ag obair san tagradh againn. Agus tha sinn cuideachd airson faighinn a-mach, aon chuid bhon phròiseas Master no an àiteigin eile, mu na h-obraichean gnìomhach a tha againn an-dràsta.

Ciamar a nì sinn seo? Airson an tagradh, bidh sinn a’ cruthachadh nód luchd-obrach agus a’ cur fo-ìre an sin a’ cleachdadh an dòigh cruthachaidh. Tha mearachd agam air an t-sleamhnag. An seo feumaidh tu sreathach sònraich, an sin cruthaichear a h-uile neach-obrach aon ri aon. Agus tha an tagradh, ag iarraidh a h-uile dàta mu chlann an nód seo, a 'faighinn a h-uile neach-obrach gnìomhach a tha ann.

Tha seo na bhuileachadh cho uamhasach air mar a ghabhas seo a dhèanamh ann an còd Java. Feuch an tòisich sinn bhon deireadh, leis a 'phrìomh dhòigh. Is e seo an clas againn, cruthaichidh sinn a dhòigh. Mar a’ chiad argamaid bidh sinn a’ cleachdadh aoigheachd, far a bheil sinn a’ ceangal, ie bidh sinn ga shuidheachadh mar argamaid. Agus is e an dàrna argamaid ainm na buidhne.

Ciamar a tha an ceangal a’ tachairt? Seo eisimpleir sìmplidh den API a thathas a’ cleachdadh. Tha a h-uile dad gu math sìmplidh an seo. Tha ZooKeeper clas àbhaisteach ann. Bidh sinn a 'toirt seachad luchd-aoigheachd dha. Agus suidhich an ùine-ama, mar eisimpleir, gu 5 diogan. Agus tha ball againn ris an canar connectedSignal. Gu bunaiteach, bidh sinn a’ cruthachadh buidheann air an t-slighe tar-chuir. Cha bhith sinn a’ sgrìobhadh dàta an sin, ged a dh’ fhaodadh rudeigin a bhith air a sgrìobhadh. Agus tha an nód an seo den t-seòrsa leantainneach. Gu bunaiteach, is e nòta àbhaisteach àbhaisteach a tha seo a bhios ann fad na h-ùine. Seo far a bheil an seisean air a chruthachadh. Is e seo buileachadh an neach-dèiligidh fhèin. Cuiridh an neach-dèiligidh againn teachdaireachdan bho àm gu àm a’ nochdadh gu bheil an seisean beò. Agus nuair a chuireas sinn crìoch air an t-seisean, bidh sinn a’ gairm dlùth agus sin e, tha an seisean a’ tuiteam dheth. Tha seo air eagal gun tuit rudeigin dhuinn, gus am faigh ZooKeeper a-mach mu dheidhinn agus gun cuir e stad air an t-seisean.

Ciamar a ghlasadh goireas? An seo tha a h-uile dad beagan nas iom-fhillte. Tha seata de luchd-obrach againn, tha goireas ann a tha sinn airson a ghlasadh. Gus seo a dhèanamh, bidh sinn a 'cruthachadh nód fa leth, mar eisimpleir, ris an canar lock1. Nam b’ urrainn dhuinn a chruthachadh, fhuair sinn glas an seo. Agus mura b 'urrainn dhuinn a chruthachadh, bidh an neach-obrach a' feuchainn ri faighinn dàta às an seo, agus bhon a chaidh an nód a chruthachadh mar-thà, cuiridh sinn neach-faire an seo agus nuair a dh'atharraicheas staid an nód seo, bidh fios againn mu dheidhinn. Agus faodaidh sinn feuchainn ri ùine a bhith againn airson ath-chruthachadh. Ma ghabhas sinn an nód seo, ghabh sinn a’ ghlas seo, an uairsin às deidh dhuinn nach bi feum againn air a’ ghlas tuilleadh, trèigidh sinn e, leis nach eil an nód ann ach taobh a-staigh an t-seisein. A rèir sin, thèid e à sealladh. Agus bidh neach-dèiligidh eile, taobh a-staigh frèam seisean eile, comasach air a 'ghlas a ghabhail air an nód seo, no an àite sin, gheibh e fios gu bheil rudeigin air atharrachadh agus faodaidh e feuchainn ri dhèanamh ann an ùine.

Eisimpleir eile air mar as urrainn dhut am prìomh stiùiriche a thaghadh. Tha seo beagan nas iom-fhillte, ach cuideachd gu math sìmplidh. Dè tha dol an seo? Tha prìomh nód ann a tha a 'cruinneachadh an luchd-obrach gu lèir. Tha sinn a’ feuchainn ri dàta fhaighinn mun stiùiriche. Ma thachair seo gu soirbheachail, ie fhuair sinn beagan dàta, an uairsin bidh an neach-obrach againn a ’tòiseachadh a’ leantainn an stiùiriche seo. Tha e den bheachd gu bheil ceannard ann mu thràth.

Ma bhàsaich an ceannard airson adhbhar air choireigin, mar eisimpleir, thuit e dheth, feuchaidh sinn ri ceannard ùr a chruthachadh. Agus ma shoirbhicheas leinn, bidh an neach-obrach againn na stiùiriche. Agus ma chaidh aig cuideigin aig an àm seo air stiùiriche ùr a chruthachadh, feuchaidh sinn ri tuigsinn cò a th’ ann agus an uairsin lean e e.

An seo tha a’ bhuaidh ris an canar treud ag èirigh, i.e. a’ bhuaidh treud, oir nuair a bhàsaicheas ceannard, bidh am fear a bhios an toiseach na cheannard.

Nuair a bhios tu a 'glacadh goireas, faodaidh tu feuchainn ri dòigh-obrach beagan eadar-dhealaichte a chleachdadh, a tha mar a leanas. Mar eisimpleir, tha sinn airson glas fhaighinn, ach às aonais buaidh hert. Bidh e a’ toirt a-steach gum bi an tagradh againn ag iarraidh liostaichean de na h-ìomhaighean nòta gu lèir airson nód a tha ann mar-thà le glas. Agus mas e ron sin an nód airson an do chruthaich sinn glas an fheadhainn as lugha den t-seata a fhuair sinn, tha seo a’ ciallachadh gu bheil sinn air a’ ghlas a ghlacadh. Bidh sinn a’ dèanamh cinnteach gu bheil sinn air glas fhaighinn. Mar sheic, bidh cumha ann gur e glè bheag an id a fhuair sinn nuair a chruthaich sinn glas ùr. Agus ma fhuair sinn e, bidh sinn ag obair nas fhaide.

Ma tha id sònraichte ann a tha nas lugha na a’ ghlas againn, an uairsin cuiridh sinn neach-faire air an tachartas seo agus feitheamh ri fios gus an atharraich rudeigin. Is e sin, fhuair sinn a’ ghlas seo. Agus gus an tuit e dheth, cha bhith sinn mar an id as ìsle agus chan fhaigh sinn an ìre as lugha de ghlas, agus mar sin bidh e comasach dhuinn logadh a-steach. Agus mura tèid an suidheachadh seo a choileanadh, thèid sinn an seo sa bhad agus feuchaidh sinn ris a’ ghlas seo fhaighinn a-rithist, oir is dòcha gu bheil rudeigin air atharrachadh aig an àm seo.

Dè a tha ann an ZooKeeper? Tha 4 prìomh rudan ann. Tha seo a 'giollachd pròiseasan - Iarrtas. Agus cuideachd ZooKeeper Atomic Broadcast. Tha Log Gealltanas ann far a bheil a h-uile gnìomh air a chlàradh. Agus an In-memory Replicated DB fhèin, ie an stòr-dàta fhèin far a bheil a’ chraobh gu lèir seo air a stòradh.

'S fhiach toirt fa-near gu bheil a h-uile obair sgrìobhaidh a' dol tron ​​phròiseas iarrtas. Agus bidh gnìomhachd leughaidh a’ dol gu dìreach chun stòr-dàta In-memory.

Tha an stòr-dàta fhèin làn ath-aithris. Bidh a h-uile suidheachadh de ZooKeeper a’ stòradh leth-bhreac iomlan den dàta.

Gus an stòr-dàta a thoirt air ais às deidh tubaist, tha log Commit ann. Is e cleachdadh àbhaisteach mus tèid dàta a-steach do chuimhne, gu bheil e sgrìobhte an sin ma thuiteas e, faodar an loga seo a chluich air ais agus staid an t-siostaim ath-nuadhachadh. Agus thathas cuideachd a’ cleachdadh dealbhan bho àm gu àm den stòr-dàta.

Tha ZooKeeper Atomic Broadcast na rud a thathas a’ cleachdadh gus dàta ath-riochdachadh a chumail.

Bidh ZAB a’ taghadh stiùiriche air an taobh a-staigh bho shealladh an nód ZooKeeper. Bidh nodan eile gu bhith nan luchd-leanmhainn aice agus bidh iad an dùil cuid de ghnìomhan bhuaipe. Ma gheibh iad tagraidhean, cuiridh iad iad uile chun an stiùiriche. Bidh e an toiseach a’ dèanamh obair sgrìobhaidh agus an uairsin a’ cur teachdaireachd mu na tha air atharrachadh chun luchd-leanmhainn aige. Feumaidh seo, gu dearbh, a bhith air a dhèanamh gu atamach, i.e. feumar obrachadh clàraidh is craolaidh an rud gu lèir a dhèanamh gu atamach, agus mar sin a’ gealltainn cunbhalachd dàta.

Bidh e a’ pròiseasadh iarrtasan sgrìobhaidh a-mhàin. Is e a phrìomh obair gun atharraich e an gnìomhachd gu bhith na ùrachadh malairt. Is e iarrtas sònraichte a tha seo.

Agus an seo is fhiach a bhith mothachail gu bheil neo-chomasachd ùrachaidhean airson an aon ghnìomhachd cinnteach. Dè th' ann? Ma thèid a chuir gu bàs dà uair, bidh an aon staid aig an rud seo, i.e. chan atharraich an t-iarrtas fhèin. Agus feumar seo a dhèanamh gus an urrainn dhut an obair ath-thòiseachadh ma thachras tubaist, agus mar sin na h-atharrachaidhean a tha air tuiteam an-dràsta a thoirt air ais. Anns a 'chùis seo, bidh staid an t-siostaim a' fàs mar an ceudna, is e sin, cha bu chòir gum biodh sreath den aon rud, mar eisimpleir, pròiseasan ùrachadh, a 'leantainn gu diofar stàitean deireannach den t-siostam.

Source: www.habr.com