Ou te fautua atu ia e faitau le tusitusiga o le lauga "Hadoop. ZooKeeper" mai le faasologa "Metotia mo le tufatufaina atu o le tele o voluma o faʻamaumauga i Hadoop"
O le a le ZooKeeper, o lona nofoaga i le Hadoop ecosystem. Le moni e uiga i komepiuta tufatufaina. Ata o se faiga tufatufaina masani. Faigata i le faamaopoopoina o faiga tufatufaina. Fa'afitauli masani fa'amaopoopo. O mataupu faavae i tua o le mamanu o ZooKeeper. Fa'ata'ita'iga fa'amaumauga a le ZooKeeper. fu'a znode. Sauniga. Client API. Primitives (fa'atulagaina, sui vaega, loka faigofie, palota ta'ita'i, loka e aunoa ma se aafiaga lafu). Fa'ata'ita'iga a le ZooKeeper. ZooKeeper DB. ZAB. Talosaga le pule.
O le asō o le a tatou talanoa e uiga i ZooKeeper. E aoga tele lenei mea. E, pei o soʻo se Apache Hadoop oloa, ei ai se logo. O loo faaalia ai se tamaloa.
A'o le'i faia lenei mea, sa masani ona matou talanoa e uiga i le auala e mafai ai ona fa'agaoioia fa'amaumauga iina, pe fa'afefea ona teuina, o lona uiga, pe fa'apefea ona fa'aogaina ma galulue fa'atasi i se isi itu. Ma o le asō ou te fia talanoa laitiiti e uiga i le fausiaina o talosaga tufatufaina. Ma o le ZooKeeper o se tasi o na mea e mafai ai e oe ona faʻafaigofie lenei mataupu. O se ituaiga o auaunaga e faʻamoemoeina mo se ituaiga o faʻamaopoopoina o fegalegaleaiga o faʻagasologa i faiga faʻasalalau, i faʻasalalauga faʻasalalau.
O le manaoga mo ia talosaga ua faatupulaia pea i aso uma, o le uiga tonu lena o le tatou vasega. I le tasi itu, MapReduce ma lenei faʻatulagaga ua saunia e mafai ai e oe ona faʻaleleia lenei lavelave ma faʻasaʻoloto le tagata fai polokalame mai le tusiaina o mea muamua e pei o fegalegaleaiga ma le faʻamaopoopoina o faiga. Ae i le isi itu, e leai se tasi e faʻamautinoa e le tatau ona faia lenei mea. MapReduce poʻo isi faʻatulagaga ua saunia e le o taimi uma e suia atoa ai nisi o mataupu e le mafai ona faʻaaogaina i lenei mea. E aofia ai le MapReduce lava ia ma le tele o isi poloketi a Apache latou, o le mea moni, o loʻo tufatufaina atu foʻi talosaga. Ma ina ia faafaigofie le tusitusi, na latou tusia ai le ZooKeeper.
E pei o talosaga uma e fesoʻotaʻi ma Hadoop, na atiaʻe e Yahoo! Ua avea nei foi ma se talosaga aloaia a Apache. E le o fa'atupuina malosi e pei o le HBase. Afai e te alu i le JIRA HBase, o aso uma o loʻo i ai le tele o lipoti o pusa, o le tele o talosaga e faʻaleleia ai se mea, o lona uiga o le olaga i le poloketi o loʻo faʻaauau pea. Ma o le ZooKeeper, i le tasi itu, o se oloa faigofie, ma i le isi itu, e mautinoa ai lona faʻamaoni. Ma e faigofie tele ona faʻaoga, o le mea lea ua avea ai ma faʻataʻitaʻiga i talosaga i totonu o le Hadoop ecosystem. O lea na ou manatu ai e aoga le toe iloiloina e malamalama ai pe faʻapefea ona galue ma faʻaogaina.
O se ata lea mai se lauga na matou faia. E mafai ona tatou fai atu e fa'atatau i mea uma ua tatou iloiloina i le taimi nei. Ma o mea uma o loʻo faʻaalia iinei, i le tasi tikeri poʻo le isi, e galulue ma ZooKeeper, o lona uiga, o se auaunaga e faʻaaogaina uma nei oloa. E le tusia e le HDFS poʻo le MapReduce a latou lava auaunaga tutusa e aoga faapitoa mo i latou. E tusa ai, ua faʻaaogaina le ZooKeeper. Ma o lenei mea e faʻafaigofie ai le atinaʻe ma nisi mea e fesoʻotaʻi ma mea sese.
O fea e sau ai nei mea uma? E foliga mai na matou faʻalauiloaina ni talosaga se lua i luga o komepiuta eseese, faʻafesoʻotaʻi i latou i se manoa poʻo i totonu o se mata, ma e aoga mea uma. Ae o le faʻafitauli o le Network e le faʻatuatuaina, ma afai e te sogisogi i le taʻavale pe vaʻavaʻai i mea o loʻo tupu iina i se tulaga maualalo, pe faʻafefea ona fegalegaleai tagata faʻatau i luga o le Network, e masani ona e vaʻaia o nisi o afifi ua leiloloa pe toe lafoina. E le o se mea na faia ai TCP protocols, lea e mafai ai ona e faʻatuina se sauniga faapitoa ma faʻamautinoa le tuʻuina atu o feʻau. Ae i soo se tulaga, e oo lava i le TCP e le mafai ona laveaʻiina oe i taimi uma. O mea uma lava e iai se taimi e malolo ai. E mafai ona pa'u ese le upega mo sina taimi. Atonu na o le emo. Ma o nei mea uma e taʻitaʻia ai le mea moni e le mafai ona e faʻalagolago i le Network e faʻalagolago. O le eseesega tele lea mai le tusiaina o talosaga tutusa o loʻo taʻavale i luga o le tasi komepiuta poʻo luga o le tasi supercomputer, pe a leai se Network, lea o loʻo i ai se pasi faʻamatalaga faʻamatalaga sili atu ona faatuatuaina i le manatua. Ma o se eseesega taua lea.
Faatasi ai ma isi mea, pe a faʻaaogaina le Network, o loʻo i ai i taimi uma se tulaga faʻapitoa. O loʻo iai foʻi le tisiki, ae o le Network e tele atu. Latency o se taimi tuai, lea e mafai ona la'ititi pe taua tele.
O lo'o suia le topology network. O le a le topology - o le tuʻuina lea o a tatou mea faigaluega fesoʻotaʻiga. O loʻo i ai nofoaga faʻamaumauga, o loʻo i ai fata e tu ai iina, o loʻo i ai moligao. O nei mea uma e mafai ona toe faʻafesoʻotaʻi, faʻanofo, ma isi. E tatau foi ona amanaia mea uma nei. Suiga igoa IP, o le auala lea e sui ai a tatou auala. E tatau foi ona amanaia lenei mea.
E mafai fo'i ona sui le feso'ota'iga i tulaga o meafaigaluega. Mai le faʻataʻitaʻiga, e mafai ona ou fai atu o matou inisinia fesoʻotaʻiga e fiafia tele e faʻafouina i lea taimi ma lea taimi se mea i luga o moligao. Na faʻafuaseʻi ona sau se firmware fou ma latou te leʻi fiafia tele i se vaega o Hadoop. E iai a latou lava galuega. Mo i latou, o le mea autu e galue le Network. E tusa ai, latou te mananaʻo e toe faʻapipiʻi se mea iina, fai se moli i luga oa latou meafaigaluega, ma o meafaigaluega e suia foi i lea taimi ma lea taimi. O nei mea uma e tatau ona amanaia. O nei mea uma e a'afia ai a tatou talosaga tufatufaina.
E masani lava o tagata e amata ona galulue ma le tele o faʻamaumauga mo nisi mafuaaga e talitonu o le Initaneti e leai se tapulaa. Afai ei ai se faila e tele terabytes iina, ona mafai lea ona e ave i lau server poʻo le komepiuta ma tatala faʻaaoga pusi ma matamata. O lo'o iai le isi mea sese Vim vaai i ogalaau. Aua le faia lenei mea ona e leaga. Ona o Vim e taumafai e faʻafefe mea uma, uta mea uma i le mafaufau, aemaise lava pe a amata ona tatou faʻaogaina lenei ogalaau ma suʻe se mea. O mea ia ua galo, ae aoga le mafaufau.
E sili atu ona faigofie le tusiaina o se polokalame e tasi e alu i luga o le komepiuta e tasi ma le masini e tasi.
A tuputupu aʻe la tatou faiga, tatou te mananaʻo e faʻatusa uma, ma faʻatusatusa e le gata i luga o se komepiuta, ae faʻapea foʻi i luga o se fuifui. O le fesili e tulai mai: e faapefea ona faamaopoopo lenei mataupu? O a matou talosaga atonu e le fegalegaleai ma le tasi ma le isi, ae na matou faʻatautaia le tele o faʻagasologa e tutusa i luga o le tele o sapalai. Ma faʻafefea ona mataʻituina o loʻo sologa lelei mea uma mo i latou? Mo se faʻataʻitaʻiga, latou te lafoina se mea i luga ole Initaneti. E tatau ona latou tusi e uiga i lo latou setete i se mea, mo se faʻataʻitaʻiga, i se ituaiga o faʻamaumauga poʻo se ogalaau, ona faʻapipiʻi lea o lenei ogalaau ona suʻeina lea i se mea. E le gata i lea, e tatau ona tatou amanaia o le faagasologa o loʻo galue ma galue, faʻafuaseʻi ona aliali mai se mea sese i totonu pe paʻu, o le a le vave o le a tatou iloa ai?
E manino lava o nei mea uma e mafai ona vave mataʻituina. E lelei foi lenei mea, ae o le mataʻituina o se mea faʻatapulaʻa e mafai ai ona e mataʻituina nisi o mea i le maualuga maualuga.
A tatou mananao ia tatou faagasologa e amata ona fegalegaleai le tasi ma le isi, mo se faataitaiga, e auina atu e le tasi i le isi ni faamatalaga, ona tulai mai ai lea o le fesili - e faapefea ona tupu lenei mea? O le ai ai se ituaiga o tu'uga, o le a latou fa'asolo le tasi i le isi, o le a sa'o le taunu'u mai o fa'amaumauga, o le a se mea e leiloa i le ala? Matou te manaʻomia le atinaʻeina o se ituaiga o faʻasalalauga, ma isi.
O le faamaopoopoina o nei faiga uma e le o se mea faatauvaa. Ma e faʻamalosia ai le atinaʻe e alu i lalo i se tulaga maualalo, ma tusi faiga mai le sasa, pe leai foi mai le sasa, ae e le faigofie tele.
Afai e te sau i luga ma se cryptographic algorithm pe faʻatinoina foi, ona lafo ese loa lea, aua e foliga mai o le a le aoga mo oe. E foliga mai o le a aofia ai le tele o mea sese na galo ia te oe e saunia. Aua ne'i fa'aaogaina mo so'o se mea ogaoga ona e foliga mai e le mautu. Aua o algorithms uma o loʻo i ai na faʻataʻitaʻiina e le taimi mo se taimi umi lava. Ua fa'afefe e le nu'u. O se mataupu ese lenei. Ma e tutusa lava iinei. Afai e le mafai ona e faʻatinoina se ituaiga o faʻagasologa faʻagasologa o oe lava, e sili atu le aua le faia lenei mea, aua e fai lava si faigata ma taʻitaʻia oe i lalo o le ala le mautonu o le sailia pea o mea sese.
O le asō o loʻo tatou talanoa e uiga i ZooKeeper. I le tasi itu, o se faʻavae, i le isi itu, o se auaunaga e faʻafaigofie ai le olaga mo le atinaʻe ma faʻafaigofie le faʻatinoina o le faʻaogaina ma le faʻamaopoopoina oa tatou gaioiga i le tele e mafai ai.
Se'i o tatou manatua pe fa'apei foliga o se faiga tufatufaina masani. O le mea lea na matou talanoa ai - HDFS, HBase. O loʻo i ai se Master process e faʻatautaia ai tagata faigaluega ma pologa. O ia e nafa ma le faʻamaopoopoina ma le tufatufaina o galuega, toe faʻafouina tagata faigaluega, faʻalauiloa mea fou, ma tufatufa atu le uta.
O se mea e sili atu le alualu i luma o le Coordination Service, o lona uiga, siitia le galuega faamaopoopoina lava ia i se faiga e ese mai ai, faʻatasi ai ma le faʻatautaia o se ituaiga faʻamaumauga poʻo le stanby Master i le tutusa, aua e ono toilalo le Matai. Ma afai e pa'ū le Matai, o le a le aoga la tatou faiga. O lo'o matou faia fa'amaumauga. O nisi o loʻo taʻu mai e manaʻomia ona toe faʻafoʻi le Matai i le faʻamaumauga. E mafai fo'i ona tu'u atu i le Auaunaga Fa'atasi. Ae i lenei ata, o le Matai lava ia e nafa ma le faʻamaopoopoina o tagata faigaluega iinei o le auaunaga o loʻo faʻamaopoopoina faʻamaumauga o faʻamaumauga;
O se filifiliga sili atu pe a faʻatautaia uma faʻamaopoopo e la matou auaunaga, e pei ona masani ai. Na te tauaveina le matafaioi mo le mautinoa o mea uma e aoga. Ma afai e le aoga se mea, matou te suʻeina ma taumafai e foʻia lenei tulaga. I soo se tulaga, o loʻo totoe i tatou ma se Matai e fegalegaleai ma pologa ma mafai ona auina atu faʻamatalaga, faʻamatalaga, savali, ma isi e ala i nisi auaunaga.
E i ai se fuafuaga e sili atu ona alualu i luma, pe a leai so tatou Matai, o pona uma o pologa matai, e ese a latou amio. Ae e manaʻomia lava ona fegalegaleai le tasi ma le isi, o lea o loʻo i ai pea se auaunaga e faʻamaopoopoina nei gaioiga. Masalo, Cassandra, lea e galue i luga o lenei mataupu faavae, e fetaui ma lenei polokalame.
E faigata ona ta'u atu po o fea o nei polokalame e sili atu ona aoga. E tofu lava ma ona itu lelei ma leaga.
Ma e leai se mea e tatau ona fefe ai i nisi o mea ma le Matai, aua, e pei ona faaalia i le faatinoga, e le faigofie ona ia auauna atu i taimi uma. O le mea autu iinei o le filifili lea o le fofo saʻo mo le faʻafeiloaʻiina o lenei auaunaga i luga o se isi node mamana, ina ia lava punaoa, ina ia mafai, e le mafai e tagata faʻaoga ona maua iina, ina ia latou le faʻafuaseʻi ona fasiotia lenei faiga. Ae i le taimi lava e tasi, i sea faiga e sili atu ona faigofie le puleaina o tagata faigaluega mai le Master process, o lona uiga o lenei polokalame e sili atu ona faigofie mai le vaaiga o le faʻatinoga.
Ma o lenei polokalame (luga) atonu e sili atu ona faigata, ae sili atu ona faʻatuatuaina.
O le faafitauli autu o le faaletonu o vaega. Mo se faʻataʻitaʻiga, pe a matou lafoina se feʻau i luga o le Network, e tupu se faʻalavelave faʻafuaseʻi, ma o le na lafoina le feʻau o le a le iloa pe na maua lana savali ma le mea na tupu i le itu a le tagata e taliaina, o le a le iloa pe saʻo le faʻagaioiina o le feʻau. , o lona uiga na te le mauaina se faʻamaoniga.
E tusa ai, e tatau ona tatou faʻatautaia lenei tulaga. Ma o le mea sili ona faigofie o le toe auina atu lea o lenei feʻau ma faʻatali seʻia matou maua se tali. I lenei tulaga, e le o amanaia pe ua suia le tulaga o le tagata e taliaina. E mafai ona matou lafoina se feʻau ma faʻaopoopo faʻalua faʻamatalaga tutusa.
ZooKeeper e ofoina atu auala e taulimaina ai ia teena, lea e faigofie ai foi o tatou olaga.
E pei ona taʻua i se taimi muamua, e talitutusa lenei ma le tusiaina o polokalame tele-threaded, ae o le eseesega autu o le tufatufaina atu lea o talosaga tatou te fausia i luga o masini eseese, na o le pau lava le auala e fesoʻotaʻi ai o le Network. O le mea moni, o se fausaga fa'asoa-leai se mea. O faʻagasologa poʻo auaunaga taʻitasi o loʻo faʻaogaina i luga o le masini e tasi e iai lona lava manatua, o lana lava tisiki, o lana lava gaioiga, lea e le faʻasoa i se tasi.
Afai tatou te tusia se polokalame tele-filo i luga o le komepiuta e tasi, ona mafai lea ona tatou faʻaogaina mafaufauga faʻasoa e fesuiai ai faʻamatalaga. O lo'o i ai le matou suiga o fa'amatalaga iina, e mafai ona fesuia'i faiga. E afaina ai le faatinoga. I le tasi itu, e leai se mea faapena i le polokalame i luga o se fuifui, ae o loʻo i ai faʻafitauli i le Network.
E tusa ai ma lea, o faʻafitauli autu e tulaʻi mai pe a tusia faʻasalalauga faʻasalalauga o le faʻatulagaina. O loʻo matou tusia se ituaiga o talosaga. Afai e faigofie, ona matou faʻamaonia lea o ituaiga uma o numera i totonu o le code, ae e le faigofie, aua afai matou te filifili nai lo le faʻagata o le afa sekone matou te mananaʻo i se taimi e tasi le sekone, ona matou manaʻomia lea e toe faʻapipiʻi le talosaga ma toe ta'avale mea uma. E tasi le mea pe a i luga o le masini e tasi, pe a mafai ona toe amata, ae a tele a matou masini, e tatau ona matou kopiina i taimi uma mea uma. E tatau ona tatou taumafai e fa'aoga le talosaga.
O lea o loʻo matou talanoa e uiga i le faʻatulagaina faʻamau mo faiga faiga. E leʻo atoa lenei, atonu mai le faʻaogaina o le faʻaogaina o le faʻaogaina, atonu o se faʻatulagaga faʻapitoa mo a tatou gaioiga, o lona uiga o se faʻatulagaga lea e le mafai ona faʻaaogaina ma faʻafouina.
O loʻo iai foʻi se faʻatulagaga faʻamalosi. O mea ia tatou te mananao e sui i luga o le lele ina ia piki i luga iina.
O le a le faafitauli iinei? Na matou fa'afouina le config, fa'asalalau i fafo, fa'apefea? O le fa'afitauli atonu o le tasi itu na matou ta'avale ai le config, ae galo le mea fou, o le config na tumau ai iina. Lona lua, a o matou taʻavale, na faʻafouina le faʻatulagaga i nisi nofoaga, ae le o isi. Ma o nisi faʻagasologa o la matou talosaga e faʻaogaina i luga o le masini e tasi na toe amataina i se config fou, ma se mea i se mea tuai. E mafai ona i'u ai i le tatou tufaina talosaga e le ogatasi mai se vaaiga fa'atulagaina. O lenei faafitauli e taatele. Mo se faʻatulagaga faʻamalosi, e sili atu ona talafeagai aua o lona uiga e mafai ona suia i luga o le lele.
O le isi faafitauli o le auai i vaega. E iai lava a matou seti o tagata faigaluega, matou te fia iloa po o ai o latou o loʻo ola, o ai o latou ua oti. Afai ei ai se Matai, e tatau ona ia malamalama po o ai tagata faigaluega e mafai ona toe tuʻuina atu i tagata faʻatau ina ia latou faʻatautaia faʻatusatusaga pe galulue faʻatasi ma faʻamaumauga, ma e le mafai. O se fa'afitauli e tula'i mai i taimi uma e tatau ona tatou iloa po'o ai o lo'o galue i totonu o la tatou fuifui.
O le isi faafitauli masani o le palota o taitai, pe a tatou fia iloa poo ai e pule. O se tasi faʻataʻitaʻiga o le toe faia, pe a iai ni a tatou faʻagasologa e maua ai galuega tusitusi ona toe faʻaaogaina lea i isi faiga. O le a avea o ia ma taʻitaʻi, o le a usiusitai tagata uma ia te ia, o le a mulimuli atu ia te ia. E tatau ona filifili se faagasologa ina ia le mautonu mo tagata uma, ina ia le iʻu ai e lua taʻitaʻi e filifilia.
E iai fo'i le avanoa fa'apitoa. O le faafitauli iinei e sili atu ona lavelave. O loʻo i ai se mea e pei o le mutex, pe a e tusia ni polokalame faʻapipiʻi tele ma manaʻo e maua se avanoa i nisi punaoa, mo se faʻataʻitaʻiga, se cell manatua, e faʻatapulaʻaina ma faia e na o le tasi le filo. O iinei o le punaoa e mafai ona avea ma se mea e sili atu ona manino. Ma o talosaga eseese mai nodes eseese o la tatou Network e tatau ona maua na'o se avanoa faapitoa i se punaoa ua tu'uina atu, ae le o le mafai e tagata uma ona suia pe tusi se mea iina. O mea ia e ta'ua o loka.
ZooKeeper faʻatagaina oe e foia uma nei faʻafitauli i le tasi tikeri poʻo le isi. Ma o le a ou faʻaalia faʻatasi ma faʻataʻitaʻiga pe faʻapefea ona e faʻatagaina oe e faia lenei mea.
E leai ni mea fa'apolopolo muamua. A amata ona tatou faʻaaogaina se mea, o le a le faʻatali lenei mea muamua mo soʻo se mea e tupu. E foliga mai, o lenei mea o le a galue faʻatasi, ma faʻatagaina faiga e le tautau ao latou faʻatali mo se mea. O se mea aoga tele lea.
O talosaga uma a le tagata o tausia e fa'agasolo i le fa'asologa o le laina lautele.
Ma o loʻo maua e tagata faʻatau le avanoa e maua ai faʻamatalaga e uiga i suiga i nisi setete, e uiga i suiga i faʻamaumauga, aʻo leʻi vaʻaia e le tagata o tausia ia lava suiga.
E mafai e le ZooKeeper ona fa'agaoioia i ni auala se lua. O le muamua e tuto'atasi, i luga o le node e tasi. E faigofie lea mo le fa'ata'ita'iina. E mafai fo'i ona fa'agaoioia i le faiga fa'aputu, i luga o so'o se numera o node. 'auʻaunaAfai e iai sa tatou vaega e 100 masini, e le manaʻomia ona faʻagaoioia i masini e 100. E lava le vaevaeina o ni nai masini e mafai ona faʻagaoioia ai le ZooKeeper. Ma e tausisi i le mataupu faavae o le maualuga o le avanoa. E teuina e le ZooKeeper se kopi atoa o faʻamatalaga i luga o faʻataʻitaʻiga taʻitasi o loʻo faʻagaoioia. O le a ou faʻamatalaina pe faʻapefea ona faia lenei mea mulimuli ane. E le vaevaeina pe vaevaeina faʻamatalaga. I le isi itu, o se faʻaletonu lea aua e le mafai ona tatou teuina le tele, ae i le isi itu, e le manaʻomia. E leʻi mamanuina mo lena mea; e le o se faʻamaumauga.
E mafai ona teuina fa'amaumauga ile itu ole tagata o tausia. O se faʻavae masani lea ina ia tatou le faʻalavelaveina le tautua ma aua le utaina i talosaga tutusa. E masani ona iloa e se tagata fa'atau atamai lenei mea ma fa'apolopolo.
Mo se faʻataʻitaʻiga, ua iai se mea ua suia iinei. E i ai se ituaiga o talosaga. Na filifilia se taʻitaʻi fou, o ia e nafa, mo se faʻataʻitaʻiga, mo le faʻatinoina o galuega tusitusi. Ma matou te mananaʻo e toe fai faʻamatalaga. O le tasi fofo o le tuu i totonu o se matasele. Ma e matou te fesiligia pea la matou auaunaga-pe i ai se mea ua suia? O le filifiliga lona lua e sili atu ona lelei. Ole masini mata'i lea e mafai ai ona e logoina tagata o lo'o iai se mea ua suia. Ole auala taugofie lea ile tulaga o punaoa ma sili atu ona faigofie mo tagata faʻatau.
Client o le tagata fa'aoga e fa'aogaina le ZooKeeper.
Server o le ZooKeeper process lava ia.
O le Znode o le mea autu lea ile ZooKeeper. O znodes uma o loʻo teuina i le manatua e ZooKeeper ma faʻatulagaina i foliga o se faʻasologa faʻasologa, i foliga o se laau.
E lua ituaiga o gaioiga. Muamua o le faʻafouina / tusitusi, pe a suia e nisi gaioiga le tulaga o la tatou laau. E masani le laau.
Ma e ono le fa'auma e le kalani se talosaga e tasi ma motusia, ae mafai ona fa'atuina se sauniga e fegalegaleai ai ma ZooKeeper.
Fa'ata'ita'iga fa'amaumauga a le ZooKeeper e pei o se faiga faila. O loʻo i ai se aʻa masani ona matou o ai lea e pei o faʻamaumauga e alu mai le aʻa. Ona sosoo ai lea ma le lisi o le tulaga muamua, tulaga lua. O znodes uma nei.
O znode ta'itasi e mafai ona teuina ni fa'amatalaga, e masani lava e le tele tele, mo se fa'ata'ita'iga, 10 kilobytes. Ma o znode taitasi e mafai ona i ai se numera patino o tamaiti.
Znodes e sau i le tele o ituaiga. E mafai ona faia. Ma pe a fatuina se znode, matou te faʻamaonia le ituaiga e tatau ona iai.
E lua ituaiga. Muamua o le fu'a ephemeral. E nofo Znode i totonu o se sauniga. Mo se faʻataʻitaʻiga, ua faʻatulagaina e le kalani se sauniga. Ma o le umi lava e ola ai lenei sauniga, o le a iai. E tatau lenei mea ina ia le maua ai se mea e le manaʻomia. E fetaui foi lea mo taimi e taua ai mo i tatou le teuina o faʻamaumauga muamua i totonu o se vasega.
O le ituaiga lona lua o le fuʻa faʻasolosolo. E fa'atuputeleina le fata i luga o le ala i le znode. Mo se faʻataʻitaʻiga, sa i ai sa matou lisi faʻatasi ma le talosaga 1_5. Ma ina ua matou fatuina le node muamua, na maua le p_1, le lona lua - p_2. Ma pe a tatou taʻua lenei metotia i taimi taʻitasi, tatou te pasia le ala atoa, faʻaalia naʻo se vaega o le ala, ma o lenei numera e otometi lava ona faʻateleina aua tatou te faʻaalia le ituaiga node - sequential.
Znode masani. O le a ola pea o ia ma maua le igoa matou te taʻu atu ia te ia.
O le isi mea aoga o le fu'a matamata. Afai tatou te faʻapipiʻiina, ona mafai lea e le kalani ona lesitala i nisi o mea e tutupu mo se node patino. O le a ou faʻaali atu ia te oe se faʻataʻitaʻiga pe faʻapefea ona faia lenei mea. O le ZooKeeper lava ia na te logoina le tagata o tausia ua suia faʻamatalaga i luga o le node. Ae ui i lea, o faʻamatalaga e le faʻamaonia ai ua oʻo mai nisi faʻamatalaga fou. Na ona latou fai mai ua iai se mea ua suia, o lea e tatau lava ona e faʻatusatusaina faʻamatalaga mulimuli ane ma valaʻau eseese.
Ma e pei ona uma ona ou fai atu, o le faasologa o faʻamaumauga e fuafuaina e kilobytes. E le manaʻomia le teuina o faʻamaumauga tele iina, aua e le o se faʻamaumauga, o se faʻaumau faʻamaopoopo gaioiga.
Se'i o'u fa'amatala atu sina mea e uiga i sauniga. Afai e tele a tatou 'au'aunaga, e mafai ona tatou fesuia'i manino mai le tasi 'au'aunaga i le isi. sapalai, fa'aaogaina le ID o le sauniga. E matua faigofie lava lenei mea.
E tofu le vasega ma se ituaiga taimi e malolo ai. O se sauniga e fa'amatalaina pe lafo e le kalani se mea i le 'au'aunaga i le taimi o lena vasega. Afai na te le'i fa'asalalauina se mea i le taimi e malolo ai, e pa'u le vasega, pe mafai e le tagata o tausia ona tapuni e ia lava.
E le tele naua mea, ae e mafai ona e faia mea eseese i lenei API. O lena valaau na matou vaʻai i le fatuina e fatuina ai se znode ma e tolu faʻamaufaʻailoga. O le ala lea i le znode, ma e tatau ona faʻamaonia atoatoa mai le aʻa. Ma o nisi foi lea o faʻamatalaga matou te mananaʻo e faʻafeiloaʻi iina. Ma le ituaiga fu'a. Ma ina ua uma le foafoaga e toe faafoi le ala i le znode.
Lona lua, e mafai ona e tapeina. O le togafiti iinei o le vaega lona lua, faʻaopoopo i le ala i le znode, e mafai ona faʻamaonia le faʻasologa. E tusa ai, o le znode o le a tape pe afai o lona faʻaliliuga na matou faʻafeiloaʻi e tutusa ma le mea o loʻo i ai.
Afai matou te le manaʻo e siaki lenei faʻamatalaga, ona matou pasia lea o le "-1" finauga.
Lona tolu, e siaki mo le i ai o se znode. Fa'afo'i le sa'o pe a iai le node, sese i se isi itu.
Ona aliali mai lea o le fu'a, lea e mafai ai ona e mata'ituina lenei node.
E mafai ona e setiina lenei fuʻa e tusa lava pe i luga o se node e le o iai ma maua se faʻamatalaga pe a aliali mai. E mafai foi ona aoga lenei mea.
E lua isi luitau getData. E manino lava e mafai ona matou mauaina faʻamatalaga e ala i le znode. E mafai fo'i ona e fa'aogaina le va'ai fu'a. I lenei tulaga, o le a le faʻapipiʻi pe a leai se node. O le mea lea, e tatau ona e malamalama o loʻo i ai, ona maua lea o faʻamatalaga.
E iai foʻi SetData. O iinei matou te pasi atu ai le lomiga. Ma afai tatou te pasia lenei mea, o faʻamatalaga i luga o le znode o se faʻamatalaga patino o le a faʻafouina.
E mafai fo'i ona e fa'ailoaina le "-1" e fa'ate'a ai lenei siaki.
O le isi auala aoga maua Tamaiti. E mafai foi ona tatou maua se lisi o znodes uma e iai. E mafai ona tatou mata'ituina lenei mea e ala i le setiina o le matamata fu'a.
Ma metotia Sync fa'atagaina suiga uma e lafo i le taimi e tasi, ma fa'amautinoaina o lo'o fa'asaoina ma fa'amaumauga uma ua suia atoa.
Afai tatou te tusia tala faʻatusa ma polokalame masani, ona e faʻaaogaina lea o metotia e pei o le tusitusi, e tusi ai se mea i le tisiki, ma a maeʻa ona toe faʻafoʻi mai se tali ia te oe, e leai se faʻamautinoa ua e tusia faʻamatalaga i le disk. Ma e tusa lava pe mautinoa le faʻaogaina o mea uma ua uma ona tusia, o loʻo i ai masini i totonu o le tisiki lava ia lea e alu ai le faagasologa i luga o faʻamaufaʻailoga, ma naʻo le maeʻa ona tuʻuina atu o faʻamatalaga i luga o le disk.
Ole tele ole telefoni e le fa'aogaina e fa'aoga. Ole mea lea e mafai ai e le kalani ona galue tutusa ma talosaga eseese. E mafai ona e fa'aogaina le faiga fa'atasi, ae e fa'aitiitia le fua.
O gaioiga e lua na matou talanoa ai o le faʻafouina / tusitusi, lea e suia ai faʻamaumauga. O nei mea e fai, setiData, sync, tape. Ma o lo'o iai le faitau, maua Fa'amatalaga, maua Tamaiti.
O nisi nei o faʻataʻitaʻiga o le auala e mafai ai ona e faia muamua mo le galue i se faiga tufatufaina. Mo se faʻataʻitaʻiga, e fesoʻotaʻi ma le faʻatulagaina o se mea. Ua aliali mai se tagata faigaluega fou. Na matou faaopoopo le masini ma amata le faagasologa. Ma o loo i ai fesili nei e tolu. E fa'afefea ona fesiligia le ZooKeeper mo le fa'atulagaina? Ma afai tatou te mananao e sui le faatulagaga, e faapefea ona tatou suia? Ma ina ua uma ona matou suia, e faapefea ona maua e na tagata faigaluega na matou maua?
ZooKeeper e fai si faigofie. Mo se faʻataʻitaʻiga, o loʻo i ai la tatou znode laau. O loʻo i ai se node mo la matou talosaga iinei, matou te fatuina se node faaopoopo i totonu, lea e aofia ai faʻamatalaga mai le faʻatulagaga. O nei mea e mafai pe le mafai foi ona tu'u eseese. Talu ai e laʻititi le lapoʻa, e masani lava ona laʻititi le lapopoa, o lea e mafai ai ona teuina iinei.
O lo'o e fa'aogaina le metotia getData e maua ai le faatulagaga mo le tagata faigaluega mai le node. Seti i le moni. Afai mo nisi mafuaaga e le o iai lenei node, o le a logoina i matou pe a aliali mai, poʻo pe a suia. Afai tatou te fia iloa ua i ai se mea ua suia, ona tatou setiina lea i le mea moni. Ma afai o faʻamatalaga i lenei node e suia, o le a tatou iloa e uiga i ai.
SetData. Matou te setiina faʻamaumauga, seti "-1", o lona uiga matou te le siakiina le faʻasologa, matou te manatu e tasi lava le faʻatulagaga, matou te le manaʻomia le teuina o le tele o faʻasalalauga. Afai e te manaʻomia le teuina o le tele, e tatau ona e faʻaopoopoina se isi tulaga. O iinei matou te talitonu e naʻo le tasi, o lea matou te faʻafouina naʻo le mea sili ona lata mai, ina ia matou le siakiina le faʻasologa. I le taimi nei, o tagata uma ua uma ona lesitala e maua se faʻamatalaga e iai se mea ua suia i lenei node. Ma a uma ona latou mauaina, e tatau foi ona latou toe talosagaina faʻamatalaga. O le faʻamatalaga latou te le mauaina faʻamatalaga lava ia, ae naʻo le faʻamatalaga o suiga. A maeʻa lenei mea e tatau ona latou fesili mo faʻamatalaga fou.
O le filifiliga lona lua mo le faʻaaogaina o le primitive o le auai i vaega. O loʻo i ai a matou talosaga tufatufaina, o loʻo i ai se vaega o tagata faigaluega ma matou te fia malamalama o loʻo i ai uma i latou. O le mea lea, e tatau ona latou resitalaina i latou lava latou te galulue i la matou talosaga. Ma matou te fia suʻesuʻe foi, a le mai le Master process poʻo se isi mea, e uiga i tagata faigaluega malosi uma o loʻo ia i matou i le taimi nei.
E faapefea ona tatou faia lenei mea? Mo le talosaga, matou te fatuina se node tagata faigaluega ma faʻaopoopo se laʻasaga iina e faʻaaoga ai le auala faʻavae. E i ai sa'u mea sese i le fa'ase'e. O iinei e te manaʻomia faʻasologa faʻamaonia, ona faia lea o tagata faigaluega uma taitoatasi. Ma o le talosaga, talosagaina faʻamatalaga uma e uiga i tamaiti o lenei node, maua uma tagata faigaluega malosi o loʻo i ai.
Ole faʻatinoga mataʻutia lea ole auala e mafai ai ona faia lenei mea ile Java code. Tatou amata mai le faaiuga, ma le auala autu. O la tatou vasega lenei, se'i fai lana metotia. E pei o le finauga muamua matou te faʻaogaina le talimalo, lea matou te fesoʻotaʻi ai, o lona uiga matou te setiina o se finauga. Ma o le finauga lona lua o le igoa o le vaega.
E faapefea ona tupu le sootaga? O se faʻataʻitaʻiga faigofie lea o le API o loʻo faʻaaogaina. E faigofie mea uma iinei. O lo'o i ai se vasega masani ZooKeeper. Matou te pasi atu i ai. Ma seti le taimi malolo, mo se faʻataʻitaʻiga, i le 5 sekone. Ma o loʻo i ai se matou sui e taʻua o le connectedSignal. O le mea moni, matou te fatuina se vaega i luga o le ala faʻasalalau. Matou te le tusia faʻamatalaga iina, e ui lava e mafai ona tusia se mea. Ma o le node iinei o le ituaiga faifai pea. O le mea moni, o se node masani masani lea o le a iai i taimi uma. O le mea lea e fai ai le sauniga. O le faʻatinoga lea a le kalani lava ia. O le a lipotia e le matou kalani i lea taimi ma lea taimi o loʻo ola le sauniga. Ma a matou faʻaiʻu le sauniga, matou te valaʻau vavalalata ma o le mea lena, e pa'ū le sauniga. O le mea lea ina ne'i pa'u se mea mo i tatou, ina ia iloa e ZooKeeper e uiga i ai ma motusia le sauniga.
E faapefea ona loka se punaoa? O iinei o mea uma e sili atu ona lavelave. E i ai le matou seti o tagata faigaluega, o loʻo i ai se punaoa matou te mananaʻo e loka. Ina ia faia lenei mea, matou te faia se node ese, mo se faʻataʻitaʻiga, e taʻua o le loka1. Afai na mafai ona matou fatuina, ona matou maua lea o se loka iinei. Ma afai e le mafai ona matou fatuina, ona taumafai lea o le tagata faigaluega e maua mai i inei, ma talu ai ua uma ona faia le node, ona matou tuʻuina lea o se tagata matamata iinei ma le taimi e suia ai le tulaga o lenei node, o le a matou iloa e uiga i ai. Ma e mafai ona tatou taumafai e maua se taimi e toe faia ai. Afai na matou ave le node, ave le loka, ona matou le toe manaʻomia lea o le loka, matou te lafoai, talu ai o le node e naʻo totonu o le sauniga. E tusa ai, o le a mou atu. Ma o le isi tagata o tausia, i totonu o le auivi o se isi sauniga, o le a mafai ona ave le loka i luga o lenei node, pe sili atu, o le a ia mauaina se faʻamatalaga ua suia se mea ma e mafai ona ia taumafai e fai i le taimi.
O le isi faʻataʻitaʻiga o le auala e mafai ai ona e filifilia le taʻitaʻi autu. O lenei mea e sili atu ona lavelave, ae faigofie foi. O le a le mea o tupu iinei? O loʻo i ai se faʻailoga autu e faʻapipiʻi uma ai tagata faigaluega. O lo'o matou taumafai e maua fa'amatalaga e uiga i le ta'ita'i. Afai na tupu manuia lenei mea, o lona uiga ua matou mauaina ni faʻamatalaga, ona amata lea ona mulimuli le matou tagata faigaluega i lenei taʻitaʻi. E talitonu o ia ua i ai se taitai.
Afai na maliu le taʻitaʻi mo se mafuaʻaga, mo se faʻataʻitaʻiga, paʻu ese, ona matou taumafai lea e fausia se taʻitaʻi fou. Ma afai tatou te manuia, ona avea lea o le tatou tagata faigaluega ma taitai. Ma afai e mafai e se tasi i le taimi nei ona fatuina se taʻitaʻi fou, ona tatou taumafai lea e malamalama poʻo ai ma mulimuli ia te ia.
O inei e tula’i mai ai le mea ua ta’ua o le lafu manu, o lona uiga o le lafu manu, aua a maliu le ta’ita’i, o le e muamua i le taimi e avea ma ta’ita’i.
Pe a puʻeina se punaoa, e mafai ona e taumafai e faʻaaoga se auala e ese le ese, lea e faʻapea. Mo se faʻataʻitaʻiga, matou te mananaʻo e maua se loka, ae aunoa ma le aafiaga hert. O le a aofia i le mea moni o le matou talosaga e talosagaina lisi o id uma node mo se node ua uma ona i ai ma se loka. Ma afai muamua o le node lea na matou faia ai se loka o le seti pito sili ona itiiti lea na matou mauaina, o lona uiga ua matou puʻeina le loka. Matou te siaki ua matou maua se loka. I le avea ai o se siaki, o le ai ai se tulaga o le id na matou mauaina i le fausiaina o se loka fou e laʻititi. Ma afai tatou te mauaina, ona tatou galulue atili ai lea.
Afai ei ai se id patino e laʻititi nai lo le matou loka, ona matou tuʻuina lea o se tagata matamata i lenei mea na tupu ma faʻatali mo se faʻamatalaga seia oʻo i se mea e suia. O lona uiga, ua matou maua le loka lea. Ma seʻia oʻo ina pa'ū, o le a le avea i matou ma id laʻititi ma o le a le maua le loka maualalo, ma o le a mafai ai ona matou ulufale i totonu. Ma afai e le ausia lea tulaga, ona tatou o loa lea iinei ma taumafai e toe aumai lenei loka, aua atonu e iai se mea ua suia i lea taimi.
O a mea e aofia ai le ZooKeeper? E 4 mea taua. Ole faiga lea ole faiga - Talosaga. Fa'apea fo'i le ZooKeeper Atomic Broadcast. O loʻo i ai se Faʻamaumauga Faʻatonu e faʻamaumau uma ai gaioiga. Ma o le In-memory Replicated DB lava ia, o lona uiga o le database lava ia o loʻo teuina ai lenei laau atoa.
E taua le matauina o galuega tusitusi uma e alu i le Talosaga Processor. Ma fa'agaioiga faitau alu sa'o ile In-memory database.
O le database lava ia o lo'o fa'atusaina atoatoa. O fa'ata'ita'iga uma a le ZooKeeper e teuina se kopi atoa o fa'amaumauga.
Ina ia toe faʻaleleia le faʻamaumauga pe a maeʻa se faʻalavelave, o loʻo i ai se faʻamaumauga o le Commit. Fa'ata'ita'iga masani a'o le'i o'o atu fa'amaumauga i le manatua, o lo'o tusia ai iina pe a pa'u, e mafai ona toe ta'alo lenei ogalaau ma toe fa'afo'isia le tulaga o le faiga. Ma o lo'o fa'aogaina fo'i ata fa'avaitaimi o fa'amaumauga.
ZooKeeper Atomic Broadcast o se mea e faʻaaogaina e faʻamautu ai faʻamaumauga faʻapipiʻi.
E filifilia e le ZAB se ta'ita'i mai le vaaiga o le node ZooKeeper. O isi pona e avea ma ona so'o ma fa'amoemoe i ni gaioiga mai ia te ia. Afai latou te mauaina ni fa'amatalaga, latou te tu'uina atu uma i le ta'ita'i. Na te faia muamua se galuega tusitusi ona auina atu lea o se savali e uiga i mea ua suia i ona soo. O lenei, o le mea moni, e tatau ona faia atomically, o lona uiga o le pueina ma le faʻasalalauga faʻagaioiga o le mea atoa e tatau ona faʻatinoina atomically, ma faʻamautinoa ai le tumau o faʻamaumauga.
Na'o le fa'agaioiina o talosaga tusitusi. O lana galuega autu o le suia lea o le gaioiga i se faʻafouga fefaʻatauaʻiga. O se talosaga ua fa'atupu fa'apitoa.
Ma o iinei e taua le matauina o le idempotency o faʻafouga mo le gaioiga lava e tasi e faʻamaonia. O le a lea mea? O lenei mea, pe a fai faalua, o le ai ai le tulaga tutusa, o lona uiga o le talosaga lava ia e le suia. Ma e tatau ona faia lenei mea ina ia i ai se faʻalavelave, e mafai ona e toe amata le taʻaloga, ma toe faʻafoʻi ai suiga ua paʻu i le taimi nei. I lenei tulaga, o le tulaga o le faiga o le a tutusa, o lona uiga e le tatau ona avea se faasologa o mea tutusa, mo se faʻataʻitaʻiga, faʻafouina faʻagasologa, na taʻitaʻia ai tulaga faʻaiʻu eseese o le faiga.
puna: www.habr.com
