Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Tlaleho e nehetsoe litabeng tse sebetsang tsa ho nts'etsapele opareitara ho Kubernetes, ho rala meralo ea eona ea meralo le melaoana ea mantlha ea ts'ebetso.

Karolong ea pele ea tlaleho re tla hlahloba:

  • opareitara ke eng ho Kubernetes mme hobaneng e hlokahala;
  • hore na hantle-ntle opareitara e nolofatsa tsamaiso ea litsamaiso tse rarahaneng;
  • seo mosebeletsi a ka se etsang le seo a ke keng a se etsa.

E latelang, a re tsoeleng pele ho buisana ka sebopeho sa ka hare sa opareitara. Ha re shebeng meralo le ts'ebetso ea opareitara mohato ka mohato. Ha re e shebe ka botlalo:

  • tšebelisano lipakeng tsa opareitara le Kubernetes;
  • ke mesebetsi efe eo opareitara e e etsang le hore na e abela Kubernetes mesebetsi efe.

Ha re shebeng ho laola li-shards le li-replicas tsa database ho Kubernetes.
E latelang, re tla tšohla litaba tsa polokelo ea data:

  • mokhoa oa ho sebetsa le Persistent Storage ho latela pono ea opareitara;
  • maraba a ho sebelisa Polokelo ea Lehae.

Karolong e qetellang ea tlaleho, re tla hlahloba mehlala e sebetsang ea tšebeliso Clickhouse-opereishene ka Amazon kapa Google Cloud Service. Tlaleho e ipapisitse le mohlala oa nts'etsopele le boiphihlelo ba ts'ebetso ea opareitara bakeng sa ClickHouse.

Video:

Lebitso la ka ke Vladislav Klimenko. Kajeno ke ne ke batla ho bua ka boiphihlelo ba rona ba ho nts'etsapele le ho sebelisa opareitara, 'me enoa ke opareitara e ikhethileng bakeng sa ho laola lihlopha tsa database. Ka mohlala ClickHouse-opereishene ho laola sehlopha sa ClickHouse.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Hobaneng re na le monyetla oa ho bua ka opareitara le ClickHouse?

  • Re tšehetsa le ho nts'etsapele ClickHouse.
  • Hona joale, re leka ho kenya letsoho butle-butle ho nts'etsopele ea ClickHouse. 'Me re boemong ba bobeli ka mor'a Yandex ho latela boholo ba liphetoho tse entsoeng ho ClickHouse.
  • Re leka ho etsa merero e meng bakeng sa tikoloho ea ClickHouse.

Ke kopa ho u bolella ka e 'ngoe ea merero ena. Sena se mabapi le ClickHouse-operator bakeng sa Kubernetes.

Tlalehong ea ka ke rata ho ama lihlooho tse peli:

  • Sehlooho sa pele ke hore na opereishene ea rona ea tsamaiso ea database ea ClickHouse e sebetsa joang Kubernetes.
  • Sehlooho sa bobeli ke hore na opereishene leha e le efe e sebetsa joang, ke hore na e sebelisana joang le Kubernetes.

Leha ho le joalo, lipotso tsena tse peli li tla kopana tlalehong eohle ea ka.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ke mang ea ka thabelang ho mamela seo ke lekang ho se bolella?

  • E tla khahla haholo ho ba sebelisang li-operators.
  • Kapa bakeng sa ba batlang ho iketsetsa e le hore ba utloisise hore na e sebetsa joang ka hare, hore na mosebeletsi o sebelisana joang le Kubernetes, le hore na ho ka hlaha maraba afe.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ho utloisisa hantle seo re tla se tšohla kajeno, ke mohopolo o motle ho tseba hore na Kubernetes e sebetsa joang le ho ba le koetliso ea mantlha ea maru.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

ClickHouse ke eng? Ena ke database ea li-columnar tse nang le likarolo tse ikhethileng bakeng sa ts'ebetso ea marang-rang ea lipotso tsa tlhahlobo. 'Me ke mohloli o bulehileng ka ho feletseng.

Hape ke habohlokoa hore re tsebe lintho tse peli feela. U hloka ho tseba hore ena ke database, kahoo seo ke tla u bolella sona se tla sebetsa hoo e batlang e le database efe kapa efe. Le taba ea hore ClickHouse DBMS sekala hantle haholo, e fana ka hoo e ka bang linear scalability. 'Me ka hona, boemo ba lihlopha ke boemo ba tlhaho bakeng sa ClickHouse. 'Me re thahasella haholo ho buisana ka mokhoa oa ho sebeletsa sehlopha sa ClickHouse ho Kubernetes.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ke hobane'ng ha a hlokahala moo? Ke hobane'ng ha re sa khone ho tsoela pele ho e sebelisa ka borona? 'Me likarabo ke karolo ea tekheniki 'me karolo e 'ngoe ea mokhatlo.

  • Ha e le hantle, re ntse re kopana le boemo bo eketsehileng moo lik'hamphani tse kholo hoo e ka bang likarolo tsohle li seng li ntse li le Kubernetes. Databases sala ka ntle.
  • 'Me potso e ntse e tsoela pele ho botsoa: "Na see se ka behoa ka hare?" Ka hona, lik'hamphani tse kholo li leka ho fihlela bonngoe bo boholo ba tsamaiso e le hore ba tsebe ho laola libaka tsa bona tsa polokelo ea data kapele.
  • 'Me sena se thusa haholo haeba u hloka monyetla o moholo oa ho pheta ntho e le' ngoe sebakeng se secha, ke hore, boemo bo phahameng ka ho fetisisa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ho bonolo kapa ho thata hakae? Sena, ehlile, se ka etsoa ka letsoho. Empa ha e bonolo haholo, hobane re na le bothata bo eketsehileng ba ho laola Kubernetes ka boeona, empa ka nako e ts'oanang lintlha tse tobileng tsa ClickHouse li phahame. 'Me ho kopanya ho joalo ho fella.

'Me sena sohle se fana ka sete e kholo ea theknoloji, eo ho leng thata ho e laola, hobane Kubernetes e tlisa litaba tsa eona tsa letsatsi le letsatsi,' me ClickHouse e tlisa litaba tsa eona ts'ebetsong ea letsatsi le letsatsi. Haholo-holo haeba re na le ClickHouses tse 'maloa,' me re hloka ho lula re etsa ho hong ka tsona.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ka tlhophiso e matla, ClickHouse e na le palo e kholo ea litaba tse bakang mojaro o sa feleng ho DevOps:

  • Ha re batla ho fetola ntho e 'ngoe ho ClickHouse, mohlala, eketsa replica kapa shard, joale re hloka ho laola tlhophiso.
  • Ebe u fetola schema ea data, hobane ClickHouse e na le mokhoa o itseng oa ho sharding. Ha u le moo o hloka ho beha setšoantšo sa data, ho beha litlhophiso.
  • U hloka ho theha tlhahlobo.
  • Ho bokella lintlha bakeng sa li-shards tse ncha, bakeng sa likopi tse ncha.
  • Hlokomela tsosoloso.
  • Ebe o qala hape.

Tsena ke mesebetsi e tloaelehileng eo ke hlileng ke ratang ho e nolofaletsa ho e sebelisa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Kubernetes ka boeona e thusa hantle ts'ebetsong, empa linthong tsa motheo tsa tsamaiso.

Kubernetes e sebetsa hantle ho tsamaisa le ho iketsetsa lintho tse kang:

  • Pholiso.
  • Qala hape.
  • Tsamaiso ea tsamaiso ea polokelo.

Ho lokile, ke tsela e nepahetseng, empa ha a tsebe hantle hore na o ka sebetsa sehlopha sa database joang.

Re batla ho feta, re batla hore database eohle e sebetse ho Kubernetes.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ke kopa ho fumana ntho e kang konopo e khubelu ea boselamose eo u e tobetsang le sehlopha se nang le mesebetsi ea letsatsi le letsatsi e hlokang ho rarolloa e sebelisoa le ho hlokomeloa ho pholletsa le nako eohle ea bophelo ba eona. Sehlopha sa ClickHouse se Kubernetes.

Mme re ile ra leka ho etsa tharollo e tla thusa ho nolofatsa mosebetsi. Ena ke ClickHouse-operator bakeng sa Kubernetes ho tloha Altinity.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Opereishene ke lenaneo leo mosebetsi oa lona o ka sehloohong e leng ho laola mananeo a mang, ke hore ke mookameli.

'Me e na le mekhoa ea boitšoaro. U ka letsetsa tsebo ena e hlophisitsoeng mabapi le sebaka sa thuto.

'Me mosebetsi oa hae o ka sehloohong ke ho etsa hore bophelo ba DevOps bo be bonolo le ho fokotsa micromanagement, e le hore eena (DevOps) a se a ntse a nahana ka maemo a phahameng, ke hore, e le hore eena (DevOps) a se ke a kenella ho micromanagement, e le hore a se ke a lokisa. lintlha tsohle ka letsoho.

Mme opareitara feela ke mothusi oa liroboto ea sebetsanang le li-microtask mme o thusa DevOps.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Hobaneng o hloka opareitara? O sebetsa hantle haholo likarolong tse peli:

  • Ha setsebi se sebetsanang le ClickHouse se se na boiphihlelo bo lekaneng, empa se se se hloka ho sebetsa ClickHouse, opereishene e thusa ts'ebetso mme e u lumella ho sebelisa sehlopha sa ClickHouse ka tlhophiso e rarahaneng, ntle le ho kena lintlha tse ngata mabapi le hore na e sebetsa joang. ka hare. U mo fa feela mesebetsi ea boemo bo holimo, 'me ea sebetsa.
  • 'Me mosebetsi oa bobeli oo e sebetsang ka oona ka ho fetisisa ke ha ho hlokahala ho iketsetsa palo e kholo ea mesebetsi e tloaelehileng. E tlosa li-microtask ho balaoli ba sistimi.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Sena se hlokahala haholo ke ba sa tsoa qala leeto la bona, kapa ke ba hlokang ho iketsetsa lintho tse ngata.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mokhoa o thehiloeng ho opareitara o fapana joang le litsamaiso tse ling? Ho na le Helm. E boetse e thusa ho kenya ClickHouse; o ka taka lichate tsa helm, tse tla kenya le sehlopha sohle sa ClickHouse. Joale phapang ke efe pakeng tsa opareitara le e tšoanang, mohlala, Helm?

Phapang e kholo ea mantlha ke hore Helm ke taolo ea sephutheloana mme Opereishene e tsoela pele ho feta. Ena ke ts'ehetso bakeng sa potoloho eohle ea bophelo. Sena ha se feela ho kenya, tsena ke mesebetsi ea letsatsi le letsatsi e kenyelletsang ho lekanya, ho sharding, ke hore ntho e 'ngoe le e' ngoe e lokelang ho etsoa nakong ea potoloho ea bophelo (haeba ho hlokahala, joale ho tlosoa hape) - sena sohle se khethiloe ke opareitara. E leka ho iketsetsa le ho boloka bophelo bohle ba software. Ena ke phapang ea eona ea mantlha ho litharollo tse ling tse hlahisoang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Eo e ne e le karolo ya selelekela, ha re tsweleng pele.

Re haha ​​opareitara ea rona joang? Re leka ho atamela taba ho laola sehlopha sa ClickHouse e le sesebelisoa se le seng.

Mona re na le data ea ho kenya ka lehlakoreng le letšehali la setšoantšo. Ena ke YAML e nang le litlhaloso tsa sehlopha, tse fetisetsoang ho Kubernetes ka tsela ea khale ka kubectl. Ke moo mosebeletsi oa rona a e nkang mme a etsa boselamose ba hae. 'Me ka tlhahiso re fumana morero o latelang. Ena ke ts'ebetsong ea ClickHouse ho Kubernetes.

'Me joale re tla sheba butle-butle hore na opereishene e sebetsa joang, hore na ke mesebetsi efe e tloaelehileng e ka rarolloang. Re tla nahana feela ka mesebetsi e tloaelehileng hobane re na le nako e lekanyelitsoeng. Ebile ha se ntho e 'ngoe le e 'ngoe eo opareitara a ka e khethang e tla tšohloa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re qaleng ho ikwetlisa. Morero oa rona ke mohloli o bulehileng ka botlalo, kahoo o ka bona hore na o sebetsa joang ho GitHub. 'Me u ka tsoela pele ho tsoa menahanong ea hore haeba u batla feela ho e qala, u ka qala ka Tataiso ea ho Qala ka Potlako.

Haeba u batla ho utloisisa ka botlalo, joale re leka ho boloka litokomane ka mokhoa o motle kapa o fokolang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

A re qaleng ka bothata bo sebetsang. Mosebetsi oa pele, moo bohle re batlang ho qala, ke ho tsamaisa mohlala oa pele ka tsela e itseng. Nka qala ClickHouse joang ke sebelisa opareitara, leha ke sa tsebe hantle hore na e sebetsa joang? Re ngola manifesto, hobane... Puisano eohle le k8s ke puisano ka lipontšo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ena ke manifesto e rarahaneng. Seo re se totobalitseng ka bofubelu ke seo re lokelang ho tsepamisa maikutlo ho sona. Re kopa opareitara ho theha sehlopha se bitsoang demo.

Ena ke mehlala ea mantlha ea hajoale. Polokelo ha e so hlalosoe, empa re tla khutlela polokelong hamorao. Hajoale, re tla hlokomela matla a nts'etsopele ea sehlopha.

Re thehile manifesto ena. Re e fepa ho opareitara ea rona. O ne a sebetsa, a etsa boselamose.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re sheba console. Likarolo tse tharo li khahla: Pod, Litšebeletso tse peli, le StatefulSet.

Opereishene e sebelitse, 'me re ka bona seo a se entseng hantle.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

O bopa ntho e kang ena. Re na le StatefulSet, Pod, ConfigMap bakeng sa setšoantšo se seng le se seng, ConfigMap bakeng sa sehlopha sohle. Litšebeletso lia hlokahala e le libaka tsa ho kena sehlopheng.

Litšebeletso ke lits'ebeletso tse bohareng tsa Load Balancer mme li ka sebelisoa bakeng sa setšoantšo se seng le se seng, bakeng sa shard ka 'ngoe.

Sehlopha sa rona sa mantlha se shebahala tjena. E tsoa ho node e le 'ngoe.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re feteleng pele mme re thatafatse dintho. Re hloka ho arola sehlopha.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mesebetsi ea rona ea hola, matla a qala. Re batla ho eketsa shard. Re latela tsoelopele. Re fetola litlhophiso tsa rona. Re bontša hore re batla likotoana tse peli.

Ena ke faele e ts'oanang e tsoelang pele ka matla le kholo ea sistimi. Che ea polokelo, ho tla buisanoa ka polokelo ho ea pele, ena ke sehlooho se arohaneng.

Re fepa opareitara ea YAML mme re bona se etsahalang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mosebeletsi o ile a nahana mme a etsa mekhatlo e latelang. Re se re na le li-Pods tse peli, Litšebeletso tse tharo, 'me, ka tšohanyetso, 2 StatefulSets. Hobaneng 2 StatefulSets?

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Setšoantšong se ne se le tjena - ena ke boemo ba rona ba pele, ha re ne re e-na le pod e le 'ngoe.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

E ile ea e-ba tjena. Ho fihlela joale ntho e 'ngoe le e' ngoe e bonolo, e 'nile ea kopitsoa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Hona ke hobane'ng ha ho bile le li-StatefulSets tse peli? Mona re hloka ho nyenyefatsa le ho buisana ka potso ea hore na li-Pods li laoloa joang ho Kubernetes.

Ho na le ntho e bitsoang StatefulSet e u lumellang hore u thehe sehlopha sa li-Pods ho tsoa template. Ntlha ea bohlokoa mona ke Template. 'Me u ka qala li-Pods tse ngata u sebelisa template e le' ngoe ho StatefulSet e le 'ngoe. 'Me poleloana ea bohlokoa mona ke "li-Pods tse ngata bakeng sa template e le' ngoe."

'Me ho bile le moleko o moholo oa ho etsa sehlopha sohle, ho se paka ho StatefulSet e le' ngoe. E tla sebetsa, ha ho na bothata ka eona. Empa ho na le tlhokomeliso e le 'ngoe. Haeba re batla ho bokella sehlopha se fapaneng, ke hore, ho tsoa liphetolelong tse 'maloa tsa ClickHouse, joale lipotso li qala ho hlaha. E, StatefulSet e ka etsa ntlafatso, 'me moo u ka ntšang mofuta o mocha, u hlalose hore ha ua lokela ho leka ho feta li-node tse ngata ka nako e le' ngoe.

Empa haeba re fetisa mosebetsi mme re re re batla ho etsa sehlopha se fapaneng ka ho felletseng mme ha re batle ho fetoha ho tloha mofuteng oa khale ho ea ho o mocha re sebelisa ntlafatso, empa re mpa re batla ho theha sehlopha sa mefuta e fapaneng ka bobeli ho latela maemo. ea mefuta e fapaneng ea ClickHouse le mabapi le polokelo e fapaneng. Ka mohlala, re batla ho etsa li-replicas ho li-disk tse arohaneng, ho tse liehang, ka kakaretso, ho haha ​​​​sehlopha se fapaneng ka ho feletseng. Mme ka lebaka la hore StatefulSet e etsa tharollo e emeng ho tsoa template e le 'ngoe, ha ho na mokhoa oa ho etsa sena.

Ka mor’a ho nahana, ho ile ha etsoa qeto ea hore re e etse ka tsela ena. Re na le setšoantšo ka seng ho StatefulSet ea sona. Ho na le litšitiso tse ling ho tharollo ena, empa ts'ebetsong tsohle li koaletsoe ka botlalo ke opareitara. Mme ho na le melemo e mengata. Re ka haha ​​​​sehlopha se nepahetseng seo re se batlang, mohlala, se fapaneng ka ho feletseng. Ka hona, sehlopheng seo ho sona re nang le li-shards tse peli tse nang le setšoantšo se le seng, re tla ba le 2 StatefulSets le 2 Pods hantle hobane re khethile mokhoa ona ka mabaka a boletsoeng ka holimo hore re khone ho haha ​​​​sehlopha se fapaneng.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

A re khutleleng mathateng a sebetsang. Sehlopheng sa rona re hloka ho lokisa basebelisi, ke hore. o hloka ho etsa tlhophiso e itseng ea ClickHouse ho Kubernetes. Opereishene e fana ka menyetla eohle ea sena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re ka ngola seo re se batlang ka kotloloho ho YAML. Likhetho tsohle tsa tlhophiso li entsoe 'mapa ka kotloloho ho tloha ho YAML ho ea ho ClickHouse configs, ebe e ajoa ho pholletsa le sehlopha.

U ka e ngola tjena. Sena ke mohlala. Phasewete e ka ngolisoa. Ehlile likhetho tsohle tsa tlhophiso ea ClickHouse lia tšehetsoa. Mona ke mohlala feela.

Tlhophiso ea sehlopha e ajoa joalo ka ConfigMap. Ha e le hantle, ntlafatso ea ConfigMap ha e etsahale hang-hang, kahoo haeba sehlopha se le seholo, joale ts'ebetso ea ho sutumetsa tlhophiso e nka nako. Empa sena sohle se bonolo haholo ho se sebelisa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re thatafatse mosebetsi. Sehlopha se ntse se tsoela pele. Re batla ho pheta lintlha. Ke hore, re se re ntse re e-na le li-shards tse peli, replica e le 'ngoe,' me basebelisi ba hlophisitsoe. Re a hola mme re batla ho etsa boikatiso.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re hloka eng bakeng sa ho ikatisa?

Re hloka ZooKeeper. Ho ClickHouse, phetisetso e hahiloe ho sebelisoa ZooKeeper. ZooKeeper ea hlokahala e le hore likopi tse fapaneng tsa ClickHouse li be le tumellano mabapi le hore na ke li-block tsa data life tseo ClickHouse e leng ho tsona.

ZooKeeper e ka sebelisoa ke mang kapa mang. Haeba khoebo e na le ZooKeeper ea kantle, e ka sebelisoa. Haeba ho se joalo, u ka e kenya sebakeng sa rona sa polokelo. Ho na le installer e etsang hore ntho ena kaofela e be bonolo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

'Me setšoantšo sa litšebelisano tsa tsamaiso eohle se fetoha tjena. Re na le Kubernetes joalo ka sethala. E etsa opareitara ea ClickHouse. Ke tšoantšitse ZooKeeper mona. 'Me opareitara e sebelisana le ClickHouse le ZooKeeper ka bobeli. Ke hore, liphello tsa puisano.

'Me sena sohle sea hlokahala hore ClickHouse e atlehe ho pheta lintlha ho k8s.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Joale ha re shebeng mosebetsi ka boona, hore na ponaletso ea ho pheta-pheta e tla shebahala joang.

Re eketsa likarolo tse peli ho manifesto ea rona. Ea pele ke moo u ka fumanang ZooKeeper, e ka bang ka hare ho Kubernetes kapa kantle. Ena ke tlhaloso feela. 'Me re odara likopi. Tseo. re batla likopi tse peli. Ka kakaretso, re lokela ho ba le li-pods tse 4 ka tlhahiso. Re hopola ka polokelo, e tla khutla hamorao. Polokelo ke pale e arohaneng.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ho ne ho le tjena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

E fetoha tjena. Likopi li eketsoa. Ea 4 ha ea ka ea lekana, re lumela hore ho ka ba le ba bangata ba bona moo. 'Me ZooKeeper e eketsoa ka lehlakoreng. Merero e ntse e rarahana le ho feta.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

'Me ke nako ea ho eketsa mosebetsi o latelang. Re tla eketsa Prosistant Storage.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)Bakeng sa Pokello e Tsoelang Pele re na le likhetho tse fapaneng.

Haeba re ntse re matha ho mofani oa maru, ka mohlala, re sebelisa Amazon, Google, joale ho na le moleko o moholo oa ho sebelisa polokelo ea leru. E bonolo haholo, e ntle.

'Me ho na le khetho ea bobeli. Sena ke sa polokelo ea lehae, ha re na le li-disk tsa lehae sebakeng se seng le se seng. Khetho ena e thata haholo ho e sebelisa, empa ka nako e ts'oanang e beha litholoana haholoanyane.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re boneng seo re nang le sona mabapi le polokelo ea leru.

Ho na le melemo. Ho bonolo haholo ho e lokisa. Re mpa re odara ho tsoa ho mofani oa maru hore ka kopo re fe polokelo ea matla a joalo le a joalo, a sehlopha se joalo le se joalo. Litlelase li hlophisitsoe ke bafani ba ikemetseng.

'Me ho na le drawback. Ho ba bang, sena ke tšitiso e seng ea bohlokoa. Ha e le hantle, ho tla ba le mathata a mang a tshebetso. Ho bonolo haholo ho e sebelisa ebile e ka tšeptjoa, empa ho na le litšitiso tse ling tsa ts'ebetso.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mme hobane ClickHouse e shebana haholo le tlhahiso, motho a ka ba a re e pepeta sohle seo e ka se khonang, ke ka lebaka leo bareki ba bangata ba lekang ho pepesa tlhahiso e phahameng.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

'Me ho fumana molemo o moholo ho eona, re hloka polokelo ea lehae.

Kubernetes e fana ka lintlha tse tharo tsa ho sebelisa polokelo ea lehae ho Kubernetes. Sena:

  • EmptyDir
  • HostPath.
  • Local

A re shebeng hore na li fapane joang le hore na li tšoana joang.

Taba ea pele, ka mekhoa eohle e meraro re na le polokelo - tsena ke li-disk tsa lehae tse fumanehang sebakeng se tšoanang sa k8s. Empa ba na le liphapang tse itseng.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re qaleng ka e bonolo ka ho fetisisa, ke hore emptyDir. Ke eng see ka tšebetso? Ka litlhaloso tsa rona, re kopa sistimi ea lisebelisoa (hangata Docker) ho re fa monyetla oa ho fumana foldara ho disk ea lehae.

Ha e le hantle, Docker e iketsetsa foldara ea nakoana kae-kae litseleng tsa eona ebe e e bitsa hashi e telele. 'Me e fana ka segokanyimmediamentsi sa sebolokigolo ho fihlella ho eona.

Mosebetsi ona o tla sebetsa joang ka bohlale? Sena se tla sebetsa ka lebelo la disk ea sebakeng seo, ke hore. Ena ke phihlello e felletseng ea screw ea hau.

Empa nyeoe ena e na le drawback ea eona. Ho phehella hoa belaella tabeng ena. Lekhetlo la pele Docker e tsamaea le lijana, Persistent e lahlehile. Haeba Kubernetes a batla ho fetisetsa Pod ena ho disk e 'ngoe ka lebaka le itseng, data e tla lahleha.

Mokhoa ona o molemo bakeng sa liteko, hobane o se o ntse o bontša lebelo le tloaelehileng, empa bakeng sa ntho e tebileng khetho ena ha e tšoanelehe.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ka hona, ho na le mokhoa oa bobeli. Ena ke hostPath. Haeba u sheba selaete se fetileng le sena, u ka bona phapang e le 'ngoe feela. Sefaele sa rona se tlohile ho Docker ka kotloloho ho ea sebakeng sa Kubernetes. Ho bonolo haholoanyane mona. Re hlakisa ka ho toba tsela tsamaisong ea faele ea lehae moo re ka ratang ho boloka data ea rona.

Mokhoa ona o na le melemo. Sena e se e ntse e le Phehello ea 'nete, le ea khale ka nako eo. Re tla ba le data e tlalehiloeng ho disk atereseng e 'ngoe.

Ho boetse ho na le mefokolo. Hona ke ho rarahana ha tsamaiso. Li-Kubernetes tsa rona li kanna tsa batla ho fetisetsa Pod sebakeng se seng sa 'mele. Mona ke moo DevOps e kenang teng. O tlameha ho hlalosetsa tsamaiso eohle hantle hore li-pods tsena li ka fetisetsoa feela ho li-node tseo ho tsona u nang le ntho e behiloeng haufi le litsela tsena, 'me ha ho node e fetang e le' ngoe ka nako. Ho thata haholo.

Haholo-holo bakeng sa merero ena, re ile ra etsa litempele ho opareitara ea rona e le ho pata bothata bona kaofela. Mme o ka re feela: "Ke batla ho ba le mohlala o le mong oa ClickHouse bakeng sa node e 'ngoe le e' ngoe ea 'mele le tseleng e joalo le e joalo."

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Empa ha se rona feela ba hlokang tlhokahalo ena, kahoo bahlomphehi ba Kubernetes ka boeona ba boetse ba utloisisa hore batho ba batla ho fumana li-disks tsa 'mele, kahoo ba fana ka lera la boraro.

E bitsoa ea lehae. Ha ho na phapang ho tloha selaeteng se fetileng. Ke pele feela ho neng ho hlokahala ho tiisa ka letsoho hore re ke ke ra fetisetsa li-pods tsena ho tloha node ho ea ho node, hobane li tlameha ho kenngoa ka tsela e itseng ho disk ea sebakeng sa heno, empa hona joale tsebo ena eohle e kenyelelitsoe Kubernetes ka boeona. 'Me ho bonahala ho le bonolo haholo ho e hlophisa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

A re khutleleng bothateng ba rōna bo sebetsang. Ha re khutleleng setšoantšong sa YAML. Mona re na le polokelo ea 'nete. Re khutletse ho eona. Re beha template ea khale ea VolumeClaim joalo ka li-k8s. 'Me re hlalosa hore na re batla polokelo ea mofuta ofe.

Kamora sena, li-k8s li tla kopa polokelo. E tla re abela eona ho StatefulSet. 'Me qetellong e tla be e sebelisoa ke ClickHouse.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re ne re e-na le morero ona. Polokelo ea Rōna e Tsoelang Pele e ne e le khubelu, e neng e bonahala e fana ka maikutlo a hore ho ne ho hlokahala hore ho etsoe.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

'Me e fetoha e tala. Hona joale ClickHouse ho k8s cluster scheme e phethetsoe ka botlalo. Re na le li-shards, replicas, ZooKeeper, re na le Persistent ea sebele, e sebelisoang ka tsela e 'ngoe kapa e' ngoe. Morero o se o ntse o sebetsa ka botlalo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re tsoela pele ho phela. Sehlopha sa rona se ntse se tsoela pele. 'Me Alexey o leka, mme o lokolla mofuta o mocha oa ClickHouse.

Ho hlaha mosebetsi o sebetsang - ho leka mofuta o mocha oa ClickHouse sehlopheng sa rona. 'Me, ka tlhaho, ha u batle ho e hlahisa kaofela; u batla ho beha mofuta o mocha sebakeng se le seng sekhutlong se hole, mme mohlomong eseng mofuta o le mong o mocha, empa tse peli ka nako e le ngoe, hobane li tsoa khafetsa.

Re ka reng ka taba ee?

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mona re na le monyetla o joalo feela. Tsena ke litempele tsa pod. U ka ngola hore opareitara ea rona e u lumella ka botlalo ho haha ​​​​sehlopha se fapaneng. Tseo. lokisa, ho qala ho tsoa ho likopi tsohle ka bongata, ho qetella ka setšoantšo se seng le se seng sa motho, e leng mofuta oo re o batlang ClickHouse, mofuta oo re batlang ho o boloka. Re ka hlophisa sehlopha ka botlalo ka tlhophiso eo re e hlokang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re keneng ka hare hanyane. Pele ho sena, re buile ka hore na ClickHouse-operator e sebetsa joang mabapi le lintlha tse tobileng tsa ClickHouse.

Joale ke rata ho bua mantsoe a seng makae mabapi le hore na opereishene leha e le efe e sebetsa joang ka kakaretso, hammoho le hore na e sebelisana joang le K8s.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re shebeng ho sebelisana le ba K8 pele. Ho etsahala'ng ha re etsa kopo ea kubectl? Lintho tsa rona li hlaha ka etcd ka API.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mohlala, lintho tsa mantlha tsa Kubernetes: pod, StatefulSet, tšebeletso, joalo-joalo lethathamong.

Ka nako e ts'oanang, ha ho letho le etsahalang 'meleng. Lintho tsena li tlameha ho etsoa ka har'a sehlopha.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Bakeng sa morero ona, ho hlaha molaoli. Molaoli ke karolo e khethehileng ea k8s e ka hlahisang litlhaloso tsena. O tseba mokhoa le seo a lokelang ho se etsa 'meleng. O tseba ho tsamaisa li-container, ke eng e lokelang ho hlophisoa moo e le hore seva se sebetse.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mme e etsa dintho tsa rona ho K8s.

Empa ha re batle ho sebetsa feela ka li-pods le StatefulSets, re batla ho theha ClickHouseInstallation, ke hore ntho ea mofuta oa ClickHouse, e le hore re sebetse le eona ka kakaretso. Ho fihlela joale ha ho na monyetla o joalo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Empa K8s e na le ntho e latelang e monate. Re batla hore re be le kae-kae joalo ka mokhatlo ona o rarahaneng moo sehlopha sa rona se tla kopanngoa ho tsoa ho li-pods le StatefulSet.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Hona ke eng e lokelang ho etsoa bakeng sa see? Taba ea pele, Custom Resource Definition e tla setšoantšong. Ke eng? Ena ke tlhaloso ea K8s, hore u tla ba le mofuta o mong hape oa data, oo re batlang ho eketsa mohloli oa tloaelo ho pod, StatefulSet, e tla ba e rarahaneng ka hare. Ena ke tlhaloso ea sebopeho sa data.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re boetse re e romella moo ka kubectl application. Kubernetes o ile a e nka ka thabo.

'Me hona joale polokelong ea rona, ntho e teng etcd e na le monyetla oa ho rekota mohloli oa tloaelo o bitsoang ClickHouseInstallation.

Empa hajoale ha ho letho le leng le tla etsahala. Ke hore, haeba joale re theha faele ea YAML eo re e shebileng e hlalosang shards le replicas ebe re re "kubectl apply," Kubernetes o tla e amohela, a e behe etcd ebe o re: "Ho lokile, empa ha ke tsebe hore na ke etse eng. ka eona. Ha ke tsebe ho boloka ClickHouseInstallation. ”

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ka hona, re hloka motho ea ka thusang Kubernetes ho sebeletsa mofuta o mocha oa data. Ka ho le letšehali re na le molaoli oa tlhaho oa Kubernetes ea sebetsang le mefuta ea data ea tlhaho. 'Me ka ho le letona re lokela ho ba le molaoli oa tloaelo ea ka sebetsang le mefuta ea data e tloaelehileng.

Mme ka tsela e nngwe e bitswa opareitara. Ke e kenyelelitse mona ka ho khetheha e le Kubernetes, hobane e ka boela ea etsoa ka ntle ho K8s. Hangata, ehlile, basebelisi bohle ba bolaoa Kubernetes, empa ha ho letho le e thibelang ho ema ka ntle, ka hona mona e isoa kantle ka ho khetheha.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

'Me ka lehlakoreng le leng, molaoli oa tloaelo, ea tsejoang hape e le opareitara, o sebelisana le Kubernetes ka API. E se e tseba ho sebelisana le API. 'Me o se a ntse a tseba ho etsa potoloho e rarahaneng eo re batlang ho e etsa ho tloha mohloling o tloaelehileng. Sena ke sona hantle seo opareitara e se etsang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mookameli o sebetsa joang? A re shebeng lehlakoreng le letona ho bona hore na o e etsa joang. Ha re fumane hore na opareitara e etsa sena sohle joang le hore na tšebelisano e tsoelang pele le li-K8 e etsahala joang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Opareitara ke lenaneo. O sekametse ketsahalong. Opereishene e ingolisa ho liketsahalo a sebelisa Kubernetes API. Kubernetes API e na le lintlha tsa ho kena moo o ka ingolisang ho liketsahalo. 'Me haeba ho hong ho fetoha ho K8s, joale Kubernetes e romela liketsahalo ho bohle, ke hore. mang kapa mang ea ngolisitseng sebakeng sena sa API o tla fumana litsebiso.

Opareitara e ingodisa ho diketsahalo mme o tlameha ho etsa karabelo ya mofuta o itseng. Mosebetsi oa eona ke ho arabela liketsahalong tse hlahang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Liketsahalo li hlahisoa ke lintlafatso tse itseng. Faele ea rona ea YAML e nang le tlhaloso ea ClickHouseInstallation ea fihla. O ile a ea etcd ka kubectl apply. Ketsahalo e ile ea hlahisoa moo, 'me ka lebaka leo ketsahalo ena e fihlile ho ClickHouse-operator. Mosebeletsi o fumane tlhaloso ena. Mme o lokela ho etsa ho hong. Haeba ntlafatso e fihlile bakeng sa ntho ea ClickHouseInstallation, joale o hloka ho ntlafatsa sehlopha. 'Me mosebetsi oa opareitara ke ho ntlafatsa sehlopha.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

O etsang? Taba ea pele, re hloka ho etsa moralo oa ts'ebetso oa seo re tla se etsa ka ntlafatso ena. Lintlafatso li ka ba tse nyane haholo, ke hore. e nyane ts'ebetsong ea YAML, empa e ka kenyelletsa liphetoho tse kholo haholo sehlopheng. Ka hona, mosebeletsi o etsa moralo, ebe o khomarela ho oona.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ho ea ka morero ona, o qala ho pheha mohaho ona ka hare e le hore a fumane li-pods, litšebeletso, i.e. etsa seo mosebetsi oa hae o ka sehloohong e leng sona. Ena ke mokhoa oa ho haha ​​​​sehlopha sa ClickHouse ho Kubernetes.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Joale ha re bueng ka ntho e khahlisang joalo. Ena ke karohano ea boikarabello pakeng tsa Kubernetes le opareitara, i.e. seo Kubernetes a se etsang, seo mosebeletsi a se etsang, le kamoo ba sebelisanang kateng.

Kubernetes e ikarabella bakeng sa lintho tsa tsamaiso, i.e. bakeng sa sete ya motheo ya dintho tse ka hlalosoang e le tsamaiso-scope. Kubernetes o tseba ho qala li-pods, ho qala lijana bocha, ho phahamisa li-volumes, ho sebetsa le ConfigMap, i.e. ntho e nngwe le e nngwe e ka bitswang tsamaiso.

Basebelisi ba sebetsa libakeng tse itseng. Opereishene e 'ngoe le e' ngoe e etselitsoe sebaka sa eona sa thuto. Re e etselitse ClickHouse.

'Me opareitara e sebelisana hantle ho latela sebaka seo ho buuoang ka sona, joalo ka ho eketsa replica, ho etsa setšoantšo, ho beha leihlo. Sena se fella ka karohano.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re shebeng mohlala o sebetsang oa hore na karohano ena ea boikarabello e etsahala joang ha re etsa ketso ea ho eketsa.

Opareitara e fumana mosebetsi - ho eketsa replica. Mokhanni o etsa'ng? Opereishene e tla lekanya hore StatefulSet e ncha e hloka ho theoa, moo litempele tse joalo le tse joalo, tseko ea molumo, li tlamehang ho hlalosoa.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

O ile a e lokisa kaofela mme a e fetisetsa ho ba K8. O re o hloka ConfigMap, StatefulSet, Volume. Kubernetes ea sebetsa. O etsa likarolo tsa motheo tseo a sebetsang ka tsona.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ebe ClickHouse-opereishene e qala ho sebetsa hape. O se a ntse a e-na le pod ea 'mele eo a seng a ntse a ka etsa ho hong ho eona. 'Me ClickHouse-opereishene e boetse e sebetsa maemong a domain. Tseo. Ka ho khetheha ClickHouse, e le hore u kenye setšoantšo ka har'a sehlopha, u tlameha, pele, ho lokisa schema ea data e teng sehlopheng sena. Taba ea bobeli, setšoantšo sena se tlameha ho kenyelletsoa tlhahlobong e le hore se tle se tsebe ho hlaka. Opereishene e se e ntse e lokisa sena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mme feela kamora hore ClickHouse ka boeona e kenelle, ke hore. setheo se seng sa boemo bo holimo. Sena e se e ntse e le database. E na le mohlala oa eona, replica e 'ngoe e hlophisitsoeng e ikemiselitseng ho kenella sehlopheng.

Hoa fumaneha hore ketane ea ts'ebetso le karohano ea boikarabello ha o eketsa setšoantšo se telele haholo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re tsoela pele ka mesebetsi ea rona e sebetsang. Haeba u se u ntse u e-na le sehlopha, u ka falla tlhophiso.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re e entse e le hore o tsebe ho beha xml e teng, eo ClickHouse e e utloisisang.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

U ka etsa ClickHouse hantle. Ho tsamaisoa ha libaka feela ke seo ke buileng ka sona ha ke hlalosa hostPath, polokelo ea lehae. Ena ke mokhoa oa ho etsa deployment ka nepo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Mosebetsi o latelang o sebetsang ke ho beha leihlo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Haeba sehlopha sa rona se fetoha, joale re hloka ho hlophisa tlhahlobo nako le nako.

Ha re shebeng setšoantšo. Re se re shebile metsu e tala mona. Joale ha re shebeng metsu e khubelu. Ke kamoo re batlang ho beha sehlopha sa rona leihlo. Li-metrics tse tsoang sehlopheng sa ClickHouse li kena joang ho Prometheus, ebe li kena Grafana.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Bothata ba ho beha leihlo ke bofe? Ke hobane’ng ha see se hlahisoa e le katleho ea mofuta o itseng? Bothata bo ho matla a matla. Ha re na le cluster e le 'ngoe 'me e tsitsitse, joale re ka theha monitoring hang mme re se ke ra hlola re khathatseha.

Empa haeba re e-na le lihlopha tse ngata, kapa ntho e 'ngoe e lula e fetoha, joale ts'ebetso e matla. 'Me ho beha leihlo kamehla ke tšenyo ea lisebelisoa le nako, ke hore. esita le botsoa feela. Sena se hloka ho iketsetsa. Bothata bo ka har'a matla a ts'ebetso. Mme opareitara e etsa sena hantle haholo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Sehlopha sa rona se ile sa hola joang? Tshimolohong o ne a le jwalo.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Eaba o ba tjena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Qetellong, o ile a ba tjena.

Mme ho beha leihlo ho etswa ka boiketsetso ke opareitara. Sebaka se le seng sa ho kena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

'Me ha re tsoa re sheba dashboard ea Grafana ho bona hore na bophelo ba sehlopha sa rona bo ntse bo bela joang ka hare.

Ka tsela, Grafana dashboard e boetse e ajoa le opareitara ea rona ka kotloloho ho khoutu ea mohloli. O ka hokela le ho sebedisa. Li-DevOps tsa rona li mphile skrini sena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re ka rata ho ea hokae hape? Sena:

  • Ntlafatsa boiketsetso ba liteko. Mosebetsi o ka sehloohong ke tlhahlobo e ikemetseng ea liphetolelo tse ncha.
  • Re boetse re batla ho ikamahanya le ho kopanya le ZooKeeper. Mme ho na le merero ea ho hokahana le ZooKeeper-operator. Tseo. Opereishene e ngoletsoe ZooKeeper 'me hoa utloahala hore basebetsi ba babeli ba qale ho kopanya ho theha tharollo e bonolo haholoanyane.
  • Re batla ho etsa lipontšo tsa bohlokoa tse rarahaneng haholoanyane.
  • Ke totobalitse ka botala hore re ntse re atamela lefa la li-Templates - HO FEDILE, ke hore ka tokollo e latelang ea opareitara re tla be re se re na le lefa la litempele. Ena ke sesebelisoa se matla se u lumellang hore u hahe litlhophiso tse rarahaneng ho tsoa likotong.
  • 'Me re batla automation ea mesebetsi e rarahaneng. Ntho e ka sehloohong ke ho arolelana hape.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ha re nke liphetho tsa mahareng.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re fumana eng ka lebaka leo? Hona na ho loketse ho e etsa kapa che? Na hoa hlokahala ho leka ho hula database ho Kubernetes le ho sebelisa opareitara ka kakaretso le mokhanni oa Alitnity ka ho khetheha?

Ka tlhahiso re fumana:

  • Nolofatso e kholo le boiketsetso ba tlhophiso, ho tsamaisoa le tlhokomelo.
  • Hang-hang tlhokomelo e hahiloeng ka hare.
  • Le litempele tse hlophisitsoeng tse ikemiselitseng ho sebelisoa bakeng sa maemo a thata. Ketso e kang ho eketsa replica ha e hloke ho etsoa ka letsoho. Motsamaisi o etsa sena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ho setse potso e le 'ngoe feela ea ho qetela. Re se re ntse re e-na le database ho Kubernetes, virtualization. Ho thoe'ng ka ts'ebetso ea tharollo e joalo, haholo kaha ClickHouse e ntlafalitsoe bakeng sa ts'ebetso?

Karabo ke hore tsohle li lokile! Nke ke ka bua ka botlalo; ena ke sehlooho sa tlaleho e arohaneng.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Empa ho na le morero o kang oa TSBS. Mosebetsi oa eona o ka sehloohong ke ofe? Ena ke tlhahlobo ea ts'ebetso ea database. Ena ke teko ea ho bapisa mofuthu le mofuthu, bonolo le bonolo.

O sebetsa joang? Sete e le 'ngoe ea data e entsoe. Ebe sete ena ea data e tsamaisoa ho li-database tse fapaneng ho sebelisoa liteko tse tšoanang. 'Me database e' ngoe le e 'ngoe e rarolla bothata bo le bong ka tsela eo e e tsebang. 'Me joale u ka bapisa liphello.

E se e ntse e tšehetsa sehlopha se seholo sa li-database. Ke khethile tse tharo tse kholo. Sena:

  • TimescaleDB.
  • InfluxDB.
  • ClickHouse.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Papiso e ile ea boela ea etsoa le tharollo e ’ngoe e tšoanang. Ho bapisoa le RedShift. Papiso e entsoe Amazon. ClickHouse le eona e ka pele ho motho e mong le e mong tabeng ena.

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Ho ka fihleloa liqeto life ho seo ke se buileng?

  • DB ho Kubernetes e ka khoneha. Mohlomong ntho leha e le efe e ka khoneha, empa ka kakaretso ho bonahala eka ho ka khoneha. ClickHouse ho Kubernetes e hlile e khoneha ka thuso ea opereishene ea rona.
  • Opereishene e thusa ho iketsetsa lits'ebetso mme e hlile e nolofatsa bophelo.
  • Ts'ebetso e tloaelehile.
  • 'Me ho rona ho bonahala eka sena se ka sebelisoa ebile se lokela ho sebelisoa.

Mohloli o bulehileng - ikopanye le rona!

Joalokaha ke se ke boletse, opereishene ke sehlahisoa se bulehileng ka ho feletseng, kahoo ho ka ba molemo haholo haeba palo e kholo ea batho e e sebelisa. Tlo le rona! Re le emetse kaofela!

Ke leboha bohle!

Lipotso

Opereishene ho Kubernetes bakeng sa ho laola lihlopha tsa database. Vladislav Klimenko (Altinity, 2019)

Re leboha tlaleho! Lebitso la ka ke Anton. Ke tsoa SEMrush. Kea ipotsa hore na ho etsahalang ka ho rema lifate. Re utloa ka ho beha leihlo, empa ha ho letho ka ho rema lifate, haeba re bua ka sehlopha sohle. Ka mohlala, re hlahisitse sehlopha sa hardware. 'Me re sebelisa ho rema lifate tse bohareng, ho li bokella ka har'a qubu e tloaelehileng re sebelisa mekhoa e tloaelehileng. Ebe ho tloha moo re fumana data e re khahlang.

Potso e ntle, ke hore, ho kena lethathamong la todo. Opereishene ea rona ha e so iketsetse sena hajoale. E ntse e tsoela pele, morero o ntse o le monyenyane haholo. Re utloisisa tlhokahalo ea ho rema lifate. Ena le eona ke taba ea bohlokoa haholo. 'Me mohlomong ha ho bohlokoa ho feta ho beha leihlo. Empa pele lethathamong la ts'ebetsong e ne e le ho beha leihlo. Ho tla rengoa lifate. Ka tlhaho, re leka ho iketsetsa likarolo tsohle tsa bophelo ba sehlopha. Ka hona, karabo ke hore hajoale opareitara, ka bomalimabe, ha e tsebe ho etsa sena, empa e le mererong, re tla e etsa. Haeba u batla ho kena, ka kopo hula kopo.

Lumela! Re leboha tlaleho! Ke na le potso e tloaelehileng e amanang le Persistent Volumes. Ha re theha tlhophiso le opareitara ee, mosebeletsi o tseba joang hore na re na le disk kapa foldara e itseng holima node efe? Re tlameha ho qala ho mo hlalosetsa hore ka kopo beha ClickHouse ea rona ho li-node tse nang le disk?

Ho ea kamoo ke utloisisang kateng, potso ena ke tsoelo-pele ea polokelo ea lehae, haholo-holo karolo ea hostPath ea eona. Sena se tšoana le ho hlalosetsa tsamaiso eohle hore pod e lokela ho qalisoa holim'a node e joalo le e joalo, eo re nang le disk e amanang le 'mele, e behiloeng ka tsela e joalo le e joalo. Ena ke karolo eohle eo ke e amileng ka holimo haholo hobane karabo e kholo haholo.

Ka bokhutšoanyane e shebahala tjena. Ka tlhaho, re lokela ho fana ka meqolo ena. Hajoale, ha ho na tokisetso e matla polokelong ea lehae, kahoo DevOps e tlameha ho itšeha li-disk ka botsona, meqolo ena. 'Me ba tlameha ho hlalosa tokisetso ea Kubernetes ea hore u tla ba le li-volumes tse phehellang tsa sehlopha se joalo le se joalo, tse fumanehang libakeng tse joalo le tse joalo. Joale o tla hloka ho hlalosetsa Kubernetes hore li-pods tse hlokang mofuta o joalo oa polokelo ea lehae li hloka ho lebisoa feela ho li-node tse joalo le tse joalo li sebelisa mangolo. Bakeng sa merero ena, opareitara e na le bokhoni ba ho abela mofuta o itseng oa leibole le mohlala o le mong ka mong. 'Me ho bonahala eka li-pods li tla tsamaisoa ke Kubernetes ho sebetsa feela ka li-node tse finyellang litlhoko, li-label, ka mantsoe a bonolo. Batsamaisi ba abela li-label le li-disk tsa ho fana ka letsoho. 'Me joale e ea eketseha.

'Me ke khetho ea boraro, ea lehae, e thusang ho etsa hore sena se be bonolo. Joalo ka ha ke se ke totobalitse, ona ke mosebetsi o boima oa tokiso, oo qetellong o thusang ho fumana ts'ebetso e phahameng.

Ke na le potso ea bobeli e amanang le sena. Kubernetes e entsoe ka tsela eo ho sa tsotelleheng hore na re lahleheloa ke node kapa che. Re lokela ho etsa eng tabeng ee haeba re lahlehetsoe ke node moo shard ea rona e leketlileng teng?

E, Kubernetes qalong o ne a behiloe hore kamano ea rona le li-pods tsa rona e tšoana le likhomo, empa mona le rona disk e 'ngoe le e' ngoe e fetoha ntho e kang phoofolo ea lapeng. Ho na le bothata boo re ke keng ra ba lahla feela. 'Me nts'etsopele ea Kubernetes e ea ka tsela eo ho ke keng ha khoneha ho e tšoara ka ho feletseng ka filosofi, joalokaha eka ke mohloli o lahliloeng ka ho feletseng.

Joale bakeng sa potso e sebetsang. Seo u lokelang ho se etsa haeba u lahleheloa ke node eo disk e neng e le ho eona? Mona bothata bo rarolloa ka boemo bo phahameng. Tabeng ea ClickHouse, re na le li-replicas tse sebetsang boemong bo phahameng, ke hore. boemong ba ClickHouse.

Phello ea maikutlo ke efe? DevOps e na le boikarabello ba ho netefatsa hore data ha e lahlehe. O tlameha ho etsa boikatiso ka nepo mme a etse bonnete ba hore phetiso e sebetsa. Setšoantšo se maemong a ClickHouse se tlameha ho ba le data e kopitsoang. Sena ha se mosebetsi oo opareitara e o rarollang. Ebile eseng bothata boo Kubernetes ka boeona e bo rarollang. Sena se maemong a ClickHouse.

Seo u lokelang ho se etsa haeba node ea tšepe e oa? 'Me ho hlakile hore u tla hloka ho kenya ea bobeli, u fane ka disc ka nepo ho eona,' me u sebelise lileibole. 'Me ka mor'a moo, e tla finyella litlhoko tseo Kubernetes a ka li hlahisang pod ea mohlala ho eona. Kubernetes e tla e qala. Nomoro ea hau ea li-pods ha ea lekana ho fihlela palo e boletsoeng. E tla tsamaea ka potoloho eo ke e bontšitseng. 'Me boemong bo phahameng ka ho fetisisa, ClickHouse e tla utloisisa hore re kentse replica, e ntse e se na letho' me re hloka ho qala ho fetisetsa data ho eona. Tseo. Ts'ebetso ena ha e so iketsetse hantle.

Re leboha tlaleho! Ha mefuta eohle ea lintho tse mpe li etsahala, opareitara e oela fatše ebe e qala hape, 'me ka nako eo liketsahalo li fihla, na u khona ho sebetsana le see?

Ho etsahalang haeba opareitara e ka thula mme e qala hape, ho nepahetse?

Ee. 'Me ka nako eo liketsahalo tsa fihla.

Mosebetsi oa seo u lokelang ho se etsa tabeng ena o arolelanoa ka karolo pakeng tsa opareitara le Kubernetes. Kubernetes o na le bokhoni ba ho bapala ketsahalo e etsahetseng hape. O bapala hape. 'Me mosebetsi oa mokhanni ke ho etsa bonnete ba hore ha tlaleho ea ketsahalo e bapaloa ho eena, liketsahalo tsena ha li na matla. 'Me e le hore ketsahalo e tšoanang khafetsa e se ke ea senya tsamaiso ea rona. Mme mosebeletsi oa rona o sebetsana le mosebetsi ona.

Lumela! Re leboha tlaleho! Dmitry Zavyalov, khampani Smedova. Na ho na le merero ea ho eketsa bokhoni ba ho hlophisa ka haproxy ho opareitara? Ke tla thabela ho leka-lekanya e 'ngoe ntle le e tloaelehileng, e le hore e be bohlale le ho utloisisa hore ClickHouse e teng.

U bua ka Ingress?

Ho joalo, tlosa Ingress ka haproxy. Ka haproxy o ka hlakisa topology ea sehlopha moo e nang le likopi.

Ha re e-so nahane ka hona. Haeba u e hloka 'me u ka hlalosa hore na ke hobane'ng ha e hlokahala, joale ho tla khoneha ho e kenya ts'ebetsong, haholo-holo haeba u batla ho kenya letsoho. Re tla thabela ho nahana ka khetho. Karabo e khuts'oane ke che, hajoale ha re na ts'ebetso e joalo. Ke leboha keletso, re tla sheba taba ena. 'Me haeba u boetse u hlalosa nyeoe ea ts'ebeliso le hore na ke hobane'ng ha e hlokahala ts'ebetsong, mohlala, hlahisa litaba ho GitHub, joale e tla ba ntho e ntle.

E se e ntse e.

Hantle. Re bulehetse litlhahiso leha e le life. 'Me haproxy e kenyelelitsoe lethathamong la todo. Lethathamo la todo le ntse le hola, ha le so fokotsehe. Empa sena se setle, se bolela hore sehlahisoa se batloa.

Source: www.habr.com

Eketsa ka tlhaloso