Gnìomhaiche ann an Kubernetes airson a bhith a’ riaghladh cruinneachaidhean stòr-dàta. Vladislav Klimenko (Altinity, 2019)

Tha an aithisg gu sònraichte airson cùisean practaigeach mu bhith a’ leasachadh gnìomhaiche ann an Kubernetes, a’ dealbhadh a h-ailtireachd agus a phrionnsapalan obrachaidh bunaiteach.

Anns a’ chiad phàirt den aithisg beachdaichidh sinn air:

• dè a th 'ann an gnìomhaiche ann an Kubernetes agus carson a tha feum air;
• dè dìreach a tha an gnìomhaiche a 'sìmpleachadh riaghladh siostaman iom-fhillte;
• dè as urrainn agus nach urrainn don ghnìomhaiche a dhèanamh.

An ath rud, gluaisidh sinn air adhart gu bhith a 'bruidhinn air structar a-staigh a' ghnìomhaiche. Bheir sinn sùil air ailtireachd agus obrachadh a’ ghnìomhaiche ceum air cheum. Bheir sinn sùil mhionaideach air:

• eadar-obrachadh eadar an gnìomhaiche agus Kubernetes;
• dè na gnìomhan a bhios an gnìomhaiche a’ gabhail os làimh agus dè na gnìomhan a bhios e a’ tiomnadh do Kubernetes.

Bheir sinn sùil air a bhith a’ stiùireadh shards agus mac-samhail stòr-dàta ann an Kubernetes.
An ath rud, bruidhnidh sinn mu chùisean stòraidh dàta:

• mar a bhith ag obair le Stòradh Seasmhach bho shealladh gnìomhaiche;
• duilgheadasan ann a bhith a’ cleachdadh Stòradh Ionadail.

Anns a’ phàirt mu dheireadh den aithisg, beachdaichidh sinn air eisimpleirean practaigeach de chleachdadh clickhouse-obrachaidh le Amazon no Google Cloud Service. Tha an aithisg stèidhichte air an eisimpleir de leasachadh agus eòlas obrachaidh gnìomhaiche airson ClickHouse.

Bhidio:

Is e m ’ainm Vladislav Klimenko. An-diugh bha mi airson bruidhinn mun eòlas againn ann a bhith a’ leasachadh agus ag obrachadh gnìomhaiche, agus tha seo na ghnìomhaiche sònraichte airson a bhith a’ riaghladh cruinneachaidhean stòr-dàta. Mar eisimpleir Cliog Taigh-obrachaidh gus buidheann ClickHouse a riaghladh.

Carson a tha cothrom againn bruidhinn mun ghnìomhaiche agus ClickHouse?

• Bidh sinn a’ toirt taic agus a’ leasachadh ClickHouse.
• Aig an àm seo, tha sinn a’ feuchainn ri ar tabhartas slaodach a thoirt do leasachadh ClickHouse. Agus tha sinn san dàrna h-àite às deidh Yandex a thaobh meud nan atharrachaidhean a chaidh a dhèanamh air ClickHouse.
• Tha sinn a’ feuchainn ri pròiseactan a bharrachd a chruthachadh airson eag-shiostam ClickHouse.

Bu mhath leam innse dhuibh mu aon de na pròiseactan sin. Tha seo mu dheidhinn ClickHouse-operator airson Kubernetes.

Anns an aithisg agam bu mhath leam suathadh air dà chuspair:

• Is e a’ chiad chuspair mar a tha ar gnìomhaiche riaghlaidh stòr-dàta ClickHouse ag obair ann an Kubernetes.
• Is e an dàrna cuspair mar a tha gnìomhaiche sam bith ag obair, i.e. mar a bhios e ag eadar-obrachadh le Kubernetes.

Ach, bidh an dà cheist seo eadar-dhealaichte tron ​​​​aithisg agam.

Cò aig am biodh ùidh ann a bhith ag èisteachd ris na tha mi a’ feuchainn ri innse?

• Bidh e gu math inntinneach don fheadhainn aig a bheil gnìomhaichean.
• No dhaibhsan a tha airson an cuid fhèin a dhèanamh gus tuigse fhaighinn air mar a tha e ag obair air an taobh a-staigh, mar a bhios an gnìomhaiche ag eadar-obrachadh le Kubernetes, agus dè na duilgheadasan a dh’ fhaodadh nochdadh.

Gus an tuigse as fheàrr fhaighinn air na bhios sinn a’ bruidhinn an-diugh, is e deagh bheachd a th ’ann faighinn a-mach mar a tha Kubernetes ag obair agus beagan trèanaidh sgòthan bunaiteach a bhith agad.

Dè a th’ ann an ClickHouse? Is e stòr-dàta colbh a tha seo le feartan sònraichte airson giullachd cheistean anailis air-loidhne. Agus tha e gu tur fosgailte.

Agus tha e cudromach nach eil fios againn ach dà rud. Feumaidh fios a bhith agad gur e stòr-dàta a tha seo, agus mar sin bidh na dh’ innseas mi dhut iomchaidh airson cha mhòr stòr-dàta sam bith. Agus leis gu bheil na sgàilean ClickHouse DBMS gu math, a’ toirt scalability cha mhòr sreathach. Agus mar sin, tha an stàit brabhsair na staid nàdarra airson ClickHouse. Agus tha ùidh mhòr againn ann a bhith a’ bruidhinn air mar a bheir sinn seirbheis don bhuidheann ClickHouse ann an Kubernetes.

Carson a tha feum air an sin? Carson nach urrainn dhuinn cumail oirnn ga obrachadh fhèin? Agus tha na freagairtean gu ìre theicnigeach agus gu ìre eagrachaidh.

• Ann an cleachdadh, tha sinn a 'sìor fhàs a' tighinn tarsainn air suidheachadh far a bheil cha mhòr a h-uile pàirt ann an Kubernetes ann an companaidhean mòra. Bidh stòran-dàta a’ fuireach taobh a-muigh.
• Agus thathas a’ faighneachd barrachd is barrachd a’ cheist: “An gabh seo a chuir a-staigh?” Mar sin, tha companaidhean mòra a’ feuchainn ris an aonachadh riaghlaidh as àirde a choileanadh gus an urrainn dhaibh na stòran dàta aca a riaghladh gu sgiobalta.
• Agus tha seo gu sònraichte na chuideachadh ma tha feum agad air a’ chothrom as motha an aon rud a dhèanamh a-rithist ann an àite ùr, i.e. an comas giùlain as motha.

Dè cho furasta no duilich a tha e? Gu dearbh, faodar seo a dhèanamh le làimh. Ach chan eil e cho sìmplidh, oir tha an iom-fhillteachd a bharrachd againn a bhith a’ riaghladh Kubernetes fhèin, ach aig an aon àm tha mion-fhiosrachadh ClickHouse air a chuir thairis. Agus tha an leithid de chruinneachadh mar thoradh.

Agus còmhla tha seo a’ toirt seachad seata meadhanach mòr de theicneòlasan, a tha gu math duilich a riaghladh, leis gu bheil Kubernetes a’ toirt a chùisean làitheil fhèin gu gnìomh, agus tha ClickHouse a’ toirt a chùisean fhèin gu obair làitheil. Gu sònraichte ma tha grunn ClickHouses againn, agus feumaidh sinn an-còmhnaidh rudeigin a dhèanamh leotha.

Le rèiteachadh fiùghantach, tha àireamh gu math mòr de chùisean aig ClickHouse a chruthaicheas luchd cunbhalach air DevOps:

• Nuair a tha sinn airson rudeigin atharrachadh ann an ClickHouse, mar eisimpleir, cuir mac-samhail no shard ris, feumaidh sinn an rèiteachadh a riaghladh.
• An uairsin atharraich an sgeama dàta, oir tha dòigh rùsgaidh sònraichte aig ClickHouse. An sin feumaidh tu an diagram dàta a chuir a-mach, cuir a-mach na rèiteachaidhean.
• Feumaidh tu sgrùdadh a stèidheachadh.
• A’ cruinneachadh logaichean airson shards ùra, airson mac-samhail ùra.
• Thoir an aire air ath-bheothachadh.
• Agus ath-thòiseachadh.

Is e gnìomhan àbhaisteach a tha seo a bu mhath leam a dhèanamh nas fhasa a chleachdadh.

Tha Kubernetes fhèin a 'cuideachadh gu math ann an obrachadh, ach air rudan siostam bunaiteach.

Tha Kubernetes math air a bhith a’ comasachadh agus ag fèin-ghluasad rudan mar:

• Ath-bheothachadh.
• Ath-thòisich.
• Riaghladh siostam stòraidh.

Tha sin math, sin an t-slighe cheart, ach tha e gu tur gun chiall a thaobh mar a dh’ obraicheas e cruinneachadh stòr-dàta.

Tha sinn ag iarraidh barrachd, tha sinn airson gum bi an stòr-dàta gu lèir ag obair ann an Kubernetes.

Bu mhath leam rudeigin mar aon phutan mòr draoidheil dearg a bhrùthas tu agus buidheann de ghnìomhan làitheil a dh’ fheumar fhuasgladh a chleachdadh agus a chumail suas fad a bheatha. Buidheann ClickHouse ann an Kubernetes.

Agus dh’ fheuch sinn ri fuasgladh a dhèanamh a chuidicheadh ​​an obair a dhèanamh nas fhasa. Is e seo gnìomhaiche ClickHouse airson Kubernetes bho Altinity.

Is e prògram a th’ ann an gnìomhaiche aig a bheil prìomh obair a bhith a’ riaghladh phrògraman eile, i.e. is e manaidsear a th’ ann.

Agus tha pàtrain giùlain ann. Faodaidh tu an t-eòlas còdaichte seo a ghairm mun raon cuspair.

Agus is e a phrìomh obair beatha DevOps a dhèanamh nas fhasa agus micromanagement a lughdachadh, gus am bi e (DevOps) mu thràth a ’smaoineachadh ann an teirmean àrd-ìre, ie, gus nach bi e (DevOps) an sàs ann am micromanagement, gus nach bi e a’ rèiteachadh. a h-uile mion-fhiosrachadh le làimh.

Agus is e dìreach an gnìomhaiche neach-cuideachaidh robotach a bhios a ’dèiligeadh ri microtasks agus a’ cuideachadh DevOps.

Carson a tha feum agad air gnìomhaiche? Bidh e a’ coileanadh gu sònraichte math ann an dà raon:

• Nuair nach eil eòlas gu leòr aig an eòlaiche a bhios a’ dèiligeadh ri ClickHouse, ach a dh’ fheumas a bhith ag obrachadh ClickHouse mu thràth, bidh an gnìomhaiche a’ comasachadh an obrachaidh agus a’ leigeil leat brabhsair ClickHouse obrachadh le rèiteachadh caran toinnte, gun a bhith a’ dol a-steach cus mion-fhiosrachaidh mu mar a tha e uile ag obair. a-staigh. Tha thu dìreach a’ toirt gnìomhan àrd-ìre dha, agus bidh e ag obair.
• Agus is e an dàrna gnìomh anns am bi e a ’coileanadh as fheàrr nuair a dh’ fheumar àireamh mhòr de ghnìomhan àbhaisteach a dhèanamh fèin-ghluasadach. A’ toirt air falbh microtasks bho rianadairean an t-siostaim.

Tha feum air seo an dàrna cuid leis an fheadhainn a tha dìreach a’ tòiseachadh air an turas, no leis an fheadhainn a dh’ fheumas tòrr fèin-ghluasaid a dhèanamh.

Ciamar a tha an dòigh-obrach stèidhichte air gnìomhaiche eadar-dhealaichte bho shiostaman eile? Tha Helm ann. Bidh e cuideachd a’ cuideachadh le stàladh ClickHouse; faodaidh tu clàran-stiùiridh a tharraing, a stàlaicheas eadhon cruinneachadh ClickHouse gu lèir. Dè an uairsin a tha an diofar eadar an gnìomhaiche agus an aon rud, mar eisimpleir, Helm?

Is e am prìomh eadar-dhealachadh bunaiteach gur e Helm stiùireadh pacaid agus bidh Operator a’ dol ceum air adhart. Is e seo taic airson a’ chuairt-beatha gu lèir. Chan e a-mhàin stàladh a tha seo, ach is e gnìomhan làitheil a tha seo a tha a ’toirt a-steach sgèileadh, sharding, ie a h-uile dad a dh’ fheumar a dhèanamh rè a ’chuairt-beatha (ma tha sin riatanach, an uairsin cuir às cuideachd) - tha seo uile air a cho-dhùnadh leis a’ ghnìomhaiche. Bidh e a’ feuchainn ris a’ chuairt-beatha bathar-bog gu lèir a dhèanamh fèin-ghluasadach agus a chumail suas. Is e seo an eadar-dhealachadh bunaiteach aige bho fhuasglaidhean eile a tha air an taisbeanadh.

B’ e sin am pàirt tòiseachaidh, gluaisidh sinn air adhart.

Ciamar a thogas sinn ar gnìomhaiche? Tha sinn a’ feuchainn ri dèiligeadh ris a’ chùis gus buidheann ClickHouse a riaghladh mar aon ghoireas.

An seo tha dàta cuir a-steach againn air taobh clì an deilbh. Is e seo YAML le sònrachadh brabhsair, a thèid a chuir gu Kubernetes san dòigh chlasaigeach tro kubectl. An sin bidh an gnìomhaiche againn ga thogail agus a’ dèanamh a dhraoidheachd. Agus aig an toradh gheibh sinn an sgeama a leanas. Is e seo buileachadh ClickHouse ann an Kubernetes.

Agus an uairsin bidh sinn a 'coimhead gu slaodach air mar a tha an gnìomhaiche ag obair, dè na gnìomhan àbhaisteach a ghabhas fuasgladh. Cha bheachdaich sinn ach air gnìomhan àbhaisteach leis gu bheil ùine cuibhrichte againn. Agus cha tèid a h-uile dad a dh'fhaodas an gnìomhaiche a cho-dhùnadh a dheasbad.

Feuch an tòisich sinn bho chleachdadh. Tha am pròiseact againn gu tur fosgailte, gus am faic thu mar a tha e ag obair air GitHub. Agus faodaidh tu a dhol air adhart bho na beachdachaidhean ma tha thu dìreach airson a chuir air bhog, faodaidh tu tòiseachadh leis an Quick Start Guide.

Ma tha thu airson tuigsinn gu mionaideach, feuchaidh sinn ris na sgrìobhainnean a chumail ann an cruth nas reusanta no nas lugha.

Feuch an tòisich sinn le duilgheadas practaigeach. Is e a’ chiad obair, far a bheil sinn uile airson tòiseachadh, a’ chiad eisimpleir a ruith dòigh air choireigin. Ciamar as urrainn dhomh ClickHouse a chuir air bhog a ’cleachdadh a’ ghnìomhaiche, eadhon ged nach eil fios agam ciamar a tha e ag obair? Tha sinn a' sgrìobhadh manifesto, oir... Tha a h-uile conaltradh le k8s na chonaltradh tro thaisbeanaidhean.

Is e manifesto cho iom-fhillte a tha seo. Is e na tha sinn air a chomharrachadh ann an dearg na dh’ fheumas sinn fòcas a chuir air. Bidh sinn ag iarraidh air a’ ghnìomhaiche buidheann demo ainmichte a chruthachadh.

Tha iad sin nan eisimpleirean bunaiteach airson a-nis. Cha deach cunntas a thoirt air stòradh fhathast, ach tillidh sinn gu stòradh beagan nas fhaide air adhart. Airson a-nis, bheir sinn sùil air daineamaigs leasachadh a’ bhuidheann.

Chruthaich sinn am manifesto seo. Bidh sinn ga bhiadhadh don ghnìomhaiche againn. Bha e ag obair, rinn e draoidheachd.

Bidh sinn a 'coimhead air a' chonsail. Tha trì pàirtean inntinneach: Pod, dà Sheirbheis, agus StatefulSet.

Tha an gnìomhaiche air obrachadh, agus chì sinn dè dìreach a chruthaich e.

Bidh e a’ cruthachadh rudeigin mar seo. Tha StatefulSet, Pod, ConfigMap againn airson gach mac-samhail, ConfigMap airson a’ bhuidheann gu lèir. Tha feum air seirbheisean mar àiteachan inntrigidh don bhuidheann.

Is e seirbheisean am prìomh Sheirbheis Cothromachaidh Luchdan agus faodar an cleachdadh cuideachd airson gach mac-samhail, airson gach shard.

Tha an cruinneachadh bunaiteach againn a’ coimhead rudeigin mar seo. Tha e bho aon nòta singilte.

Rachamaid nas fhaide agus nì sinn cùisean iom-fhillte. Feumaidh sinn an cruinneachadh a ghearradh dheth.

Tha na gnìomhan againn a’ fàs, tha daineamaigs a’ tòiseachadh. Tha sinn airson sgadan a chur ris. Bidh sinn a 'leantainn an leasachaidh. Tha sinn ag atharrachadh ar sònrachadh. Tha sinn a’ comharrachadh gu bheil sinn ag iarraidh dà shard.

Is e seo an aon fhaidhle a bhios a 'leasachadh gu fiùghantach le fàs an t-siostaim. Chan eil stòradh, thèid tuilleadh deasbaireachd a dhèanamh air stòradh, is e cuspair air leth a tha seo.

Bidh sinn a’ biathadh gnìomhaiche YAML agus a’ faicinn dè thachras.

Smaoinich an gnìomhaiche agus rinn e na buidhnean a leanas. Tha dà Pod againn mu thràth, trì Seirbheisean agus, gu h-obann, 2 StatefulSets. Carson 2 StatefulSets?

Air an diagram bha e mar seo - is e seo ar ciad staid, nuair a bha aon pod againn.

Dh'fhàs e mar seo. Gu ruige seo tha a h-uile dad sìmplidh, chaidh a dhùblachadh.

Agus carson a thàinig dà StatefulSets gu bhith ann? An seo feumaidh sinn a dhol air adhart agus beachdachadh air a’ cheist mu mar a tha Pods air an riaghladh ann an Kubernetes.

Tha rud ann ris an canar StatefulSet a leigeas leat seata de Pods a chruthachadh bho theamplaid. Is e am prìomh fheart an seo Teamplaid. Agus faodaidh tu mòran Pods a chuir air bhog a’ cleachdadh aon teamplaid ann an aon StatefulSet. Agus is e am prìomh abairt an seo “mòran Pods airson aon teamplaid.”

Agus bha buair- eadh mòr air a' chuideachd uile a dheanamh, 'g a phasgadh ann an aon Stàit. Obraichidh e, chan eil duilgheadas ann leis. Ach tha aon rabhadh ann. Ma tha sinn airson cruinneachadh heterogeneous a chruinneachadh, is e sin, bho ghrunn dhreachan de ClickHouse, tòisichidh ceistean ag èirigh. Faodaidh, faodaidh StatefulSet ùrachadh leantainneach a dhèanamh, agus an sin faodaidh tu dreach ùr a chuir a-steach, mìnich nach fheum thu barrachd air uimhir de nodan fheuchainn aig an aon àm.

Ach ma chuireas sinn a-mach an gnìomh agus ag ràdh gu bheil sinn airson cruinneachadh gu tur eadar-dhealaichte a dhèanamh agus nach eil sinn airson atharrachadh bhon t-seann dreach gu fear ùr a’ cleachdadh ùrachadh leantainneach, ach tha sinn dìreach airson cruinneachadh ioma-ghnèitheach a chruthachadh an dà chuid a thaobh de dhreachan eadar-dhealaichte de ClickHouse agus a thaobh stòradh eadar-dhealaichte. Tha sinn airson, mar eisimpleir, cuid de mhac-samhail a dhèanamh air diosgan fa leth, air feadhainn slaodach, san fharsaingeachd, gus cruinneachadh heterogeneous a thogail gu tur. Agus leis gu bheil StatefulSet a’ dèanamh fuasgladh àbhaisteach bho aon teamplaid, chan eil dòigh ann seo a dhèanamh.

Às deidh beagan smaoineachaidh, chaidh co-dhùnadh gun dèanamaid mar seo e. Tha gach mac-samhail againn na StatefulSet fhèin. Tha cuid de eas-bhuannachdan ann don fhuasgladh seo, ach ann an cleachdadh tha e uile air a chuairteachadh gu tur leis a ’ghnìomhaiche. Agus tha mòran bhuannachdan ann. Is urrainn dhuinn an dearbh bhuidheann a tha sinn ag iarraidh a thogail, mar eisimpleir, tè a tha gu tur eadar-dhealaichte. Mar sin, ann am buidheann anns a bheil dà shard againn le aon mac-samhail, bidh 2 StatefulSets agus 2 Pods againn dìreach leis gun do thagh sinn an dòigh-obrach seo airson na h-adhbharan a chaidh ainmeachadh gu h-àrd gus a bhith comasach air cruinneachadh heterogeneous a thogail.

Tillidh sinn gu duilgheadasan practaigeach. Anns a’ bhuidheann againn feumaidh sinn luchd-cleachdaidh a rèiteachadh, i.e. feumaidh tu beagan rèiteachadh a dhèanamh de ClickHouse ann an Kubernetes. Bheir an gnìomhaiche a h-uile cothrom airson seo.

Faodaidh sinn na tha sinn ag iarraidh a sgrìobhadh gu dìreach ann an YAML. Tha a h-uile roghainn rèiteachaidh air a mhapadh gu dìreach bhon YAML seo gu configs ClickHouse, a tha an uairsin air an sgaoileadh air feadh a’ bhuidheann.

Faodaidh tu a sgrìobhadh mar seo. Tha seo mar eisimpleir. Faodar am facal-faire a chrioptachadh. Gu dearbh tha a h-uile roghainn rèiteachaidh ClickHouse a’ faighinn taic. Seo dìreach eisimpleir.

Tha an rèiteachadh brabhsair air a chuairteachadh mar ConfigMap. Ann an cleachdadh, cha bhith an ùrachadh ConfigMap a’ tachairt sa bhad, mar sin ma tha an cruinneachadh mòr, bheir am pròiseas putadh air an rèiteachadh beagan ùine. Ach tha seo uile gu math goireasach a chleachdadh.

Dèanamaid an obair duilich. Tha an cruinneachadh a’ leasachadh. Tha sinn airson dàta ath-riochdachadh. Is e sin, tha dà shard againn mu thràth, aon mac-samhail gach fear, agus tha luchd-cleachdaidh air an rèiteachadh. Tha sinn a’ fàs agus tha sinn airson ath-riochdachadh a dhèanamh.

Dè a dh'fheumas sinn airson ath-riochdachadh?

Feumaidh sinn ZooKeeper. Ann an ClickHouse, thèid ath-riochdachadh a thogail a’ cleachdadh ZooKeeper. Tha feum air ZooKeeper gus am bi co-aontachd aig diofar mhac-samhail ClickHouse a thaobh dè na blocaichean dàta air a bheil ClickHouse.

Faodaidh neach sam bith ZooKeeper a chleachdadh. Ma tha ZooKeeper taobh a-muigh aig an iomairt, faodar a chleachdadh. Mura h-eil, faodaidh tu a stàladh bhon stòr againn. Tha stàlaichear ann a nì an rud gu lèir nas fhasa.

Agus tha an diagram eadar-obrachaidh den t-siostam gu lèir a 'tionndadh a-mach mar seo. Tha Kubernetes againn mar àrd-ùrlar. Bidh e a’ cur an gnìomh gnìomhaiche ClickHouse. Rinn mi dealbh de ZooKeeper an seo. Agus bidh an gnìomhaiche ag eadar-obrachadh leis an dà chuid ClickHouse agus ZooKeeper. Is e sin, toraidhean eadar-obrachaidh.

Agus tha seo uile riatanach airson ClickHouse gus dàta ath-riochdachadh gu soirbheachail ann an k8n.

Bheir sinn a-nis sùil air a’ ghnìomh fhèin, air cò ris a bhios am follaiseachd airson mac-samhail.

Tha sinn a’ cur dà earrann ris an fhoillseachadh againn. Is e a ’chiad fhear far am faigh thu ZooKeeper, a dh’ fhaodas a bhith taobh a-staigh Kubernetes no taobh a-muigh. Chan eil an seo ach tuairisgeul. Agus bidh sinn ag òrdachadh mac-samhail. An fheadhainn sin. tha sinn ag iarraidh dà mhac-samhail. Gu h-iomlan, bu chòir gum biodh 4 pods againn aig an toradh. Tha cuimhne againn mu stòradh, thig e air ais beagan nas fhaide air adhart. Tha stòradh na sgeulachd air leth.

Bha e mar seo.

Bidh e a’ fàs mar seo. Tha mac-samhail air an cur ris. Cha do fhreagair an 4mh fear, tha sinn a 'creidsinn gum faodadh mòran dhiubh a bhith ann. Agus tha ZooKeeper air a chur ris an taobh. Tha na sgeamaichean a’ fàs nas iom-fhillte.

Agus tha an t-àm ann an ath ghnìomh a chur ris. Cuiridh sinn Stòradh Seasmhach ris.

Airson Stòradh Seasmhach tha grunn roghainnean againn.

Ma tha sinn a’ ruith ann an solaraiche sgòthan, mar eisimpleir, a’ cleachdadh Amazon, Google, tha buaireadh mòr ann a bhith a’ cleachdadh stòradh neòil. Tha e gu math goireasach, tha e math.

Agus tha dàrna roghainn ann. Tha seo airson stòradh ionadail, nuair a tha diosgan ionadail againn air gach nód. Tha an roghainn seo mòran nas duilghe a bhuileachadh, ach aig an aon àm tha e nas cinneasaiche.

Chì sinn na tha againn a thaobh stòradh neòil.

Tha buannachdan ann. Tha e gu math furasta a rèiteachadh. Bidh sinn dìreach ag òrdachadh bhon t-solaraiche sgòthan a bheir dhuinn stòradh de leithid de chomas, den leithid agus den leithid. Tha clasaichean air an clàradh le solaraichean gu neo-eisimeileach.

Agus tha eas-bhuannachd ann. Dha cuid, is e ana-cothrom neo-chudromach a tha seo. Gu dearbh, bidh cuid de chùisean coileanaidh ann. Tha e gu math goireasach a chleachdadh agus earbsach, ach tha cuid de eas-bhuannachdan coileanaidh a dh’ fhaodadh a bhith ann.

Agus air sgàth Tha ClickHouse ag amas gu sònraichte air cinneasachd, dh’ fhaodadh eadhon a ràdh gu bheil e a ’brùthadh a-mach nas urrainn dha, agus is e sin as coireach gu bheil mòran de luchd-dèiligidh a’ feuchainn ri cinneasachd as àirde a chuir a-mach.

Agus airson a’ chuid as fheàrr fhaighinn às, feumaidh sinn stòradh ionadail.

Tha Kubernetes a’ toirt seachad trì tarraingean airson a bhith a’ cleachdadh stòradh ionadail ann an Kubernetes. Seo:

• FalamhDir
• Slighe òstair.
• ionadail

Bheir sinn sùil air mar a tha iad eadar-dhealaichte agus mar a tha iad coltach.

An toiseach, anns na trì dòighean-obrach tha stòradh againn - is iad sin diosgan ionadail a tha suidhichte air an aon nód k8s corporra. Ach tha beagan eadar-dhealachaidhean aca.

Feuch an tòisich sinn leis an fhear as sìmplidh, i.e. emptyDir. Dè tha seo ann an cleachdadh? Anns an t-sònrachadh againn, bidh sinn ag iarraidh air an t-siostam container (Docker mar as trice) cothrom a thoirt dhuinn air pasgan air an diosc ionadail.

Ann an cleachdadh, bidh Docker a’ cruthachadh pasgan sealach an àiteigin air na slighean aige fhèin agus ga ainmeachadh mar hash fada. Agus a’ toirt seachad eadar-aghaidh airson faighinn thuige.

Ciamar a dh’ obraicheas seo a thaobh coileanadh? Obraichidh seo aig astar diosc ionadail, i.e. Is e seo làn ruigsinneachd don sgriubha agad.

Ach tha an eas-bhuannachd aig a 'chùis seo. Tha a bhith seasmhach gu math amharasach sa chùis seo. A’ chiad uair a ghluaiseas Docker le soithichean, tha Persistent air chall. Ma tha Kubernetes airson am Pod seo a ghluasad gu diosc eile airson adhbhar air choireigin, thèid an dàta a chall.

Tha an dòigh-obrach seo math airson deuchainnean, oir tha e mar-thà a 'sealltainn astar àbhaisteach, ach airson rudeigin dona chan eil an roghainn seo freagarrach.

Mar sin tha dàrna dòigh-obrach ann. Is e seo hostPath. Ma choimheadas tu air an t-sleamhnag roimhe agus am fear seo, chan fhaic thu ach aon eadar-dhealachadh. Ghluais am pasgan againn bho Docker gu dìreach gu nód Kubernetes. Tha e beagan nas sìmplidh an seo. Bidh sinn a’ sònrachadh gu dìreach an t-slighe air an t-siostam faidhle ionadail far am bu mhath leinn ar dàta a stòradh.

Tha buannachdan aig an dòigh seo. Tha seo mar-thà fìor Seasmhach, agus fear clasaigeach aig an sin. Bidh dàta againn air a chlàradh air an diosg aig seòladh air choireigin.

Tha eas-bhuannachdan ann cuideachd. Is e seo iom-fhillteachd stiùiridh. Is dòcha gum bi na Kubernetes againn airson am Pod a ghluasad gu nód corporra eile. Agus seo far a bheil DevOps a’ tighinn a-steach. Feumaidh e mìneachadh gu ceart don t-siostam gu lèir nach urrainnear na pods sin a ghluasad ach gu na nodan sin air a bheil rudeigin air a chuir suas air na slighean sin, agus gun a bhith nas fhaide na aon nód aig an aon àm. Tha e gu math duilich.

Gu sònraichte airson na h-adhbharan sin, rinn sinn teamplaidean anns a ’ghnìomhaiche againn gus an iom-fhillteachd seo fhalach. Agus dh’ fhaodadh tu a ràdh gu sìmplidh: “Tha mi airson aon eisimpleir de ClickHouse a bhith agam airson gach nód corporra agus air an leithid de shlighe.”

Ach chan e sinne an aon fheadhainn a tha feumach air an fheum seo, agus mar sin tha na daoine uasal bho Kubernetes fhèin cuideachd a 'tuigsinn gu bheil daoine airson cothrom fhaighinn air diosgan corporra, agus mar sin tha iad a' toirt seachad an treas ìre.

Canar ionadail ris. Cha mhòr nach eil eadar-dhealachadh sam bith bhon t-sleamhnag roimhe. Is ann dìreach mus robh e riatanach dearbhadh le làimh nach urrainn dhuinn na pods sin a ghluasad bho nód gu nód, oir feumaidh iad a bhith ceangailte air slighe air choireigin gu diosc corporra ionadail, ach a-nis tha an t-eòlas seo gu lèir air a chuairteachadh ann an Kubernetes fhèin. Agus tha e a 'tionndadh a-mach a bhith tòrr nas fhasa a rèiteachadh.

Tillidh sinn chun duilgheadas practaigeach againn. Tillidh sinn gu teamplaid YAML. An seo tha fìor stòradh againn. Tha sinn air ais air. Shuidhich sinn an teamplaid clasaigeach VolumeClaim mar ann an k8s. Agus tha sinn a 'toirt cunntas air dè an seòrsa stòraidh a tha sinn ag iarraidh.

Às deidh seo, iarraidh k8s stòradh. Bidh e ga riarachadh dhuinn anns an StatefulSet. Agus aig a’ cheann thall bidh e ri làimh ClickHouse.

Bha an sgeama seo againn. Bha an Stòradh Seasmhach againn dearg, agus bha e coltach gu robh sin a’ nochdadh gum feumadh e a dhèanamh.

Agus tha e a 'tionndadh uaine. A-nis tha an sgeama cnuasachaidh ClickHouse on k8s air a chrìochnachadh gu tur. Tha shards, mac-samhail, ZooKeeper againn, tha fìor Seasmhach againn, a tha air a chuir an gnìomh ann an dòigh air choireigin. Tha an sgeama ag obair gu h-iomlan mu thràth.

Tha sinn a 'leantainn oirnn a' fuireach. Tha an cruinneachadh againn a’ leasachadh. Agus bidh Alexey a’ feuchainn, agus a’ leigeil a-mach dreach ùr de ClickHouse.

Tha gnìomh practaigeach ag èirigh - gus an dreach ùr de ClickHouse a dhearbhadh air a’ bhuidheann againn. Agus, gu nàdarra, chan eil thu airson a h-uile càil a sgaoileadh; tha thu airson dreach ùr a chuir ann an aon mac-samhail an àiteigin san oisean as fhaide air falbh, agus is dòcha nach e aon dreach ùr, ach dhà aig an aon àm, oir bidh iad a’ tighinn a-mach gu tric.

Dè as urrainn dhuinn a ràdh mu dheidhinn seo?

An seo tha dìreach an leithid de chothrom againn. Is iad seo teamplaidean pod. Faodaidh tu sgrìobhadh gu bheil an gnìomhaiche againn gu tur a’ leigeil leat cruinneachadh heterogeneous a thogail. An fheadhainn sin. rèiteachadh, a 'tòiseachadh bho gach mac-samhail ann am buidheann, a' crìochnachadh le gach mac-samhail pearsanta, dè an dreach a tha sinn ag iarraidh ClickHouse, dè an dreach a tha sinn ag iarraidh a stòradh. Is urrainn dhuinn am buidheann a rèiteachadh gu h-iomlan leis an rèiteachadh a tha a dhìth oirnn.

Rachamaid beagan nas doimhne a-staigh. Roimhe seo, bhruidhinn sinn mu mar a tha ClickHouse-operator ag obair a thaobh mion-fhiosrachadh ClickHouse.

A-nis bu mhath leam beagan fhaclan a ràdh mu mar a tha gnìomhaiche sam bith ag obair san fharsaingeachd, a bharrachd air mar a bhios e ag eadar-obrachadh le K8n.

Nach toir sinn sùil air eadar-obrachadh leis na K8n an toiseach. Dè thachras nuair a chuireas sinn kubectl an sàs? Bidh na nithean againn a’ nochdadh ann am msaa tron ​​API.

Mar eisimpleir, nithean bunaiteach Kubernetes: pod, StatefulSet, seirbheis, agus mar sin air adhart sìos an liosta.

Aig an aon àm, chan eil dad corporra a 'tachairt fhathast. Feumaidh na stuthan sin a bhith air an cur a-steach don bhuidheann.

Airson an adhbhair seo, nochdaidh rianadair. Tha an rianadair na phàirt k8s sònraichte as urrainn na tuairisgeulan sin a thoirt gu buil. Tha fios aige ciamar agus dè a nì e gu corporra. Tha fios aige mar a ruitheas e soithichean, dè a dh’ fheumar a rèiteachadh an sin gus am bi an frithealaiche ag obair.

Agus bidh e a’ toirt ar stuthan gu buil ann an K8s.

Ach tha sinn airson a bhith ag obair chan ann a-mhàin le pods agus StatefulSets, tha sinn airson ClickHouseInstallation a chruthachadh, i.e. nì den t-seòrsa ClickHouse, gus obrachadh leis mar aon iomlan. Gu ruige seo chan eil leithid de chomas ann.

Ach tha an rud snog a leanas aig K8s. Tha sinn airson gum bi àite mar an eintiteas iom-fhillte seo againn anns am biodh ar cruinneachadh air a chruinneachadh bho pods agus StatefulSet.

Agus dè a dh'fheumar a dhèanamh airson seo? An toiseach, thig Mìneachadh Goireas Custom a-steach don dealbh. Dè th' ann? Seo tuairisgeul airson K8s, gum bi aon sheòrsa dàta eile agad, gu bheil sinn airson goireas àbhaisteach a chuir ris a’ pod, StatefulSet, a bhios iom-fhillte na bhroinn. Seo tuairisgeul air structar an dàta.

Bidh sinn cuideachd ga chuir an sin tro kubectl apply. Ghabh Kubernetes e gu toilichte.

Agus a-nis nar stòradh, tha cothrom aig an nì ann am msaa goireas àbhaisteach leis an t-ainm ClickHouseInstallation a chlàradh.

Ach airson a-nis cha tachair dad nas fhaide. Is e sin, ma chruthaicheas sinn a-nis am faidhle YAML air an do choimhead sinn a’ toirt cunntas air shards agus mac-samhail agus ag ràdh “kubectl apply,” an uairsin gabhaidh Kubernetes ris, cuir a-steach e msaa agus canaidh sinn: “Sgoinneil, ach chan eil fhios agam dè a nì mi leis. Chan eil fios agam ciamar a chumas mi ClickHouseInstallation."

A rèir sin, feumaidh sinn cuideigin a chuidicheas Kubernetes gus an seòrsa dàta ùr a fhrithealadh. Air an taobh chlì tha rianadair dùthchasach Kubernetes againn a bhios ag obair le seòrsachan dàta dùthchasach. Agus air an taobh cheart bu chòir rianadair àbhaisteach a bhith againn a dh’ obraicheas le seòrsachan dàta àbhaisteach.

Agus ann an dòigh eile canar gnìomhaiche ris. Thug mi a-steach e an seo gu sònraichte mar Kubernetes, oir faodar a chuir gu bàs cuideachd taobh a-muigh K8s. Mar as trice, gu dearbh, bidh a h-uile gnìomhaiche air a chuir gu bàs ann an Kubernetes, ach chan eil dad a ’cur casg air seasamh a-muigh, agus mar sin an seo tha e air a ghluasad gu sònraichte a-muigh.

Agus an uair sin, bidh an rianadair àbhaisteach, ris an canar cuideachd an gnìomhaiche, ag eadar-obrachadh le Kubernetes tron ​​​​API. Tha fios aige mu thràth mar a nì e eadar-obrachadh leis an API. Agus tha fios aige mu thràth mar a bheir e gu buil an cuairteachadh iom-fhillte a tha sinn airson a dhèanamh bho ghoireas àbhaisteach. Is e seo dìreach a bhios an gnìomhaiche a’ dèanamh.

Ciamar a tha an gnìomhaiche ag obair? Bheir sinn sùil air an taobh cheart gus faicinn mar a nì e e. Feuch an lorg sinn a-mach mar a tha an gnìomhaiche a’ dèanamh seo uile agus mar a tha tuilleadh eadar-obrachaidh le K8s a’ tachairt.

Is e prògram a th’ ann an gnìomhaiche. Tha i ag amas air tachartasan. Bidh an gnìomhaiche a’ fo-sgrìobhadh do thachartasan a’ cleachdadh an Kubernetes API. Tha puingean inntrigidh aig Kubernetes API far an urrainn dhut fo-sgrìobhadh gu tachartasan. Agus ma dh’ atharraicheas rudeigin ann an K8n, bidh Kubernetes a’ cur thachartasan chun a h-uile duine, i.e. gheibh neach sam bith a tha air ballrachd a thoirt don phuing API seo fiosan.

Bidh an gnìomhaiche a’ gabhail ri tachartasan agus feumaidh e seòrsa de fhreagairt a dhèanamh. Is e an obair aige freagairt a thoirt do thachartasan a tha a’ tighinn am bàrr.

Bidh tachartasan air an gineadh le ùrachaidhean sònraichte. Bidh am faidhle YAML againn le tuairisgeul air ClickHouseInstallation a’ ruighinn. Chaidh e gu etcd tro kubectl apply. Chaidh tachartas a bhrosnachadh an sin, agus mar thoradh air an sin thàinig an tachartas seo chun a’ ghnìomhaiche ClickHouse. Fhuair an gnìomhaiche an tuairisgeul seo. Agus feumaidh e rudeigin a dhèanamh. Ma tha ùrachadh air ruighinn airson an nì ClickHouseInstallation, feumaidh tu am brabhsair ùrachadh. Agus is e obair a’ ghnìomhaiche am buidheann ùrachadh.

Dè tha e a' dèanamh? An toiseach, feumaidh sinn plana gnìomh a dhealbhadh airson na nì sinn leis an ùrachadh seo. Faodaidh ùrachaidhean a bhith glè bheag, i.e. beag ann an coileanadh YAML, ach faodaidh e atharrachaidhean mòra a thoirt a-steach don bhuidheann. Mar sin, bidh an gnìomhaiche a 'cruthachadh plana, agus an uairsin bidh e a' cumail ris.

A rèir a 'phlana seo, tha e a' tòiseachadh a 'còcaireachd an structair seo a-staigh ann an òrdugh a thoirt gu buil pods, seirbheisean, i.e. dèan dè am prìomh obair a th’ aige. Seo mar a thogas tu cruinneachadh ClickHouse ann an Kubernetes.

A-nis leig dhuinn suathadh air rud cho inntinneach. Is e seo sgaradh dleastanais eadar Kubernetes agus an gnìomhaiche, i.e. dè a bhios Kubernetes a’ dèanamh, dè a bhios an gnìomhaiche a’ dèanamh, agus mar a bhios iad ag eadar-obrachadh le chèile.

Tha Kubernetes an urra ri cùisean siostam, i.e. airson seata bunaiteach de nithean a dh’fhaodar a mhìneachadh mar raon-siostam. Tha fios aig Kubernetes mar a chuireas iad pods air bhog, mar as urrainn dhut soithichean ath-thòiseachadh, mar a chuireas tu suas leabhraichean, mar a dh’ obraicheas iad le ConfigMap, i.e. a h-uile càil ris an canar siostam.

Bidh luchd-obrachaidh ag obair ann an raointean. Tha gach gnìomhaiche air a dhèanamh airson a raon cuspair fhèin. Rinn sinn e airson ClickHouse.

Agus bidh an gnìomhaiche ag eadar-obrachadh gu mionaideach a thaobh an raon cuspair, leithid a bhith a’ cur mac-samhail, a’ dèanamh diagram, a’ stèidheachadh sgrùdadh. Tha seo mar thoradh air sgaradh.

Bheir sinn sùil air eisimpleir phractaigeach air mar a tha an sgaradh seo de dhleastanas a’ tachairt nuair a nì sinn an gnìomh mac-samhail cuir ris.

Bidh an gnìomhaiche a 'faighinn obair - gus mac-samhail a chur ris. Dè bhios an gnìomhaiche a’ dèanamh? Obraichidh an gnìomhaiche gum feumar StatefulSet ùr a chruthachadh, anns am feumar a leithid de theamplaidean, tagradh meud, a mhìneachadh.

Dh'ullaich e a h-uile càil agus bheir e air adhart e gu K8s. Tha e ag ràdh gu bheil feum aige air ConfigMap, StatefulSet, Volume. Tha Kubernetes ag obair. Bidh e a 'toirt a-mach na h-aonadan bunaiteach leis a bheil e ag obair.

Agus an uairsin thig ClickHouse-operator a-steach a-rithist. Tha pod corporra aige mu thràth air an urrainn dha rudeigin a dhèanamh. Agus bidh ClickHouse-operator a-rithist ag obair a thaobh fearainn. An fheadhainn sin. Gu sònraichte ClickHouse, gus mac-samhail a thoirt a-steach ann am brabhsair, feumaidh tu, an toiseach, an sgeama dàta a tha sa bhuidheann seo a rèiteachadh. Agus, san dàrna h-àite, feumar am mac-samhail seo a thoirt a-steach don sgrùdadh gus an lorgar e gu soilleir. Tha an gnìomhaiche ga rèiteachadh mu thràth.

Agus dìreach às deidh sin thig ClickHouse fhèin a-steach, i.e. buidheann eile aig ìre nas àirde. 'S e stòr-dàta a tha seo mu thràth. Tha a eisimpleir fhèin aige, mac-samhail rèiteachaidh eile a tha deiseil airson a dhol a-steach don bhuidheann.

Tha e a 'tionndadh a-mach gu bheil an t-sreath de chur gu bàs agus roinneadh uallaich nuair a cur mac-samhail a tha gu math fada.

Bidh sinn a’ leantainn le ar gnìomhan practaigeach. Ma tha brabhsair agad mu thràth, faodaidh tu an rèiteachadh a ghluasad.

Tha sinn air a dhèanamh gus an urrainn dhut a dhol tro xml a tha ann mu thràth, a tha ClickHouse a’ tuigsinn.

Faodaidh tu ClickHouse a ghleusadh. Is e cleachdadh sònaichean dìreach na bhruidhinn mi mu dheidhinn nuair a bha mi a’ mìneachadh hostPath, stòradh ionadail. Seo mar a nì thu cleachdadh sònaichean gu ceart.

Is e an ath ghnìomh practaigeach sgrùdadh.

Ma dh’ atharraicheas ar cruinneachadh, feumaidh sinn sgrùdadh a chuir air dòigh bho àm gu àm.

Bheir sinn sùil air an diagram. Tha sinn mu thràth air sùil a thoirt air na saighdean uaine an seo. A-nis leig dhuinn sùil a thoirt air na saighdean dearga. Seo mar a tha sinn airson sùil a chumail air a’ bhuidheann againn. Mar a bhios meatrach bho bhuidheann ClickHouse a’ faighinn a-steach do Prometheus, agus an uairsin a-steach gu Grafana.

Dè an duilgheadas a th’ ann le sgrùdadh? Carson a tha seo air a thaisbeanadh mar sheòrsa de choileanadh? Tha an duilgheadas ann an dinamics. Nuair a bhios aon bhuidheann againn agus gu bheil e statach, is urrainn dhuinn sgrùdadh a chuir air dòigh aon uair agus gun a bhith a’ dèanamh dragh tuilleadh.

Ach ma tha tòrr chlàran againn, no ma tha rudeigin ag atharrachadh gu cunbhalach, tha am pròiseas fiùghantach. Agus tha ath-dhealbhadh cunbhalach de sgrùdadh na chaitheamh air goireasan agus ùine, i.e. eadhon dìreach leisg. Feumaidh seo a bhith fèin-ghluasadach. Tha an duilgheadas ann an dinamics a 'phròiseis. Agus bidh an gnìomhaiche ag fèin-ghluasad seo gu math.

Ciamar a chaidh ar buidheann a leasachadh? Anns an toiseach bha e mar sin.

An uairsin bha e mar seo.

Aig a 'cheann thall, dh'fhàs e mar seo.

Agus thèid sgrùdadh a dhèanamh gu fèin-ghluasadach leis a’ ghnìomhaiche. Aon àite inntrigidh.

Agus dìreach aig an t-slighe a-mach bidh sinn a’ coimhead air deas-bhòrd Grafana gus faicinn mar a tha beatha ar cruinneachadh a’ goil a-staigh.

Air an t-slighe, tha deas-bhòrd Grafana cuideachd air a chuairteachadh leis a ’ghnìomhaiche againn gu dìreach anns a’ chòd stòr. Faodaidh tu ceangal agus cleachdadh. Thug na DevOps againn an dealbh-sgrìn seo dhomh.

Càite am bu toil leinn a dhol an ath rud? Seo:

• Leasaich fèin-ghluasad deuchainn. Is e am prìomh obair deuchainn fèin-ghluasadach air dreachan ùra.
• Tha sinn cuideachd dha-rìribh ag iarraidh an aonachadh le ZooKeeper a dhèanamh fèin-ghluasadach. Agus tha planaichean ann airson amalachadh le ZooKeeper-operator. An fheadhainn sin. Chaidh gnìomhaiche a sgrìobhadh airson ZooKeeper agus tha e loidsigeach gun tòisich an dà ghnìomhaiche ag amalachadh gus fuasgladh nas goireasaiche a thogail.
• Tha sinn airson soidhnichean deatamach nas iom-fhillte a dhèanamh.
• Chomharraich mi ann an uaine gu bheil sinn a’ tighinn faisg air dìleab Teamplaidean - DÈANAMH, ie leis an ath fhoillseachadh den ghnìomhaiche bidh dìleab againn mu thràth de theamplaidean. Is e inneal cumhachdach a tha seo a leigeas leat rèiteachadh iom-fhillte a thogail bho phìosan.
• Agus tha sinn ag iarraidh fèin-ghluasad de ghnìomhan iom-fhillte. Is e am prìomh fhear ath-sgaradh.

Gabhamaid cuid de thoraidhean eadar-mheadhanach.

Dè a gheibh sinn mar thoradh air? Agus an fhiach e a dhèanamh no nach eil? A bheil e eadhon riatanach feuchainn ris an stòr-dàta a shlaodadh gu Kubernetes agus an gnìomhaiche a chleachdadh san fharsaingeachd agus an gnìomhaiche Alitnity gu sònraichte?

Aig an toradh gheibh sinn:

• Sìmplidh agus fèin-ghluasad mòr air rèiteachadh, cleachdadh agus cumail suas.
• Sgrùdadh sa bhad air a thogail a-steach.
• Agus teamplaidean còdaichte deiseil airson an cleachdadh airson suidheachaidhean iom-fhillte. Chan fheum gnìomh leithid mac-samhail a chur ris a dhèanamh le làimh. Bidh an gnìomhaiche a’ dèanamh seo.

Chan eil ach aon cheist mu dheireadh air fhàgail. Tha stòr-dàta againn mu thràth ann an Kubernetes, virtualization. Dè mu dheidhinn coileanadh leithid de fhuasgladh, gu sònraichte leis gu bheil ClickHouse air a bharrrachadh airson coileanadh?

Is e am freagairt gu bheil a h-uile dad gu math! Cha tèid mi gu mion-fhiosrachadh; is e seo cuspair aithisg air leth.

Ach tha leithid de phròiseact ann ri TSBS. Dè a’ phrìomh obair a th’ aige? Is e deuchainn coileanaidh stòr-dàta a tha seo. Is e oidhirp a tha seo coimeas a dhèanamh eadar blàth agus blàth, bog le bog.

Ciamar a tha e ag obair? Tha aon sheata dàta air a chruthachadh. An uairsin tha an seata dàta seo air a ruith air diofar stòran-dàta a’ cleachdadh an aon sheata de dheuchainnean. Agus bidh gach stòr-dàta a’ fuasgladh aon duilgheadas san dòigh sa bheil fios aige ciamar. Agus an uairsin faodaidh tu coimeas a dhèanamh eadar na toraidhean.

Tha e mu thràth a’ toirt taic do ghrunn stòran-dàta. Tha mi air trì prìomh fheadhainn a chomharrachadh. Seo:

• Raon-amaDB.
• InfluxDB.
• Cliog Taigh.

Chaidh coimeas a dhèanamh cuideachd le fuasgladh eile den aon seòrsa. Dèan coimeas ri RedShift. Chaidh coimeas a dhèanamh air Amazon. Tha ClickHouse cuideachd fada air thoiseach air a h-uile duine sa chùis seo.

Dè na co-dhùnaidhean a dh’fhaodar a tharraing às na thuirt mi?

• Tha e comasach DB ann an Kubernetes. Is dòcha gu bheil gin comasach, ach san fharsaingeachd tha e coltach gu bheil e comasach. Tha ClickHouse ann an Kubernetes gu cinnteach comasach le cuideachadh bhon ghnìomhaiche againn.
• Bidh an gnìomhaiche a’ cuideachadh le fèin-ghluasad phròiseasan agus dha-rìribh a’ dèanamh beatha nas fhasa.
• Tha coileanadh àbhaisteach.
• Agus tha e coltach dhuinn gum faodar agus gum bu chòir seo a chleachdadh.

Open source - thig còmhla rinn!

Mar a thuirt mi mu thràth, tha an gnìomhaiche na thoradh gu tur fosgailte, agus mar sin bhiodh e glè mhath nan cleachdadh an àireamh as motha de dhaoine e. Thig còmhla rinn! Tha sinn a' feitheamh oirbh uile!

Tapadh leibh uile!

Do cheistean

Tapadh leibh airson an aithris! 'S e Anton an t-ainm a th' orm. Tha mi à SEMrush. Tha mi a’ faighneachd dè tha dol le logadh. Bidh sinn a’ cluinntinn mu sgrùdadh, ach gun dad mu dheidhinn logadh, ma bhruidhneas sinn mun bhuidheann gu lèir. Mar eisimpleir, tha sinn air cruinneachadh a thogail air bathar-cruaidh. Agus bidh sinn a’ cleachdadh logadh meadhanaichte, gan cruinneachadh ann an càrn cumanta a’ cleachdadh dòighean àbhaisteach. Agus an uairsin às an sin gheibh sinn an dàta anns a bheil ùidh againn.

Ceist mhath, i.e. logadh a-steach air liosta todo. Chan eil an gnìomhaiche againn fèin-ghluasadach seo fhathast. Tha e fhathast a 'leasachadh, tha am pròiseact fhathast gu math òg. Tha sinn a’ tuigsinn gu bheil feum air logadh. Tha seo cuideachd na chuspair air leth cudromach. Agus is dòcha nach eil e cho cudromach ri sgrùdadh. Ach b’ e sgrùdadh an toiseach air an liosta airson buileachadh. Bidh logadh ann. Gu nàdarra, bidh sinn a’ feuchainn ri fèin-ghluasad a dhèanamh air gach taobh de bheatha na buidhne. Mar sin, is e am freagairt nach eil fios aig a’ ghnìomhaiche an-dràsta, gu mì-fhortanach, ciamar a nì e seo, ach tha e anns na planaichean, nì sinn e. Ma tha thu airson a dhol còmhla, an uairsin tarraing iarrtas, mas e do thoil e.

Halò! Tapadh leibh airson an aithris! Tha ceist àbhaisteach agam co-cheangailte ri Meudan Seasmhach. Nuair a chruthaicheas sinn rèiteachadh leis a’ ghnìomhaiche seo, ciamar a bhios an gnìomhaiche a’ dearbhadh dè an nód anns a bheil diosc no pasgan sònraichte againn ceangailte? Feumaidh sinn an-toiseach mìneachadh dha an cuir thu ar ClickHouse air na nodan sin aig a bheil diosc?

Cho fad ‘s a tha mi a’ tuigsinn, tha a ’cheist seo a’ leantainn air adhart le stòradh ionadail, gu sònraichte am pàirt hostPath dheth. Tha seo coltach ri bhith a’ mìneachadh don t-siostam gu lèir gum feumar am pod a chuir air bhog air leithid de nód, ris a bheil diosc ceangailte gu corporra againn, a tha air a chuir suas air an leithid de shlighe. Is e seo earrann slàn air an do bhruidhinn mi gu math uachdarach oir tha am freagairt gu math mòr.

Ann an ùine ghoirid tha e coltach ri seo. Gu nàdarra, feumaidh sinn na meudan sin a sholarachadh. Aig an àm seo, chan eil solar fiùghantach ann an stòradh ionadail, agus mar sin feumaidh DevOps na diosgan a ghearradh iad fhèin, na leabhraichean sin. Agus feumaidh iad ullachadh Kubernetes a mhìneachadh gum bi meudan seasmhach den leithid agus den leithid de chlas agad, a tha suidhichte air nodan mar sin agus mar sin. An uairsin feumaidh tu mìneachadh dha Kubernetes gum feum pods a dh ’fheumas a leithid de chlas stòraidh ionadail a bhith air an stiùireadh a-mhàin gu nodan mar sin a’ cleachdadh bileagan. Airson na h-adhbharan sin, tha comas aig a’ ghnìomhaiche seòrsa de leubail a shònrachadh agus aon airson gach aoigh. Agus tha e a 'tionndadh a-mach gum bi na pods air an stiùireadh le Kubernetes gus ruith a-mhàin air nodan a choinnicheas ri riatanasan, bileagan, ann an dòigh shìmplidh. Bidh luchd-rianachd a’ sònrachadh bhileagan agus diosgan solair le làimh. Agus an uairsin bidh e a 'sgapadh.

Agus is e an treas roghainn, ionadail, a chuidicheas seo gus seo a dhèanamh beagan nas fhasa. Mar a thuirt mi mu thràth, is e obair mhionaideach a tha seo air gleusadh, a chuidicheas aig a’ cheann thall gus an coileanadh as àirde fhaighinn.

Tha dàrna ceist agam co-cheangailte ri seo. Chaidh Kubernetes a dhealbhadh ann an dòigh nach eil e gu diofar dhuinn an caill sinn nód no nach caill. Dè bu chòir dhuinn a dhèanamh anns a 'chùis seo ma tha sinn air an nòta air a bheil ar bior an crochadh a chall?

Bha, bha Kubernetes air a shuidheachadh an toiseach gu bheil an dàimh a th’ againn le ar pods coltach ri crodh, ach an seo còmhla rinn bidh gach diosc a’ fàs rudeigin mar pheata. Tha leithid de dhuilgheadas ann nach urrainn dhuinn dìreach an cur air falbh. Agus tha leasachadh Kubernetes a 'dol a dh' ionnsaigh gu bheil e do-dhèanta a bhith ga làimhseachadh gu feallsanachail, mar gum biodh e na ghoireas a chaidh a thilgeil gu tur.

A-nis airson ceist phractaigeach. Dè nì thu ma chailleas tu an nód air an robh an diosc? An seo tha an duilgheadas air fhuasgladh aig ìre nas àirde. A thaobh ClickHouse, tha mac-samhail againn a tha ag obair aig ìre nas àirde, i.e. aig ìre ClickHouse.

Dè an suidheachadh a tha mar thoradh air? Tha e an urra ri DevOps dèanamh cinnteach nach tèid dàta a chall. Feumaidh e ath-riochdachadh a stèidheachadh gu ceart agus feumaidh e dèanamh cinnteach gu bheil ath-riochdachadh a’ ruith. Feumaidh dàta dùblaichte a bhith aig a’ mhac-samhail aig ìre ClickHouse. Chan e seo an duilgheadas a tha an gnìomhaiche a 'fuasgladh. Agus chan e an duilgheadas a tha Kubernetes fhèin a’ fuasgladh. Tha seo aig ìre ClickHouse.

Dè a nì thu ma thuiteas an nód iarainn agad? Agus tha e coltach gum feum thu dàrna fear a chuir a-steach, an diosc a chuir air dòigh gu ceart, agus bileagan a chuir an sàs. Agus às deidh sin, coinnichidh e ris na riatanasan as urrainn dha Kubernetes pod eisimpleir a chuir air bhog air. Cuiridh Kubernetes air bhog e. Chan eil an àireamh pods agad gu leòr gus coinneachadh ris an àireamh ainmichte. Thèid e tron ​​​​chearcall a sheall mi. Agus aig an ìre as àirde, tuigidh ClickHouse gu bheil sinn air mac-samhail a chuir a-steach, gu bheil e fhathast falamh agus feumaidh sinn tòiseachadh air dàta a ghluasad thuige. An fheadhainn sin. Chan eil am pròiseas seo fèin-ghluasadach gu math fhathast.

Tapadh leibh airson an aithris! Nuair a thachras a h-uile seòrsa rud dona, bidh an gnìomhaiche a’ bualadh agus ag ath-thòiseachadh, agus aig an àm sin thig tachartasan, an làimhsich thu seo ann an dòigh air choireigin?

Dè thachras ma bhuaileas an gnìomhaiche agus gun tòisich e a-rithist, ceart?

Tha. Agus aig an àm sin thàinig tachartasan.

Tha an obair dè a nì thu sa chùis seo air a roinn gu ìre eadar an gnìomhaiche agus Kubernetes. Tha comas aig Kubernetes tachartas a thachair ath-chluich. Bidh e ag ath-chluich. Agus is e obair a’ ghnìomhaiche dèanamh cinnteach nuair a thèid log an tachartais ath-chluich air, gu bheil na tachartasan sin neo-chomasach. Agus gus nach bi an aon tachartas a’ tachairt a-rithist a’ briseadh ar siostam. Agus bidh an gnìomhaiche againn a’ dèiligeadh ris an obair seo.

Halò! Tapadh leibh airson an aithris! Dmitry Zavyalov, companaidh Smedova. A bheil planaichean ann gus an comas rèiteachadh le haproxy a chuir ris a’ ghnìomhaiche? Bhiodh ùidh agam ann an cothromachadh eile a bharrachd air an fhear àbhaisteach, gus am bi e sgiobalta agus gu bheil e a’ tuigsinn gu bheil ClickHouse dha-rìribh ann.

A bheil thu a’ bruidhinn mu dheidhinn Ingress?

Tha, cuir haproxy an àite Ingress. Ann an haproxy faodaidh tu topology a’ bhraisle a shònrachadh far a bheil mac-samhail aige.

Chan eil sinn air smaoineachadh mu dheidhinn fhathast. Ma tha feum agad air agus is urrainn dhut mìneachadh carson a tha feum air, bidh e comasach a bhuileachadh, gu sònraichte ma tha thu airson pàirt a ghabhail. Bidh sinn toilichte beachdachadh air an roghainn. Is e am freagairt ghoirid nach eil, chan eil an leithid de ghnìomhachd againn an-dràsta. Mòran taing airson a’ chomhairle, bheir sinn sùil air a’ chùis seo. Agus ma mhìnicheas tu cuideachd a’ chùis cleachdaidh agus carson a tha feum air ann an cleachdadh, mar eisimpleir, cruthaich cùisean air GitHub, bidh sin sgoinneil.

Tha mar-thà.

Gu math. Tha sinn fosgailte do mholaidhean sam bith. Agus tha haproxy air a chur ris an liosta todo. Tha an liosta todo a’ fàs, gun a bhith a’ crìonadh fhathast. Ach tha seo math, tha e a’ ciallachadh gu bheil iarrtas mòr air an toradh.

Source: www.habr.com