Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Ziņojums ir veltīts praktiskiem jautājumiem operatoru izstrādē Kubernetes, tā arhitektūras projektēšanā un pamatprincipu darbībā.

Ziņojuma pirmajā daļā apskatīsim:

  • kas ir operators Kubernetes un kāpēc tas ir nepieciešams;
  • kā operators vienkāršo sarežģītu sistēmu pārvaldību;
  • ko operators var darīt, un ko operators nevar darīt.

Tālāk pāriesim pie operatora iekšējās uzbūves apspriešanas. Apskatīsim operatora arhitektūru un darbību pa soli. Detalizēti izpētīsim:

  • sadarbību starp operatoru un Kubernetes;
  • kādas funkcijas operators pārņem, un ko deleģē Kubernetes.

Apskatīsim datu dalīšanu un datu bāzu replikas Kubernetes.
Pēc tam apspriedīsim datu glabāšanas jautājumus:

  • kā strādāt ar Persistent Storage no operatora skatpunkta;
  • zemūdens akmeņus, lietojot Local Storage.

Ziņojuma noslēguma daļā apskatīsim praktiskus piemērus par clickhouse-operator ar Amazon vai Google Cloud Service. Ziņojums tiek būvēts uz ClickHouse operatora izstrādes un eksploatācijas pieredzes piemēra.

Video:

Atskaņot video

Mani sauc Vladislavs Klimenko. Šodien es gribēju pastāstīt par mūsu pieredzi operatora izstrādē un eksploatācijā, un tas ir specializēts operators datu bāzu klasteru pārvaldībai. Uz ClickHouse operatora pārvaldības piemēra. Kāpēc mēs varam runāt par operatoru un ClickHouse?

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Mēs nodarbojamies ar ClickHouse atbalstu un attīstību.

  • Šobrīd mēs cenšamies pakāpeniski sniegt savu ieguldījumu ClickHouse izstrādē. Un esam otrie pēc Yandex pēc izdarītajām izmaiņām ClickHouse.
  • Mēs cenšamies veidot papildu projektus ClickHouse ekosistēmai.
  • Par vienu no šādiem projektiem es gribētu pastāstīt. Tas ir par ClickHouse operatoru Kubernetes.

Savā ziņojumā es gribētu skart divas tēmas:

Pirmā tēma – kā darbojas mūsu operators datu bāzu pārvaldībā ClickHouse Kubernetes.

  • Otrā tēma – kā darbojas jebkurš operators, t. i., kā tas sadarbojas ar Kubernetes.
  • Šie divi jautājumi tiks saistīti visā manā ziņojumā.

Kam būs interesanti klausīties to, ko es cenšos pastāstīt?

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Visinteresantāk būs tiem, kas izmanto operatorus.

  • Vai tiem, kas vēlas izveidot savu, lai saprastu, kā tas darbojas iekšā, kā operators sadarbojas ar Kubernetes un kādi zemūdens akmeņi var rasties.
  • Vai tiem, kas vēlas izveidot savu, lai saprastu, kā tas darbojas iekšēji, kā operators mijiedarbojas ar Kubernetes un kādi slēptie riski var rasties.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Lai labāk izprastu, par ko šodien runāsim, būtu labi zināt, kā darbojas Kubernetes un būt ar pamata sagatavotību par mākoņtehnoloģijām.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kas ir ClickHouse? Tas ir kolonnu datu bāze, kurai ir specifika tiešsaistes analītisko pieprasījumu apstrādei. Un tā ir pilnīgi open source.

Un mums ir svarīgi zināt tikai divas lietas. Jāzina, ka tā ir datu bāze, tāpēc tas, ko es stāstīšu, būs piemērojams praktiski jebkurai datu bāzei. Un tas, ka datu bāze ClickHouse ļoti labi mērogojas, praktiski nodrošina lineāru mērogojamību. Tāpēc klastera stāvoklis ir ClickHouse dabīgs stāvoklis. Un mums ir visinteresantāk apspriest to, kā apkalpot ClickHouse klasteri Kubernetes vidē.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kāpēc tas ir nepieciešams? Kāpēc mēs nevaram turpināt to darboties paši? Un atbildes ir daļēji tehniskas, daļēji organizatoriskas.

  • Praksē mēs arvien biežāk sastopam situāciju, kad lielās uzņēmumos jau praktiski visi komponenti ir Kubernetes. Datu bāzes paliek ārpusē.
  • Un arvien biežāk uzdod jautājumu: "Vai to var iekļaut iekšā?". Tāpēc lielie uzņēmumi cenšas veikt maksimālu pārvaldības standartizāciju, lai ātri varētu pārvaldīt savus datu krātuves.
  • Un tas īpaši palīdz, ja ir nepieciešama maksimāla iespēja atkārtot to pašu jaunā vietā, t.i., maksimāla pārvietojamība.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Cik tas ir vienkārši vai sarežģīti? Protams, to var izdarīt ar rokām. Bet tas nav tik vienkārši, jo mums pieaug sarežģītība, pārvaldot pašu Kubernetes, un tam klāt nāk ClickHouse specifika. Un tā izveidojas tāda agregācija.

Un viss kopā sniedz pietiekami plašu tehnoloģiju klāstu, kuru pārvaldīt kļūst jau diezgan sarežģīti, jo Kubernetes radīja ikdienas jautājumus eksploatācijai, bet ClickHouse rada savus jautājumus ikdienas eksploatācijai. Īpaši, ja mums ir vairāki ClickHouse un mums pastāvīgi jāveic kaut kas ar tiem.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

ClickHouse dinamikajā konfigurācijā ir pietiekami liels jautājumu skaits, kas rada pastāvīgu slodzi DevOps:

  • Kad mēs vēlamies mainīt kaut ko ClickHouse, piemēram, pievienot repliku, shard, mums ir jāveic konfigurācijas pārvaldība.
  • Pēc tam jāmaina datu shēma, jo ClickHouse ir specifisks shardēšanas veids. Jāizvieto datu shēma, jāsakārto konfigurācijas.
  • Jāiestata uzraudzība.
  • Žurnālu vākšana jaunajām shardēm, jaunajām replikām.
  • Jāparūpējas par atjaunošanu.
  • Un pārstartēšanu.

Tās ir rutīnas darbības, kuras ļoti vēlētos atvieglot izpildē.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kubernetes labi palīdz izpildē, bet pamata sistēmas jautājumos.

Kubernetes labi atvieglo un automatizē tādas lietas kā:

  • Atjaunošana.
  • Pārstartēšana.
  • Kratu pārvadāšanas pārvaldība.

Tas ir labi, tas ir pareizais virziens, bet tam pilnībā nav izpratnes par to, kā eksploatēt datu bāzes klasteri.

Vēlas vairāk, gribu, lai visa datu bāze darbotos Kubernetes.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Vēlas iegūt kaut ko, kas līdzīgs lielai maģiskai sarkanai pogai, uz kuras nospiežot, tiek izveidots un atbalstīts klasteris visa dzīves cikla laikā ar ikdienas uzdevumiem, kas jārisina. ClickHouse klasteris Kubernetes.

Esam centušies izveidot risinājumu, kas palīdzētu atvieglot darbu. Tas ir ClickHouse-operators Kubernetes no Altinity.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Operators ir programma, kuras galvenais uzdevums ir pārvaldīt citas programmas, t.i., tas ir menedžeris.

Un tas ietver uzvedības veidnes. Šo var saukt par kodiificētām zināšanām par priekšmetu jomu.

Un tā galvenais uzdevums ir atvieglot DevOps dzīvi un samazināt mikromenedžmentu, lai viņš (DevOps) domātu augstāku līmeņa terminos, t.i., lai viņš (DevOps) nenodarbotu ar mikromenedžmentu, lai nevajadzētu manuāli iestatīt visas detaļas.

Un operators ir palīgrobots, kas cīnās ar mikrouzdevumiem un palīdz DevOps.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kāpēc vajadzīgs operators? Viņš īpaši labi sevi pierāda divās jomās:

  • Kad speciālistam, kurš strādā ar ClickHouse, trūkst pieredzes, bet jau nepieciešams eksploatēt ClickHouse, operators atvieglo eksploatāciju un ļauj eksploatēt ClickHouse klasteri ar gana sarežģītu konfigurāciju, neiedziļinoties detaļās par to, kā tas viss darbojas iekšēji. Vienkārši izdod augsta līmeņa uzdevumus, un tas darbojas.
  • Otra uzdevums, kurā viņš vislabāk izceļas, ir tad, kad jāautomatizē liels skaits standartizētu uzdevumu. Viņš no sistēmas administratoriem noņem mikrouzdevumus.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tas visvairāk nepieciešams vai nu tiem, kas tikai sāk savu ceļu, vai tiem, kam jānodarbojas ar daudz automātizācijas.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kāda ir atšķirība starp operatoru balstītu pieeju un citām sistēmām? Taču ir Helm. Tas arī palīdz instalēt ClickHouse, var uzzīmēt helm charts, kas pat var uzstādīt veselu ClickHouse klasteri. Kas tad ir atšķirība starp operatoru un, piemēram, Helm?

Pamatā ir fundamentālā atšķirība tajā, ka Helm ir pakotņu pārvaldība, bet operators iet tālāk. Tas nodrošina visa dzīves cikla atbalstu. Tas nav tikai uzstādīšana, bet ikdienas uzdevumi, kuri ietver resursu mērogošanu, šardēšanu, t.i., visu to, kas jāveic dzīves cikla gaitā (ja nepieciešams, tad arī dzēšana) – to visu risina operators. Viņš cenšas automatizēt un apkalpot visa programmatūras dzīves ciklu. Tas ir viņa fundamentālā atšķirība no citiem risinājumiem, kas tiek piedāvāti.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tā bija ievada daļa, tagad dosimies tālāk.

Kā mēs veidojam savu operatoru? Mēs cenšamies pieeju jautājumam, lai pārvaldītu ClickHouse klasteri kā vienu resursu.

Kreisajā daļā ir ieejas dati. Tas ir YAML ar klastera specifikāciju, kas klasiskā veidā caur kubectl tiek nodots Kubernetes. Tur operators to uzņem, dara savu burvību. Un rezultātā mēs iegūstam šādu shēmu. Tas ir ClickHouse implementācija Kubernetes.

Un tālāk pakāpeniski skatīsimies, kā tieši operators strādā, kādas tipiskās problēmas var risināt. Mēs apskatīsim tikai tipiskās problēmas, jo mums ir ierobežots laiks. Un tiks pastāstīts ne par visu, ko operators var risināt.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Pamatosimies uz praksi. Mūsu projekts ir pilnībā open source, tādēļ var apskatīt GitHub, kā tas darbojas. Un var pievērsties tam, ja gribas vienkārši uzsākt, tad ar Quick Start Guide var sākt.

Ja vēlas detalizēti izprast, tad mēs cenšamies uzturēt dokumentāciju vairāk vai mazāk pieņemamā stāvoklī.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Sāksim ar praktisku uzdevumu. Pirmais uzdevums, ar ko mēs visi gribam sākt, ir palaist pirmo piemēru kaut kā. Kā ar operatora palīdzību palaist ClickHouse, pat nezinot, kā tas darbojas? Uzrakstām manifestu, jo visa saziņa ar k8s ir saziņa caur manifestiem.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Šāds ir sarežģīts manifest. Tas, kas mums izcelts sarkanā krāsā, ir tas, uz ko jāpievērš uzmanība. Mēs lūdzam operatoram izveidot klasteri ar nosaukumu demo.

Šie ir pamata piemēri. Storage vēl nav aprakstīts, bet mēs uz storage atgriezīsimies nedaudz vēlāk. Pagaidām dinamiskā veidā sekosim klastera attīstībai.

Esam izveidojuši šo manifestu. Padevam to mūsu operatoram. Viņš ir strādājis un veicis burvju.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Skatāmies konsolē. Interesi izsaka trīs komponenti – Pod, divi Service un StatefulSet.

Operators ir strādājis, un mēs varam apskatīt, ko tieši viņš izveidoja.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Viņš izveido aptuveni tādu shēmu. Mums ir StatefulSet, Pod, ConfigMap katrai replikai, ConfigMap visam klasterim. Nepieciešami pakalpojumi kā ieejas punkti klasterī.

Pakalpojumi – tas ir centrālais Load Balancer Service, un vēl var būt katrai replikai, katram shardam.

Lūk, kā mūsu pamata klasteris izskatās aptuveni. Tas ir no vienas vienīgas noderes.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Turpināsim tālāk, sarežģīsim. Jāizveido klasteris shardots.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Mums uzdevumi pieaug, sākas dinamika. Mēs gribam pievienot shard. Sekojam attīstībai. Mainām mūsu specifikāciju. Norādām, ka vēlamies divus shardus.

Tas ir tas pats fails, kas dinamiskā veidā attīstās ar sistēmas pieaugumu. Storage nav, storage tiks apspriests vēlāk, tas ir atsevišķa tēma.

Padevam YAML-operatoram un skatām, kas iznāk.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Operators padomāja un izveidoja šādas entitātes. Mums jau ir divi Pod, trīs Service un, negaidīti, 2 StatefulSet.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Shēmā tas bija tā – tas bija mūsu sākotnējais stāvoklis, kad bija viens Pod.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tagad tas izskatās šādi. Pagaidām viss ir vienkārši, tas ir dublēts.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un kāpēc StatefulSet tagad ir divi? Šeit jāpievērš uzmanība un jāpārrunā jautājums, kā Kubernetes apstrādā Podus.

Ir tāds objekts kā StatefulSet, kas ļauj veidot Podu kopu no parauga. Šeit svarīgais faktors ir Template. Un vienā StatefulSet var palaist daudz Podu pēc viena parauga. Un svarīgā frāze šajā gadījumā ir „pēc viena parauga daudz Podu“.

Un bija liels kārdinājums izveidot visu klasteri, iesaiņojot to vienā StatefulSet. Tas darbosies, tur nav nekādu problēmu. Bet ir viens nianses. Ja mēs vēlamies izveidot heterogēnu klasteri, t.i., no vairākām ClickHouse versijām, tad šeit sākas jautājumi. Jā, StatefulSet var veikt rolling update, jā, tur var uzlikt jauno versiju, izskaidrojot, ka nepieciešams izmēģināt ne vairāk par tik un tā noderu vienlaicīgi.

Bet, ja ekstrapolējam uzdevumu un sakām, ka mēs vēlamies izveidot pilnīgi heterogēnu klasteri un vēlamies nevis no vecās versijas pāriet uz jauno, izmantojot rolling update, bet vienkārši vēlamies izveidot heterogēnu klasteri, gan attiecībā uz dažādām ClickHouse versijām, gan attiecībā uz dažādu glabāšanu. Mēs vēlamies, piemēram, izveidot dažas replikas uz atsevišķiem diskiem, uz lēnām, īsumā, pilnībā izveidot heterogēnu klasteri. Un tā kā StatefulSet veido no viena šablona standartizētu risinājumu, tāpēc nav iespējams to īstenot.

Pēc nelielām pārdomām tika pieņemts lēmums, ka mēs darām tā. Mums katra replika ir savā StatefulSet. Šim risinājumam ir daži trūkumi, taču praksē tas pilnībā ietver operatoru. Un ir daudz priekšrocību. Mēs varam veidot pilnīgi tādu klasteri, kādu vēlamies, piemēram, absolūti heterogēnu. Tāpēc klasterī, kurā ir divi shardi ar vienu repliku, mums būs 2 StatefulSet’i un 2 Pod’i tieši tāpēc, ka mēs izvēlējāmies tādu pieeju iepriekš minēto iemeslu dēļ, lai varētu izveidot heterogēnu klasteri.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Atgriezīsimies pie praktiskajiem uzdevumiem. Mūsu klasterī ir jākonfigurē lietotāji, t.i., ir jāveic kāda ClickHouse konfigurēšana Kubernetes. Operators tam nodrošina visas iespējas.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tieši YAML var rakstīt to, ko mēs vēlamies. Visas konfigurācijas iespējas tieši mappējas no šī YAML uz ClickHouse konfigurācijām, kuras pēc tam tiek izkliedētas visā klasterī.

Var rakstīt arī šādi. Tas ir piemēram. Paroli var izveidot šifrētu. Tiek atbalstītas absolūti visas ClickHouse konfigurācijas iespējas. Šeit ir tikai piemērs.

Konfigurācija visā klasterī tiek izplatīta kā ConfigMap. Praksē ConfigMap atjaunināšana nenotiek nekavējoties, tāpēc, ja klasteris ir liels, konfigurācijas ieviešanas process aizņem kādu laiku. Bet viss tas ir ļoti ērti ekspluatācijā.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Apgrūtinām uzdevumu. Klasteris attīstās. Mēs vēlamies replikēt datus. T.i., mums jau ir divi shard, katram ir pa vienai replikai, lietotāji ir konfigurēti. Mēs augam un vēlamies nodarboties ar replikāciju.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kas mums nepieciešams replikācijai?

Mums nepieciešams ZooKeeper. ClickHouse replikācija ir izveidota, izmantojot ZooKeeper. ZooKeeper ir nepieciešams, lai dažādām ClickHouse replikām būtu vienošanās par to, kuri datu bloki atrodas katrā ClickHouse.

Jebkuru ZooKeeper var izmantot. Ja uzņēmumam ir ārējs ZooKeeper, to var izmantot. Ja nē, var instalēt no mūsu krātuves. Ir uzstādītājs, kas visu šo procesu atvieglo.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un sistēmas mijiedarbības shēma izskatās šādi. Mums ir Kubernetes kā platforma. Uz tās darbojas ClickHouse operators. ZooKeeper es attēloju šeit. Un operators mijiedarbojas gan ar ClickHouse, gan ar ZooKeeper. T.i., notiek mijiedarbība.

Un viss tas ir nepieciešams, lai ClickHouse veiksmīgi replikētu datus k8s.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tagad aplūkosim pašu uzdevumu, kā izskatīsies replikācijas manifests.

Mēs pievienojam divas sadaļas mūsu manifestam. Pirmā – tas, no kurienes ņemt ZooKeeper, kas var būt gan iekšēji Kubernetes, gan ārējs. Tas ir vienkāršs apraksts. Un pieprasām replikas. T.i., mēs vēlamies divas replikas. Tādējādi mums vajadzētu būt 4 pod’iem. Par storage mēs atceramies, tas atgriezīsies nedaudz vēlāk. Storage – tā ir atsevišķa dziesma.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Bija tā.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tagad ir tā. Pievienojas replikas. 4. neievietojās, mēs ticam, ka to var būt daudz. Un sānos pievienojas ZooKeeper. Shēmas sarežģījas.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un ir pienācis laiks pievienot nākamo uzdevumu. Pievienosim Pastāvīgo Storage.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)Par Pastāvīgo Storage mums ir dažādi izpildes varianti.

Ja mēs izpildāmies mākoņa pakalpojumu sniedzējā, piemēram, izmantojot Amazon, Google, ir lielas kārdinājums izmantot mākoņa storage. Tas ir ļoti ērti, tas ir labi.

Un ir otrais variants. Tas ir lokālajam storage, kad mums ir lokālie diski katrā mezglā. Šis variants ir daudz sarežģītāks izpildei, bet tas ir produktīvāks.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Apskatīsim, kas attiecas uz mākoņa storage.

Ir priekšrocības. To ir ļoti viegli konfigurēt. Mēs vienkārši pieprasām no mākoņa pakalpojumu sniedzēja, lai lūdzu, dodiet mums tādas jaudas storage, tāda klases. Klases ir norakstītas pakalpojumu sniedzēju pašiem.

Ir ir trūkums. Kādam tas nav kritisks trūkums. Protams, tur būs kādi veiktspējas traucējumi. Tas ir ļoti ērti darbā, uzticami, bet ir daži potenciāli veiktspējas kritumi.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un, tā kā ClickHouse koncentrējas tieši uz veiktspēju, var pat teikt, ka tas izspiež visu, kas ir iespējams, tāpēc daudz klientu cenšas izspiest maksimumu veiktspējas.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Lai izspiestu maksimumu, mums nepieciešama lokālā krātuve.

Kubernetes piedāvā trīs abstrakcijas lokālās krātuves izmantošanai Kubernetes. Tie ir:

  • EmptyDir
  • HostPath.
  • Local

Apskatīsim, kā tās atšķiras un kādas ir līdzības.

Vispirms visās trijās pieejās mums ir krātuve – tas ir lokālie diski, kas atrodas uz tās pašas fiziskās k8s mezgls. Bet tiem ir dažas atšķirības.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Sāksim ar pašu vienkāršāko, t.i., ar emptyDir. Kas tas ir praksē? Tas ir mums lūgt no mūsu specifikācijas konteinertīklu sistēmas (visbiežāk – tas ir docker) nodrošināt piekļuvi mapei uz lokālā diska.

Praktiski docker kaut kur tur pie saviem ceļiem izveido pagaidu mapi, nosauc to par garu hash. Un nodrošina piekļuves saskarni tam.

Kā tas darbosies veiktspējā? Tas darbosies ar lokālā diska ātrumu, t.i., tas ir pilnīgs piekļuve savai diska ierīcei.

Bet šim ir savs trūkums. Pastāvīgums šajā jomā ir diezgan apšaubāms. Pie pirmajiem docker konteineru pārvietojumiem pastāvīgums tiek zaudēts. Ja Kubernetes no kāda iemesla dēļ vēlas pārvietot šo Pod uz citu disku, dati tiks zaudēti.

Šāda pieeja ir laba testēšanai, jo ātrums tajā jau ir normāls, bet šim variantam nopietnākiem projektiem tas nav piemērots.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tāpēc ir otrā pieeja. Tas ir hostPath. Ja paskatāmies uz iepriekšējo slaidu un šo, varam redzēt tikai vienu atšķirību. Mūsu mape izbrauca no docker tieši uz Kubernetes mezglu. Šeit ir nedaudz vienkāršāk. Mēs tieši norādām ceļu pa vietējo failu sistēmu, kur mēs vēlētos glabāt savus datus.

Šai metodei ir priekšrocības. Tas ir jau īsts pastāvīgs, turklāt klasiskā veidā. Mums diskā tiks ierakstīti dati pēc kāda adreses.

Ir ir trūkumi. Tas ir grūtības ar pārvaldību. Mūsu Kubernetes var vēlēties pārvietot Pod uz citu fizisko mezglu. Un šeit iejaucas DevOps. Tam jāizskaidro visai sistēmai, ka šos podus var pārvietot tikai uz tādiem mezgliem, uz kuriem pa šiem ceļiem ir kaut kas uzmontēts, un ne vairāk kā uz vienu mezglu vienā reizē. Tas ir diezgan sarežģīti.

Tieši šīm vajadzībām mēs mūsu operatorā esam izveidojuši šablonus, lai visu šo sarežģītību slēptu. Un varētu vienkārši teikt: "Es vēlos, lai man ir viens ClickHouse instances katram fiziskajam mezglam un pa tādam ceļam."

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Bet šī nepieciešamība ir vajadzīga ne tikai mums, tāpēc džentlmeņi no paša Kubernetes arī saprot, ka cilvēkiem gribas piekļūt fiziskajiem diskus, tāpēc viņi piedāvā trešo līmeni.

Tas tiek saukts par local. No iepriekšējā slaida praktiski nav atšķirību. Tikai agrāk bija jāveic rokas darbs, sakārtojot, ka mēs nevaram pārvietot šos podus no mezgla uz mezglu, jo tie ir jāpievieno pie tāda ceļa vietējām fiziskajām diskām, bet tagad visa šī informācija ir iekļauta Kubernetes. Un konfigurācija kļūst daudz vienkāršāka.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Atgriezīsimies pie mūsu praktiskās uzdevuma. Atgriezīsimies pie YAML veidnes. Te mums parādījās īsts storage. Mēs atgriezāmies pie tā. Mēs norādām klasisko VolumeClaim veidni kā k8s. Un aprakstām, kādu storage mēs vēlamies.

Pēc tam k8s pieprasīs storage. Tas mūsu vietā to piešķirs StatefulSet. Un galu galā tas nonāks ClickHouse rīcībā.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Mums bija tāda shēma. Mūsu Persistent Storage bija sarkans, kas it kā norādīja, ka to vajadzētu izdarīt.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un tas kļūst zaļš. Tagad ClickHouse k8s klastera shēma ir pilnībā noslēgta. Mums ir shardi, replikas, ZooKeeper, ir īsts Persistent, kas ir īstenots tādā vai citā veidā. Shēma jau ir pilnībā funkcionāla.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Mēs turpinām dzīvot tālāk. Mūsu klasteris attīstās. Un Aleksejs cenšas un iznāk ar jaunu ClickHouse versiju.

Rodās praktisks uzdevums – testēt jaunu ClickHouse versiju mūsu klasterī. Protams, negribas to uzlikt visam klasterim, bet, iespējams, nelielā attālumā vienā replikā novietot jauno versiju, un, iespējams, ne tikai vienu jauno versiju, bet uzreiz divas, jo tās bieži tiek izlaistas.

Ko mēs varam par to teikt?

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Šeit mēs piedāvājam tieši šādu iespēju. Tie ir pod veidnes. Mēs varam izklāstīt, mūsu operators pilnībā ļauj izveidot heterogēnu klasteri. T.i., konfigurēt, sākot no visām replikām kopā, līdz katrai individuālai replikai ar to, kādu ClickHouse versiju mēs vēlamies, kādu storage versiju mēs vēlamies. Mēs varam pilnībā konfigurēt klasteri tādā konfigurācijā, kādu mēs vēlamies.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Nedaudz iedziļināsimies iekšā. Līdz šim runājām par to, kā darbojas ClickHouse operators attiecībā uz ClickHouse specifiku.

Tagad es gribētu teikt dažus vārdus par to, kā jebkurš operators vispār darbojas, kā arī par to, kā tas mijiedarbojas ar K8s.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Apskatīsim mijiedarbību ar K8s sākumā. Kas notiek, kad mēs izpildām 'kubectl apply'? Mūsu objekti parādās caur API etz.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Piemēram, pamata Kubernetes objekti: pod, StatefulSet, serviss utt.

Šajā brīdī vēl nekas fizisks nenotiek. Šie objekti ir jāmaterializē klasterī.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tam nepieciešams kontrolieris. Kontrolieris ir īpaša K8s sastāvdaļa, kas spēj materializēt šos aprakstus. Tas zina, kā un ko fiziski darīt. Tas zina, kā palaist konteinerus, kādas iestatījumus vajag uzstādīt, lai serveris darbotos.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un tas materializē mūsu objektus K8s.

Bet mēs gribam darboties ne tikai ar pod orientētu, StatefulSet, bet mēs gribam izveidot ClickHouseInstallation, t.i., ClickHouse tipa objektu, lai darboties ar to kā vienotu veselumu. Pašlaik šādas iespējas nav.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Bet K8s ir šī patīkamā lieta. Mēs vēlamies, lai mums rastos kaut kas līdzīgs sarežģītai entītijai, kas būtu izveidota no pod un StatefulSet, mūsu klasteris.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un ko tad mēs jādara? Pirmkārt, uz skatuves nāk Custom Resource Definition. Kas tas ir? Tas ir apraksts K8s, ka tev būs vēl viens datu tips, ka mēs vēlamies pievienot pod un StatefulSet pielāgotu resursu, kas būs sarežģīts iekšēji. Tas ir datu struktūras apraksts.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Mēs to arī nosūtām caur 'kubectl apply'. Kubernetes ar prieku to pieņēma.

Un tagad mūsu glabātavā, objektā etz parādās iespēja ierakstīt pielāgotu resursu ar nosaukumu ClickHouseInstallation.

Bet pagaidām nekas tālāk nenotiks. Tas ir, ja mēs tagad izveidosim YAML failu, kuru apsvēra ar shard, replikām un teiksim "kubectl apply", tad Kubernetes to pieņems, ievietos etcd un teiks: "Lieliski, bet ko ar to darīt, es nezinu. Kā apkalpot ClickHouseInstallation es nezinu."

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tātad mums nepieciešams kāds, kas palīdzētu Kubernetes apkalpot jaunu datu veidu. Kreisajā pusē mums ir iebūvēts Kubernetes kontrolieris, kas strādā ar iebūvētajiem datu veidiem. Savukārt labajā pusē mums vajadzētu parādīties pielāgotam kontrolierim, kas spēj strādāt ar pielāgotajiem datu veidiem.

Un citādi to sauc par operatoru. Es to šeit speciāli izņēmu no Kubernetes, jo tas var darboties arī ārpus K8s. Visbiežāk, protams, visi operatori darbojas Kubernetes, bet nekas netraucē tam atrasties ārpus, tāpēc šeit tas speciāli izņemts ārā.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un jau savukārt pielāgotais kontrolieris, tas ir operators, mijiedarbojas ar Kubernetes caur API. Viņš jau prot mijiedarboties ar API. Un viņš jau zina, kā no pielāgotā resursa materializēt sarežģītu shēmu, ko mēs vēlamies izveidot. Tieši to arī dara operators.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kā darbojas operators? Apskatīsim labajā pusē, lai uzzinātu, kā viņš to dara. Uzzināsim, kā operators to visu materializē un kā tālāk notiek mijiedarbība ar K8s.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Operators – tas ir programma. Tā ir notikumu orientēta. Operators, izmantojot Kubernetes API, parakstās uz notikumiem. Kubernetes API ir ieejas punkti, kuros var parakstīties uz notikumiem. Un, ja kaut kas K8s mainās, Kubernetes nosūta notikumus visiem, kas vēlas, t.i., kurš uz šo API punktu parakstījies, tas arī saņems paziņojumus.

Operators parakstās uz notikumiem un jāveic kāda reakcija. Viņa uzdevums ir reaģēt uz izsistajiem notikumiem.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Notikumi tiek ģenerēti ar palīdzību atjauninājumiem. Mūsu YAML fails ar ClickHouseInstallation aprakstu pienāk. Tas caur kubectl apply devās uz etcd. Tur notika notikums, un rezultātā šis notikums nonāca ClickHouse-operatorā. Operators saņēma šo aprakstu. Un viņam kaut kas jāveic. Ja ir bijis atjauninājums uz ClickHouseInstallation objektu, tad jāatjaunina klasteris. Un operatora uzdevums ir atjaunināt klasteri.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Ko viņš dara? Vispirms ir jāizstrādā rīcības plāns, par to, ko darīsim ar šo atjauninājumu. Atjauninājumi var būt ļoti mazi, proti, mazi YAML izpildījumā, bet var izraisīt ļoti lielas izmaiņas klasterī. Tāpēc operators izstrādā plānu un pēc tam pie tā pieturas.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Viņš sāk saskaņā ar šo plānu veidot šo struktūru iekšpusē, lai materializētu podus, pakalpojumus, proti, darīt to, kas ir viņa galvenā uzdevums. Tas ir kā uzbūvēt ClickHouse klasteri Kubernetes vidē.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tagad pievērsīsimies tādai interesantai lietai. Tas ir atbildības sadalījums starp Kubernetes un operatoru, t.i., ko dara Kubernetes, ko dara operators un kā viņi mijiedarbojas viens ar otru.

Kubernetes atbild par sistēmas lietām, t.i., par pamata objektu kopu, kuru var interpretēt kā sistēmas mērogā. Kubernetes zina, kā palaist podus, kā restartēt konteinerus, kā veikt apjomu montāžu, kā strādāt ar ConfigMap, t.i., visu, ko var saukt par sistēmu.

Operatori darbojas konkrētās jomās. Katrs operators tiek izstrādāts savā jomā. Mēs to izstrādājām ClickHouse.

Un operators mijiedarbojas tieši jomas terminoloģijā, piemēram, pievienot replikāciju, izveidot shēmu, iestatīt uzraudzību. Rezultātā veidojas šāds sadalījums.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Paskatīsimies praktiskā piemērā, kā šis atbildības sadalījums notiek, kad veicam darbību pievienot replikāciju.

Uz operatoru nāk uzdevums – pievienot replikāciju. Ko operators dara? Operators aprēķina, ka ir jāizveido jauns StatefulSet, kurā jāapraksta tādi veidni, apjoma pieprasījums.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Viņš to visu sagatavo un nodod tālāk K8s. Viņš saka, ka viņam nepieciešams ConfigMap, StatefulSet, apjoms. Kubernetes to izpilda. Tas materializē pamata vienības, ar kurām tas darbojas.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un tālāk atkal iejaucas ClickHouse operators. Tam jau ir fizisks pod, uz kura var kaut ko darīt. Un ClickHouse operators atkal darbojas jomas terminoloģijā. T.i., konkrēti ClickHouse, lai iekļautu replikāciju klasterī, vispirms ir jāiestata datu shēma, kas šajā klasterī pastāv. Un, otrkārt, šī replikācija jāiekļauj uzraudzībā, lai tā labi tiktu izsekota. To jau iestata operators.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un tikai pēc tam pašlaik iejaucas pats ClickHouse, t.i., vēl viena augstāka līmeņa entitāte. Tā jau ir datu bāze. Tai ir sava instance, vēl viena konfigūrēta replika, kas gatava pievienoties klasterim.

Tātad iznāk izpildes ķēde un atbildības sadalījums, pievienojot repliku, ir pietiekami gara.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Turpinām mūsu praktiskās uzdevumus. Ja klasteris jau pastāv, tad var veikt konfigurācijas migrāciju.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Mēs esam izdarījuši tā, ka esošajā xml, ko ClickHouse saprot, var pārsūtīt caur.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Var veikt ClickHouse smalko iestatījumu. Zoned deployment ir tieši tas, par ko es runāju, skaidrojot hostPath, lokālo uzglabāšanu. Tas ir, kā pareizi izveidot zonētu izvietošanu.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Nākamais praktiskais uzdevums ir uzraudzība.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Ja mūsu klasteris mainās, tad periodiski ir jāpārkonfigurē uzraudzība.

Apskatīsim shēmu. Mēs jau esam apsprieduši zaļās bultas. Tagad apskatīsim sarkanās bultas. Tas ir tas, kā mēs vēlamies uzraudzīt mūsu klasteri. Kā metrikas no ClickHouse klastera nonāk Prometheus, pēc tam Grafana.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un kas ir grūtības ar uzraudzību? Kāpēc tas tiek uzskatīts par kādu sasniegumu? Grūtība ir tieši dinamikā. Kad mums ir viens klasteris un tas ir statisks, var vienreiz iestatīt uzraudzību un vairs par to nedomāt.

Bet, ja mums ir daudz klasteru, vai pastāvīgi kaut kas mainās, tad process ir dinamiskais. Un pastāvīgi nodarboties ar uzraudzības pārkonfigurāciju – tas ir resursu un laika izsēšana, t.i., pat vienkārši slinkums. To ir jāautomatizē. Grūtība ir tieši procesa dinamikā. Un operators to ļoti labi automatizē.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kā mums attīstījās klasteris? Sākumā tas bija šāds.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Pēc tam tas bija tāds.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Galu galā tas izskatījās tā.

Un uzraudzība automātiski tiek veikta ar operatora palīdzību. Vienotā ieejas punkts.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Un mēs tikai izejā skatāmies Grafana paneļa, kā tur iekšpusē pulcējas mūsu klastera dzīve.

Starp citu, Grafana panelis arī tiek izplatīts kopā ar mūsu operatoru tieši avota kodā. To var pieslēgt un izmantot. Šo ekrānšāviņu man deva mūsu DevOps.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Uz kuru pusi mēs gribētu virzīties tālāk? Tas ir:

  • Attīstīt testēšanas automatizāciju. Galvenais uzdevums ir automatizēta testēšana jaunajām versijām.
  • Arī mēs ļoti vēlamies automatizēt integrāciju ar ZooKeeper. Mums ir plāns integrēties ar ZooKeeper-operatoru. Tas ir, ir izstrādāts operators ZooKeeper, un loģiski būtu, ja abi operatori sāktu integrēties, lai izveidotu ērtāku risinājumu.
  • Mēs vēlamies veikt sarežģītākas dzīvotspējas pārbaudes.
  • Zaļā krāsā izcēlu to, kas mums tuvojas – veidņu mantošana – PABEIGTA, t.i., ar nākamo operatora laidienu mums jau būs veidņu mantošana. Tas ir jaudīgs rīks, kas ļauj veidot sarežģītas konfigurācijas no atsevišķām daļām.
  • Mēs vēlamies automatizēt sarežģītas uzdevumus. Galvenais no tiem ir Re-sharding.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Veiksim starpposma secinājumus.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Ko mēs saņemam rezultātā? Vai to ir vērts darīt vai nē? Vai vispār ir jāmēģina pārcelt datu bāzi uz Kubernetes un izmantot operatoru kopumā un īpaši Alitnity-operatoru?

Rezultātā mēs iegūstam:

  • Zīmīgi vienkāršošana un automatizācija konfigurēšanā, ieviešanā un uzturēšanā.
  • Uzreiz iebūvēta uzraudzība.
  • Un gatavi lietošanai kodificētiem veidņiem sarežģītām situācijām. Tagad tādas darbības kā replikas pievienošana vairs nav jāveic manuāli. To veic operators.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Palicis tikai pēdējais jautājums. Mums jau ir datu bāze Kubernetes, virtualizācija. Kāda ir šāda risinājuma veiktspēja, īpaši ņemot vērā, ka ClickHouse ir optimizēts veiktspējai?

Atbilde – viss ir kārtībā! Es neizklāstīšu detalizēti, šī ir atsevišķa tēma.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tomēr pastāv projekts, piemēram, TSBS. Kāda ir tā galvenā uzdevums? Tas ir datu bāzu veiktspējas tests. Tas ir mēģinājums salīdzināt siltu ar siltu, mīkstu ar mīkstu.

Kā tas darbojas? Tiek ģenerēts viens datu kopums. Tad šis datu kopums tiek pārbaudīts uz vienāda testu kopuma dažādām datu bāzēm. Katrs datu bāze risina vienu uzdevumu tā, kā tā prot, un tad var salīdzināt rezultātus.

Tas jau atbalsta lielu skaitu datu bāzu. Es izcēlu trīs galvenās. Tas ir:

  • TimescaleDB.
  • InfluxDB.
  • ClickHouse.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Tika veikta salīdzināšana ar citu līdzīgu risinājumu. Salīdzinājums ar RedShift. Salīdzinājums tika veikts Amazon. ClickHouse arī labi pārspēj visus šajā jautājumā.

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Kādus secinājumus var izdarīt no tā, ko es stāstīju?

  • DB Kubernetes var izmantot. Droši vien var jebkādus, bet kopumā izskatās, ka var. ClickHouse Kubernetes noteikti var izmantot ar mūsu operatora palīdzību.
  • Operators palīdz automatizēt procesus un patiesi atvieglo dzīvi.
  • Veiktspēja ir normāla.
  • Un, mūsuprāt, to var un vajag izmantot.

Atvērtais avots – pievienojieties!

Kā jau teicu, operators ir pilnībā atvērtā koda produkts, tāpēc būtu ļoti labi, ja maksimālais skaits cilvēku to izmantotu. Pievienojieties! Mēs jums visiem gaidām!

Visiem paldies!

Jautājumi

Operatora Kubernetes datu bāzu klasteru pārvaldīšanai. Vladislavs Klimeņko (Altinity, 2019)

Paldies par ziņojumu! Mani sauc Antons. Es esmu no uzņēmuma SEMrush. Man interesē, kā ir ar logēšanu. Par monitoringu ir dzirdēts, bet par logēšanu nekas, ja runājam par klasteri kopumā. Mums, piemēram, ir uzstādīts klasteris uz dzelžiem. Un mēs izmantojam centralizētu logēšanu, standartizēti savācam kopā. Un pēc tam no turienes iegūstam mums interesantus datus.

Labs jautājums, t.i., logēšana ir sarakstā todo. Mūsu operators pagaidām to automatizē. Tas vēl attīstās, projekts vēl salīdzinoši jauns. Mēs saprotam logēšanas nozīmīgumu. Tas arī ir ļoti svarīgs temats. Un tas, iespējams, nav mazāk svarīgs par monitoringu. Bet pirmais sarakstā realizācijai bija monitorings. Logēšana būs. Mēs, protams, cenšamies automatizēt visas klastera darbības puses. Tāpēc atbilde – pašlaik operators, diemžēl, to neprot, bet tas ir plānots, mēs to darīsim. Ja ir vēlme pievienoties, tad lūdzu, veiciet pull request.

Sveiki! Paldies par ziņojumu! Man ir standarta jautājums, kas saistīts ar Persistent Volumes. Kad mēs šim operatoram izveidojam konfigurāciju, kā operators nosaka, uz kuras mezgla mums ir pieslēgts kāds disks vai mape? Mums iepriekš jāpaskaidro, ka, lūdzu, novietojiet mūsu ClickHouse tieši uz šiem mezgliem, uz kuriem ir disks?

Cik saprotu, šis jautājums ir turpinājums local storage, īpaši tā daļai par hostPath. Tas ir kā paskaidrot visai sistēmai, ka jādara tā, lai pod būtu palaists tieši uz tā mezgla, uz kuru mums ir fiziski pievienots disks, kas ir montēts noteiktā ceļā. Tas ir vesela sadaļa, kuru es pieskāros ļoti virspusēji, jo tur atbilde ir diezgan liela.

Īsumā, tas izskatās šādi. Mums, protams, jāveic šo apjomu provisioning. Pašlaik dinamisks provisioning local storage nav, tāpēc DevOps pašiem jānorauj diski, šie apjomi. Un viņiem jāpaskaidro Kubernetes provisioning, ka tev būs šāda klases Persistent volumes, kas atrodas uz šādām mezglām. Pēc tam jāizskaidro Kubernetes, ka pod’i, kas prasa šāda veida local storage, jāplāno tikai uz šīm mezglām pēc labels. Šīm vajadzībām operatorā ir iespēja piešķirt kādu label un one per host instance. Un izveidosies, ka pod’i tiks maršrutizēti Kubernetes’ā, lai darbinātu tikai uz mezgliem, kas atbilst prasībām, labels, vienkāršiem vārdiem sakot. Administratori nosaka labels, veic disku provisioning manuāli. Un tad tas mērogojas.

Un tieši trešais variants local palīdz to nedaudz atvieglot. Kā es jau uzsvēru, tā ir rūpīga uzstādīšanas darba, kas gala rezultātā palīdz iegūt maksimālo veiktspēju.

Man ir otrais jautājums, kas saistīts ar to. Kubernetes tika izstrādāts tā, ka mums nav svarīgi, vai mēs zaudējam mezglu vai nē. Ko darīt šādā gadījumā, ja mēs esam zaudējuši mezglu, kurā atrodas shards?

Jā, Kubernetes sākotnēji tika pozicionēts tā, ka mūsu attiecības ar mūsu pod’iem ir kā ar liellopiem, bet tagad katrs disks kļūst par kaut ko līdzīgu mājas mīluļiem. Ir šī problēma, ka mēs tos nevaram vienkārši izmest. Un Kubernetes attīstība virzās uz to virzienu, ka nav iespējams pilnībā attiekties pret to filozofiski, kā pret pilnībā izmestajiem resursiem.

Tagad praktiskais jautājums. Ko darīt, ja jums ir zaudēts mezgls, uz kura bija disks? Šādas problēmas risināšana notiek augstākā līmenī. ClickHouse gadījumā mums ir replikas, kas darbojas augstākā līmenī, tas ir, ClickHouse līmenī.

Kāda ir situācija? Par datu zudumu atbild DevOps. Viņam ir jāpareizi noregulē replikācija un jāpārliecinās, ka replikācija tiek izpildīta. Replikā ClickHouse līmenī jābūt dotiem dublētiem. Tas nav uzdevums, ko risina operators. Un tas nav uzdevums, ko risina pats Kubernetes. Tas ir ClickHouse līmenī.

Ko darīt, ja jums ir dzelzs mezgls, kas ir atslēdzies? Izrādās, ka nāksies uzstādīt otro, pareizi konfigurēt disku un pievienot marķējumus. Pēc tam tas izpildīs prasības, ka Kubernetes tajā var palaist pod instance. Kubernetes to palaidīs. Jums taču trūkst pod skaita līdz noteikto skaitam. Tas izies cauri ciklam, ko rādīju. Un augstākajā līmenī ClickHouse sapratīs, ka mums ir nokļuvusi replikācija, tā vēl ir tukša, un uz to jāsāk pārlietot datus. T.i., šis process vēl nav labi automatizēts.

Paldies par ziņojumu! Kad notiek visādas nepatikšanas, operators avarē un pārlaižas, bet šajā brīdī iestājas notikumi, vai jūs to kaut kā apstrādājat?

Ko darīt, ja operators ir avarējis un pārlaižās, jā?

Jā. Un šajā brīdī iestājās notikumi.

Uzdevums, ko darīt šajā gadījumā, daļēji sadalās starp operatoru un Kubernetes. Kubernetes ir spēja atkārtot notikušo notikumu. Viņš to atkārto. Un operātora uzdevums ir nodrošināt, lai, kad uz viņa tiek atkārtoti notikumu žurnāla, šie notikumi būtu idempotenti. Un lai atkārtota tā paša notikuma iestāšanās nesabojātu mūsu sistēmu. Un mūsu operators šo uzdevumu izpilda.

Sveiki! Paldies par ziņojumu! Dmitrijs Zavjalovs, uzņēmums Smēdova. Vai ir plānots pievienot operatoram konfigurēšanas iespēju ar haproxy? Interesē kāds cits balansētājs, izņemot standarta, lai tas būtu gudrs un saprastu, ka tur patiešām ir ClickHouse.

Vai jūs runājat par Ingress?

Jā, Ingress nomainīt uz haproxy. Haproxy var norādīt klastera topoloģiju, kur tajā ir replikas.

Pašreiz mēs par to vēl neesam domājuši. Ja jums tas ir vajadzīgs un varēsiet izskaidrot, kāpēc tas ir nepieciešams, tad tas var tikt realizēts, īpaši, ja jūs vēlēsieties piedalīties. Mēs ar prieku izskatīsim šo variantu. Īsa atbilde – nē, uz šī brīža tādas funkcionalitātes mums nav. Paldies par ieteikumu, mēs uz to paskatīsimies. Un, ja jūs vēl izskaidrosiet use case un kāpēc tas ir praktiski nepieciešams, piemēram, izveidosiet problēmas GitHub, tas būs lieliski.

Jau ir.

Labi. Mēs esam atvērti jebkurām idejām. Un haproxy tiek pievienots darāmo darbu sarakstam. Darāmo darbu saraksts pieaug, nevis sarūk pagaidām. Bet tas ir labi, tas nozīmē, ka produkts ir pieprasīts.

Avots: habr.com

Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster