Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny tatitra dia natokana ho an'ireo olana azo ampiharina amin'ny fampivelarana mpandraharaha iray ao Kubernetes, mamolavola ny maritrano sy ny fitsipika fototra amin'ny fampandehanana azy.

Ao amin'ny tapany voalohany amin'ny tatitra dia handinika isika:

  • inona no atao hoe operator ao Kubernetes ary nahoana no ilaina izany;
  • ahoana marina no hanatsorana ny fitantanana ny rafitra sarotra;
  • inona no azon'ny mpandraharaha ary inona no tsy azon'ny mpandraharaha.

Manaraka, dia mitodika any amin'ny fifanakalozan-kevitra momba ny rafitra anatiny ny mpandraharaha. Diniho tsikelikely ny maritrano sy ny fiasan'ny mpandraharaha. Andeha hodinihintsika amin'ny antsipiriany:

  • fifandraisana eo amin'ny mpandraharaha sy ny Kubernetes;
  • inona no andraikitry ny mpandraharaha ary inona no atolotra an'i Kubernetes.

Eritrereto ny mitantana shards sy replika angona ao amin'ny Kubernetes.
Manaraka, hiresaka momba ny olana momba ny fitahirizana data isika:

  • ny fomba fiasa miaraka amin'ny Persistent Storage avy amin'ny fomba fijerin'ny mpandraharaha iray;
  • fandrika amin'ny fampiasana fitahirizana eo an-toerana.

Ao amin'ny tapany farany amin'ny tatitra, dia handinika ohatra azo ampiharina momba ny fampiharana isika clickhouse operator miaraka amin'ny Amazon na Google Cloud Service. Ny tatitra dia mifototra amin'ny ohatra momba ny fampandrosoana sy ny traikefan'ny mpandraharaha ho an'ny ClickHouse.

horonan-tsary:

Vladislav Klimenko no anarako. Androany aho dia te hiresaka momba ny traikefanay amin'ny famolavolana sy ny fampandehanana opérateur, ary io dia operatera manokana amin'ny fitantanana ny clusters database. Ohatra ClickHouse-operator hitantana ny cluster ClickHouse.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nahoana isika no manana fahafahana hiresaka momba ny mpandraharaha sy ny ClickHouse?

  • Manohana sy mamolavola ClickHouse izahay.
  • Amin'izao fotoana izao, miezaka manao tsimoramora ny fandraisantsika anjara amin'ny fampandrosoana ny ClickHouse izahay. Ary isika no faharoa aorian'ny Yandex amin'ny habetsahan'ny fanovana natao tao amin'ny ClickHouse.
  • Miezaka manao tetikasa fanampiny ho an'ny ecosystem ClickHouse izahay.

Te hiresaka momba ny iray amin'ireo tetikasa ireo aho. Ity dia momba ny ClickHouse-operator ho an'ny Kubernetes.

Ao amin'ny tatitro dia te hiresaka lohahevitra roa aho:

  • Ny lohahevitra voalohany dia ny fomba fiasan'ny mpandrindra angona ClickHouse ao Kubernetes.
  • Ny lohahevitra faharoa dia ny fomba fiasan'ny mpandraharaha rehetra, izany hoe ny fomba ifandraisany amin'ny Kubernetes.

Na izany aza, ireo fanontaniana roa ireo dia hifandona mandritra ny tatitra ataoko.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Iza no ho liana amin'ny fihainoana izay tiako holazaina?

  • Ny tena mahaliana dia ireo izay manararaotra ny mpandraharaha.
  • Na ho an'ireo izay te hanao ny azy manokana mba hahatakarana ny fomba fiasan'izy io ao anatiny, ny fomba ifandraisan'ny mpandraharaha amin'ny Kubernetes, ary inona no mety hiseho fandrika.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mba hahatakarana tsara ny zavatra horesahintsika anio, dia tsara ny mahafantatra ny fomba fiasan'i Kubernetes ary manana fototra fototra amin'ny informatika rahona.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no atao hoe ClickHouse? Ity dia angon-drakitra misy tsanganana manokana amin'ny fanodinana an-tserasera ny fanontaniana fanadihadiana. Ary open source tanteraka.

Ary zavatra roa ihany no ilaintsika. Tokony ho fantatrao fa database io, ka izay holazaiko aminao dia azo ampiharina amin'ny database rehetra. Ary ny zava-misy fa ny ClickHouse DBMS mizana dia manome ny scalability saika linear. Ary noho izany, ny toetry ny cluster dia fanjakana voajanahary ho an'ny ClickHouse. Ary liana indrindra izahay hiresaka momba ny fomba hanompoana kluster ClickHouse ao Kubernetes.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nahoana izy no ilaina any? Nahoana isika no tsy afaka manohy miasa izany ny tenantsika? Ary ny valiny dia ampahany ara-teknika ary ampahany amin'ny fandaminana.

  • Amin'ny fampiharana, mihamitombo hatrany ny toe-javatra toy izany rehefa ao amin'ny orinasa lehibe saika ny singa rehetra dia efa ao amin'ny Kubernetes. Mijanona any ivelany ny angon-drakitra.
  • Ary mihamitombo hatrany ny fanontaniana hoe: "Afaka apetraka ao anatiny ve?". Noho izany, ny orinasa lehibe dia miezaka mamokatra ny fampiraisana ambony indrindra amin'ny fitantanana mba hahafahana mitantana haingana ny trano fanatobiana data.
  • Ary izany indrindra dia manampy raha mila ny fahafahana ambony indrindra hamerina zavatra mitovy amin'ny toerana vaovao, izany hoe, ny ambony indrindra portability.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mora sa sarotra ve izany? Mazava ho azy fa azo atao amin'ny tanana izany. Saingy tsy dia mora loatra izany, satria ampianay ny fahasarotan'ny fitantanana ny Kubernetes ny tenany, fa miaraka amin'izay koa dia apetraka ny mombamomba ny ClickHouse. Ary hita fa toy izany ny fanangonana.

Ary izany rehetra izany dia manome andiana teknolojia marobe, izay efa lasa sarotra ny mitantana, satria ny Kubernetes dia mitondra ny olana andavanandrony, ary ny ClickHouse dia mitondra ny olan'izy ireo amin'ny asa andavanandro. Indrindra raha manana ClickHouses maromaro isika, ary mila manao zavatra tsy tapaka miaraka amin'izy ireo.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

ClickHouse miaraka amin'ny fanamafisana mavitrika dia manana olana marobe izay miteraka entana tsy tapaka amin'ny DevOps:

  • Rehefa te hanova zavatra ao amin'ny ClickHouse, ohatra, ampio kopia, shard, dia mila mitantana ny configuration.
  • Avy eo dia ovay ny rafitra data, satria ny ClickHouse dia manana fomba fizarazarana manokana. Ilaina ny mametraka ny rafitra data, mametraka ny configurations.
  • Mila manangana fanaraha-maso ianao.
  • Fanangonana hazo ho an'ny shards vaovao, ho an'ny kopia vaovao.
  • Tandremo ny fahasitranana.
  • Ary avereno indray.

Ireo dia asa mahazatra izay tiako indrindra hanamora ny fampandehanana azy.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny Kubernetes mihitsy dia manampy betsaka amin'ny asa, fa amin'ny zavatra rafitra fototra.

Kubernetes dia mahay manamora sy manamboatra zavatra toy ny:

  • fanarenana.
  • Haverina velomina.
  • Fitantanana fitahirizana.

Tsara izany, izany no lalana marina, fa izy dia tsy mifandray amin'ny fomba fampandehanana cluster database.

Mila bebe kokoa aho, tiako hiasa ho antsika ao Kubernetes ny angon-drakitra manontolo.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Te-hahazo zavatra toy ny bokotra mena majika lehibe iray izay tsindrianao aho ary manana cluster napetraka sy tazomina mandritra ny tsingerin'ny fiainana manontolo miaraka amin'ny asa andavanandro mila vahana. ClickHouse cluster ao Kubernetes.

Ary niezaka nanao vahaolana hanamora ny asa izahay. Ity no ClickHouse-operator ho an'ny Kubernetes avy amin'ny Altinity.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny opérateur dia programa iray izay ny tena asany dia ny mitantana programa hafa, izany hoe mpitantana.

Ary misy lamin'ny fitondran-tena ao. Azonao atao ny miantso azy io hoe fahalalana codified momba ny sehatry ny lohahevitra.

Ary ny tena asa ataony dia ny manamora ny fiainana ho an'ny DevOps sy ny fampihenana ny micromanagement ka izy (DevOps) dia efa mieritreritra amin'ny teny avo lenta, izany hoe tsy manao micromanage izy (DevOps), mba tsy hamboarina amin'ny tanana ny rehetra. antsipiriany.

Ary ny mpandraharaha ihany no mpanampy robot izay miady amin'ny microtasks ary manampy ny DevOps.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nahoana no ilaina ny mpandraharaha? Manana sehatra roa izy:

  • Rehefa tsy manana traikefa ampy ny manam-pahaizana momba ny ClickHouse, fa efa ilaina ny miasa ClickHouse, dia manamora ny asa ny mpandraharaha ary mamela anao hampiasa cluster ClickHouse miaraka amin'ny fanamafisana somary sarotra, nefa tsy miditra amin'ny antsipiriany be loatra momba ny fomba fiasan'izy rehetra ao anatiny. . Omeo asa avo lenta fotsiny izy, dia miasa izany.
  • Ary ny asa faharoa izay mampiseho ny tenany tsara indrindra dia rehefa ilaina ny manao automatique ny asa mahazatra. Esory ny microtasks amin'ny sysadmins.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Izany no tena ilaina na ho an'ireo izay vao manomboka ny diany, na ireo izay mila manao automatique be dia be.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no maha samy hafa ny fomba fiasa mifototra amin'ny opérateur sy ny rafitra hafa? Misy koa ny Helm. Manampy amin'ny fametrahana ClickHouse ihany koa izany, azonao atao ny manao sarin'ny helm, izay hametraka cluster ClickHouse manontolo mihitsy aza. Inona ary no maha samy hafa ny operator sy ny mitovy, ohatra, Helm?

Ny fahasamihafana fototra lehibe dia ny hoe Helm dia momba ny fitantanana fonosana, ary ny mpandraharaha dia mandroso dingana. Izany no fanohanan'ny tsingerin'ny fiainana manontolo. Tsy ny fametrahana fotsiny izany, fa asa isan'andro izay misy ny scaling, sharding, izany hoe ny zavatra rehetra tokony hatao mandritra ny tsingerin'ny fiainana (raha ilaina, ny fanesorana ihany koa) - izany rehetra izany dia fanapahan-kevitry ny mpandraharaha. Miezaka manamboatra sy manompo ny tsingerin'ny fiainan'ny rindrambaiko manontolo. Izany no maha samy hafa ny fototra amin'ny vahaolana hafa atolotra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Izay no teny fampidirana, andao hiroso.

Ahoana no fomba hananganana ny operateranay? Miezaka manatona ny olana izahay mba hitantana ny cluster ClickHouse ho loharano tokana.

Eto isika dia manana ny angona fampidirana eo amin'ny ilany havia amin'ny sary. Ity dia YAML miaraka amin'ny famaritana cluster, izay mandalo amin'ny kubectl mankany Kubernetes. Ao, ny operateranay no maka izany, manao ny majika. Ary vokatr'izany dia mahazo tetika toy izany isika. Ity no fampiharana ny ClickHouse ao amin'ny Kubernetes.

Ary avy eo dia hijery tsikelikely ny fomba fiasan'ny mpandraharaha, inona no asa mahazatra azo vahana. Asa mahazatra ihany no hodinihintsika, satria voafetra ny fotoanantsika. Ary tsy holazaina momba izay rehetra azon'ny mpandraharaha manapa-kevitra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha isika hanomboka amin'ny fanazaran-tena. Loharanom-baovao misokatra tanteraka ny tetikasanay, ka ho hitanao ny fomba fiasa ao amin'ny GitHub. Ary afaka mandroso amin'ny fiheverana ianao, raha te-hanomboka fotsiny ianao dia afaka manomboka amin'ny Torolàlana fanombohana haingana.

Raha te-hahatakatra amin'ny antsipiriany ianao, dia miezaka ny mitazona ny antontan-taratasy amin'ny endrika mendrika kokoa na latsaka.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha isika hanomboka amin'ny olana azo ampiharina. Ny asa voalohany tiantsika hatomboka dia ny fampandehanana ny ohatra voalohany amin'ny fomba ahoana. Ahoana no hanombohana ClickHouse miaraka amin'ny fanampian'ny mpandraharaha iray, nefa tsy mahafantatra akory ny fomba fiasany? Manoratra manifesto izahay, satria Ny fifandraisana rehetra amin'ny k8s dia fifandraisana amin'ny alàlan'ny manifests.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ity misy manifesto sarotra toy izany. Ny nasongadinay tamin'ny mena no tokony hifantohantsika. Mangataka ny mpandraharaha izahay mba hamorona cluster antsoina hoe demo.

Amin'izao fotoana izao dia ohatra fototra ireo. Tsy mbola voalaza ny fitehirizana, fa hiverina amin'ny fitahirizana isika aoriana kely. Amin'izao fotoana izao, hojerentsika ny fivoaran'ny cluster amin'ny dinamika.

Namorona ity manifesto ity izahay. Mamelona azy amin'ny mpandraharaha anay izahay. Niasa izy, nanao mazia.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mijery ny console izahay. Singa telo no mahaliana - ireo dia Pod, Service-a roa, StatefulSet.

Niasa ilay opérateur, ary hitantsika hoe inona marina no noforoniny.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mamorona zavatra toy izao izy. Manana StatefulSet, Pod, ConfigMap izahay ho an'ny kopia tsirairay, ConfigMap ho an'ny cluster manontolo. Ilaina ny serivisy ho toy ny teboka fidirana amin'ny cluster.

Ny serivisy dia ny serivisy Load Balancer foibe ary azo atao amin'ny kopia tsirairay, isaky ny shard.

Ity ny kluster fototra misy antsika toa izao. Avy amin'ny node tokana izy.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Aleo mandroso kokoa fa hanasarotra. Mila manaparitaka ny cluster ianao.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mitombo ny asantsika, manomboka ny dinamika. Te-hanampy sombin-javatra izahay. Manaraka ny fivoarana isika. Ovainay ny famaritanay. Asehoy fa mila shards roa izahay.

Io ihany no rakitra izay novolavolainay mavitrika miaraka amin'ny fitomboan'ny rafitra. Tsy misy fitehirizana, fitahirizana no horesahina bebe kokoa, olana mitokana io.

Mamahana ny mpandraharaha YAML izahay ary mahita izay mitranga.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nieritreritra sy nanao ireto sampana manaraka ireto ny mpandraharaha. Efa manana Pod roa izahay, Serivisy telo ary, tampoka, 2 StatefulSets. Nahoana no 2 StatefulSets?

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Sahala amin'ity eo amin'ny kisary ity - ity no toe-tany voalohany, rehefa nanana pod iray izahay.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Lasa toy izao izany. Hatreto aloha dia tsotra daholo ny zava-drehetra, efa nadika.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary nahoana no lasa roa ny StatefulSet? Eto isika dia mila miala sasatra sy miresaka momba ny fomba fitantanana ny Pod ao amin'ny Kubernetes.

Misy zavatra toy izany antsoina hoe StatefulSet, izay ahafahanao manao andian-Pods avy amin'ny môdely. Ny antony fototra eto dia ny Template. Ary afaka mihazakazaka Pods maro ianao ao anaty StatefulSet iray araka ny maodely iray. Ary ny fehezanteny manan-danja eto dia "modely iray many Pods".

Ary nisy fakam-panahy lehibe nanao ny cluster manontolo, nameno azy ho StatefulSet iray. Hahomby io, tsy misy olana ao. Saingy misy fampitandremana iray. Raha te-hanangona cluster heterogène isika, izany hoe avy amin'ny dikan-teny maromaro an'ny ClickHouse, dia manomboka ny fanontaniantsika. Eny, afaka manao fanavaozana mihodinkodina ny StatefulSet, fa any ianao dia afaka mamoaka dikan-teny vaovao, hazavao fa mila manandrana tsy mihoatra ny nodes maro ianao amin'ny fotoana iray.

Fa raha extrapolate ny asa isika ary milaza fa te-hanao cluster heterogène tanteraka ary tsy te-hiova amin'ny dikan-teny taloha ho vaovao amin'ny fampiasana fanavaozana mihodinkodina, fa te hamorona cluster heterogène fotsiny amin'ny dikan-teny samihafa. an'ny ClickHouse ary amin'ny resaka fitahirizana samihafa. Tianay, ohatra, ny hanao dika mitovy amin'ny kapila misaraka, amin'ny kapila miadana, amin'ny ankapobeny, mba hananganana cluster tsy mitovy. Ary noho ny zava-misy fa ny StatefulSet dia manao vahaolana manara-penitra amin'ny maodely iray, ka tsy misy fomba hanaovana izany.

Taorian'ny eritreritra sasany dia tapaka fa hanao toy izao izahay. Manana ny kopia tsirairay ao amin'ny StatefulSet azy manokana isika. Misy ny tsy fahampiana amin'ity vahaolana ity, saingy amin'ny fampiharana dia mameno tanteraka ny mpandraharaha. Ary misy tombony maro. Azontsika atao ny manangana cluster iray tanteraka araka izay irintsika, ohatra, izay tsy mitovy tanteraka. Noho izany, ao amin'ny cluster izay misy sombintsombiny roa miaraka amin'ny kopia iray, dia hanana 2 StatefulSets sy 2 Pods isika satria nisafidy an'io fomba io izahay noho ireo antony voalaza etsy ambony momba ny fahafahana manangana cluster heterogène.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andao hiverina amin'ny asa azo ampiharina. Ao amin'ny cluster misy antsika dia mila manamboatra mpampiasa isika, i.e. mila manao fanitsiana vitsivitsy amin'ny ClickHouse amin'ny Kubernetes ianao. Ny mpandraharaha dia manome ny fahafaha-manao rehetra amin'izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Afaka manoratra mivantana izay tadiavintsika ao amin'ny YAML isika. Ny safidy config rehetra dia sarintany mivantana avy amin'ity YAML ity mankany amin'ny configs ClickHouse, izay apetraka manerana ny cluster.

Afaka manoratra toy izao koa ianao. Ohatra iray ity. Ny tenimiafina dia azo encryption. Tena tohana avokoa ny safidy fanitsiana ClickHouse. Ity misy ohatra fotsiny.

Nozaraina ho ConfigMap ny fanamafisana cluster. Amin'ny fampiharana, ny fanavaozana ConfigMap dia tsy mitranga eo no ho eo, ka raha misy cluster lehibe, dia maka fotoana kely ny fizotran'ny fanosehana ny fanitsiana. Fa izany rehetra izany dia tena mora ampiasaina.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Manasarotra ny asa izahay. Mivoatra ny cluster. Te-hamerina angona izahay. Izany hoe efa manana shards roa isika, kopia iray avy, voarindra ny mpampiasa. Mitombo izahay ary te-hanahaka.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no ilaintsika hanaovana kopia?

Mila ZooKeeper izahay. Ao amin'ny ClickHouse, ny replication dia naorina amin'ny ZooKeeper. Ilaina ny ZooKeeper mba hananana marimaritra iraisana ny kopian'ny ClickHouse samihafa momba ny sakana data misy ny ClickHouse.

Azo ampiasaina na iza na iza ny ZooKeeper. Raha manana ZooKeeper ivelany ny orinasa iray dia azo ampiasaina izany. Raha tsy izany dia azonao atao ny mametraka avy amin'ny tahiry. Misy installer manamora izany rehetra izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary ny drafitry ny fifandraisana amin'ny rafitra iray manontolo dia mivadika ho toy izao. Manana Kubernetes ho sehatra izahay. Izy io dia manatanteraka ny fanambarana ClickHouse. ZooKeeper nolazaiko teto. Ary ny mpandraharaha dia mifandray amin'ny ClickHouse sy ZooKeeper. Izany hoe misy fifandraisana azo.

Ary izany rehetra izany dia ilaina amin'ny ClickHouse mba hamerenana amim-pahombiazana ny angona amin'ny k8s.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha hojerentsika izao ny asa, ny ho endriky ny fanehoana ny replication.

Manampy fizarana roa amin'ny manifestation-nay izahay. Ny voalohany dia ny toerana hahazoana ZooKeeper, izay mety ho ao anatin'ny Kubernetes na ivelany. Famaritana fotsiny izany. Ary manafatra kopia izahay. Ireo. mila kopia roa izahay. Amin'ny fitambarany, tokony hanana pods 4 isika amin'ny vokatra. Tsaroantsika ny momba ny fitahirizana, hiverina kely kokoa. Hira mitokana ny fitahirizana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Toy izao izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Lasa toy izao izany. Miampy dika mitovy. Ny faha-4 dia tsy nety, mino izahay fa mety ho maro izy ireo. Ary ampiana ny ZooKeeper eo amin'ny sisiny. Mihasarotra ny lamina.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary tonga ny fotoana hanampiana ny asa manaraka. Hanampy Storage Persistent izahay.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)Ho an'ny fitahirizana maharitra dia manana safidy isan-karazany izahay.

Raha mihazakazaka amin'ny mpamatsy rahona isika, ohatra, mampiasa Amazon, Google, dia misy fakam-panahy lehibe hampiasa fitahirizana rahona. Tena mety, tsara.

Ary misy safidy faharoa. Izany dia ho an'ny fitahirizana eo an-toerana, rehefa manana kapila eo an-toerana isika amin'ny node tsirairay. Sarotra kokoa ny mampihatra io safidy io, nefa mamokatra kokoa.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha hojerentsika izay ananantsika momba ny fitahirizana rahona.

Misy tombony. Tena mora ny manamboatra azy. Manafatra fotsiny amin'ny mpanome rahona izahay azafady mba omeo fitahirizana an'izao sy izao, kilasy izao sy izao. Ny kilasy dia nolokoin'ny mpamatsy tsy miankina.

Ary misy lesoka. Ho an'ny sasany dia lesoka tsy misy fanakianana izany. Mazava ho azy fa hisy overlay fampisehoana. Tena mora ampiasaina, azo ianteherana, saingy misy ny mety hitranga amin'ny fampisehoana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary hatramin'izay ClickHouse dia mifantoka amin'ny zava-bita, azonao atao mihitsy aza ny milaza fa manindry izay rehetra azo atao, ka maro ny mpanjifa miezaka manindry ny fampisehoana ambony indrindra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary mba hahazoana tombony betsaka amin'izany dia mila fitahirizana eo an-toerana isika.

Kubernetes dia manome abstractions telo amin'ny fampiasana fitahirizana eo an-toerana ao amin'ny Kubernetes. ity:

  • EmptyDir
  • HostPath.
  • Local

Diniho ny maha-samihafa azy ireo, ny fomba itovizan’izy ireo.

Voalohany, amin'ny fomba telo rehetra, manana fitahirizana isika - ireo dia kapila eo an-toerana izay hita ao amin'ny node k8s ara-batana mitovy. Misy fahasamihafana anefa izy ireo.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha isika hanomboka amin'ny tsotra indrindra, izany hoe emptyDir. Inona izany amin'ny fampiharana? Izahay no mangataka ny rafitra containerization (matetika Docker) avy amin'ny famaritanay mba hanomezana anay ny fidirana amin'ny lahatahiry amin'ny kapila eo an-toerana.

Amin'ny fampiharana, ny docker dia mamorona lahatahiry vonjimaika any amin'ny toerana misy azy manokana, miantso azy io ho hash lava. Ary manome interface tsara hidirana azy.

Ahoana no hataony amin'ny lafiny fampisehoana? Izany dia hihazakazaka amin'ny hafainganam-pandehan'ny kapila eo an-toerana, i.e. ity dia fidirana feno amin'ny visy.

Saingy manana ny tsy fahampiana ity tranga ity. Ny fikirizana amin'ity tranga ity dia somary mampiahiahy. Amin'ny hetsika voalohany ataon'ny docker miaraka amin'ny kaontenera dia very ny Persistent. Raha te hamindra ity Pod ity amin'ny kapila hafa noho ny antony iray i Kubernetes, dia ho very ny angona.

Ity fomba fiasa ity dia tsara amin'ny fitsapana, satria efa mampiseho ny hafainganam-pandeha ara-dalàna, fa ity safidy ity dia tsy mety amin'ny zavatra matotra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Noho izany, misy fomba faharoa. Ity no hostPath. Raha mijery ny sary teo aloha sy ity iray ity ianao dia tsy misy afa-tsy fahasamihafana iray. Namela ny docker mivantana tamin'ny node Kubernetes ny lahatahiry. Somary haingana kokoa ny eto. Manoratra mivantana ny lalana eo amin'ny rafi-drakitra eo an-toerana izay tiantsika hitahirizana ny angonay izahay.

Manana tombony io fomba io. Ity dia efa tena Persistent, ary klasika. Ao amin'ny kapilanay, ny angona dia hosoratana amin'ny adiresy sasany.

Misy ihany koa ny fatiantoka. Izany no fahasarotan'ny fitantanana. Mety te hamindra ny Pod amin'ny node ara-batana hafa ny Kubernetes. Eto no miditra ny DevOps. Tsy maintsy manazava tsara amin'ny rafitra iray manontolo fa afaka mamindra ireo pods ireo any amin'ny node izay misy zavatra apetraka eo amin'ireo lalana ireo ianao, ary tsy mihoatra ny node iray isaky ny mandeha. Tena sarotra izany.

Indrindra ho an'ireo tanjona ireo, dia nanao môdely tao amin'ny mpandraharaha izahay mba hanafenana ireo fahasarotana rehetra ireo. Ary afaka miteny fotsiny ianao hoe: "Te-hanana ohatra iray amin'ny ClickHouse isaky ny node ara-batana sy amin'ny lalana toy izany aho."

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Saingy tsy ho antsika ihany izany filàna izany, ka ireo andriambavilanitra avy ao amin'ny Kubernetes ihany koa dia mahatakatra fa te-hiditra amin'ny kapila ara-batana ny olona, ​​ka manome ambaratonga fahatelo izy ireo.

Antsoina hoe eo an-toerana izany. Saika tsy misy fahasamihafana amin'ny slide teo aloha. Talohan'izay ihany dia ilaina ny manao tanana fa tsy afaka mamindra ireo pods ireo avy amin'ny node mankany amin'ny node, satria tsy maintsy ampifandraisina amin'ny lalana toy izany mankany amin'ny kapila ara-batana eo an-toerana izy ireo, ary ankehitriny izany fahalalana rehetra izany dia voarakitra ao amin'ny Kubernetes mihitsy. Ary hita fa mora kokoa ny manamboatra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha isika hiverina amin'ny asa azo ampiharina. Andao hiverina amin'ny môdely YAML. Eto isika dia manana fitahirizana tena izy. Miverina amin'izany isika. Nametraka ny maodely VolumeClaim mahazatra toy ny ao amin'ny k8s izahay. Ary mamaritra ny karazana fitahirizana tiana.

Aorian'izay dia hangataka fitahirizana ny k8s. Omeo anay ao amin'ny StatefulSet izany. Ary amin'ny farany dia hivoaka amin'ny alàlan'ny ClickHouse izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nanana drafitra toy izany izahay. Ny fitehirizana maharitra anay dia mena, izay toa nanamarika fa tokony hatao izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary lasa maitso. Ankehitriny ny ClickHouse amin'ny k8s cluster dia vita tanteraka. Manana shards, replicas, ZooKeeper, manana tena Persistent izahay, izay ampiharina amin'ny fomba iray na hafa. Efa miasa tanteraka ny rafitra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Mitohy hatrany ny fiainanay. Mitombo ny cluster misy antsika. Ary miezaka sy mamoaka dikan-teny vaovao an'ny ClickHouse i Aleksey.

Mipoitra ny asa azo ampiharina - hitsapana ny dikan-teny vaovao an'ny ClickHouse amin'ny cluster. Ary, mazava ho azy, tsy te-hanodina izany rehetra izany aho, te-hametraka dikan-teny vaovao any amin'ny zoro lavitra amin'ny kopia iray, na angamba tsy dikan-teny iray, fa roa indray mandeha, satria mivoaka matetika izy ireo.

Inona no azontsika lazaina momba izany?

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Eto isika dia manana fahafahana toy izany. Ireo dia pod templates. Afaka mandoko ianao, ny mpandraharaha anay dia mamela anao hanangana cluster heterogène. Ireo. configure, manomboka amin'ny kopia rehetra ao anaty bunch, mifarana amin'ny kopia manokana tsirairay, izay dikan-teny tadiavintsika ClickHouse, izay dikan-teny tadiavintsika fitahirizana. Afaka manamboatra tanteraka ny cluster amin'ny config araka izay ilainy isika.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha isika hiditra lalina kokoa. Talohan'izay, niresaka momba ny fomba fiasan'ny ClickHouse-operator mifandray amin'ny manokana ClickHouse.

Ankehitriny aho dia te-hilaza teny vitsivitsy momba ny fomba fiasan'ny mpandraharaha amin'ny ankapobeny, ary koa ny fomba ifandraisany amin'ny K8s.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Eritrereto ny fifandraisana amin'ny K8s hanombohana. Inona no mitranga rehefa mampihatra ny kubectl isika? Amin'ny alàlan'ny API, ny zavatra ataontsika dia miseho amin'ny etcd.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ohatra, ireo zavatra Kubernetes fototra: pod, StatefulSet, serivisy, sy ny sisa amin'ny lisitra.

Na izany aza, tsy mbola misy zavatra ara-batana mitranga. Ireo zavatra ireo dia tsy maintsy atao ao anaty cluster.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Eto no miditra ny controller. Ny controller dia singa k8s manokana izay afaka manatanteraka ireo famaritana ireo. Hainy ny fomba sy ny tokony hatao ara-batana. Hainy ny mampandeha kaontenera, izay tokony hamboarina ao mba hahafahan'ny server miasa.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary mampanao zavatra ny zavatra ao amin'ny K8s.

Saingy te-hiasa tsy amin'ny pods, StatefulSets ihany izahay, te-hamorona ClickHouseInstallation, izany hoe, zavatra iray amin'ny karazana ClickHouse, mba hiasa miaraka aminy manontolo. Hatreto, tsy mbola misy izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Saingy manana zavatra mahafinaritra hafa ny K8. Tianay ny hanananay sampana sarotra toy izany any amin'ny toerana iray, izay hanangonana ny cluster avy amin'ny pods sy StatefulSet.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary inona no tokony hatao amin'izany? Voalohany, miditra amin'ny sehatra ny Custom Resource Definition. Inona izany? Ity ny famaritana ho an'ny K8s fa hanana karazana data hafa tianao ampiana amin'ny pod, StatefulSet, loharano mahazatra izay ho sarotra ao anatiny. Ity dia famaritana ny firafitry ny angona.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Alefantsika any amin'ny alalan'ny kubectl apply koa. Nandray izany tamim-pifaliana i Kubernetes.

Ary ankehitriny ao amin'ny fitahirizanay, ny zavatra ao amin'ny etcd dia manana fahafahana hanoratra loharano mahazatra antsoina hoe ClickHouseInstallation.

Saingy amin'izao fotoana izao dia tsy hisy zavatra hafa hitranga. Izany hoe, raha mamorona rakitra YAML izay nodinihinay miaraka amin'ny famaritana ny shard, kopia ary miteny hoe "kubectl mihatra", dia hanaiky izany i Kubernetes, hametraka azy amin'ny etcd ary hiteny hoe: "Tsara, fa tsy fantatro. inona no hatao aminy. Tsy haiko ny fomba fikojakojana ny ClickHouseInstallation."

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Noho izany, mila olona hanampy an'i Kubernetes amin'ny karazana data vaovao izahay. Eo amin'ny ankavia, manana mpanara-maso Kubernetes stock izay miasa amin'ny karazana angona tahiry. Ary eo amin'ny ankavanana, tokony hanana mpanara-maso mahazatra isika izay afaka miasa amin'ny karazana data mahazatra.

Ary amin'ny fomba hafa dia antsoina hoe opérateur. Navoakako manokana teto ho an'ny Kubernetes, satria azo tanterahina ivelan'ny K8 ihany koa. Matetika indrindra, mazava ho azy, ny fanambarana rehetra dia tanterahina ao amin'ny Kubernetes, fa tsy misy manakana azy tsy hijoro ivelany, ka eto dia navoaka manokana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary efa, ho setrin'izany, ny mpanara-maso mahazatra, fantatra amin'ny anarana hoe operator, dia mifandray amin'ny Kubernetes amin'ny alàlan'ny API. Efa hainy ny mifandray amin'ny API. Ary efa hainy ny mamolavola drafitra sarotra izay tiantsika hatao amin'ny loharano mahazatra. Izany indrindra no ataon'ny mpandraharaha.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ahoana no fiasan'ny opérateur? Andeha hojerentsika ny ilany havanana mba hahitana ny fomba fanaony. Ho hitantsika ny fomba ahafahan'ny operatera manao izany rehetra izany ary ny fomba ifandraisan'ny K8s bebe kokoa.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny mpandraharaha dia ny programa. Miompana amin’ny hetsika izy. Ny mpandraharaha dia misoratra anarana amin'ny hetsika mampiasa ny Kubernetes API. Ny API Kubernetes dia manana toerana fidirana ahafahanao misoratra anarana amin'ny hetsika. Ary raha misy fiovana ao amin'ny K8s, dia mandefa hetsika ho an'ny rehetra i Kubernetes, i.e. izay nisoratra anarana tamin'ity teboka API ity dia hahazo fampahafantarana.

Ny mpandraharaha dia misoratra anarana amin'ny hetsika, ary tsy maintsy manao karazana fanehoan-kevitra. Ny andraikiny dia ny mamaly ireo hetsika vao misondrotra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny hetsika dia ateraky ny fanavaozana sasany. Tonga miaraka amin'ny famaritana ny ClickHouseInstallation ny rakitra YAML anay. Nandeha tany amin'ny etcd tamin'ny alàlan'ny kubectl apply izy. Nisy hetsika niasa tao, vokatr'izany, tonga tao amin'ny ClickHouse-operator ity hetsika ity. Nahazo ity famaritana ity ny mpandraharaha. Ary tsy maintsy manao zavatra izy. Raha misy fanavaozana tonga amin'ny zavatra ClickHouseInstallation, dia mila manavao ny cluster ianao. Ary ny andraikitry ny mpandraharaha dia ny fanavaozana ny cluster.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no ataony? Voalohany, mila manangana drafitra hetsika momba ny zavatra hataontsika amin'ity fanavaozana ity isika. Mety ho kely dia kely ny fanavaozana, izany hoe. kely amin'ny famonoana YAML, fa mety hitarika fiovana lehibe eo amin'ny cluster. Noho izany, ny mpandraharaha dia mamorona drafitra, ary avy eo dia manaraka izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Manomboka izy, araka ity drafitra ity, mba handrahoina ity rafitra ao anatiny ity mba hahatonga ny pods, serivisy, i.e. hanao izay tena asany. Tahaka ny fananganana cluster ClickHouse ao Kubernetes izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha isika hiresaka momba ny zavatra mahaliana toy izany. Fizarana andraikitra eo amin'i Kubernetes sy ny mpandraharaha izany, i.e. inona no ataon'i Kubernetes, inona no ataon'ny mpandraharaha, ary ahoana ny fifandraisan'izy ireo.

Kubernetes dia tompon'andraikitra amin'ny zavatra rafitra, i.e. ho an'ny fitambaran-javatra fototra izay azo adika ho sehatra-rafitra. Hain'i Kubernetes ny fanombohana pods, ny fomba hamerenana indray ny kaontenera, ny fomba fanaovana mount volumes, ny fomba fiasa amin'ny ConfigMap, i.e. izay rehetra azo antsoina hoe rafitra.

Ny mpandraharaha dia miasa amin'ny sehatry ny lohahevitra. Ny mpandraharaha tsirairay dia natao ho an'ny faritra misy azy. Natao ho an'ny ClickHouse.

Ary ny mpandraharaha dia mifandray tsara amin'ny sehatry ny lohahevitra, toy ny fampidirana kopia, fanaovana drafitra, fametrahana fanaraha-maso. Misy fisarahana toy izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andeha hojerentsika ny ohatra azo ampiharina amin'ny fisehoan'ity fisarahan'ny ahiahy ity rehefa manao hetsika fanampiny dika mitovy isika.

Ny asa dia tonga amin'ny mpandraharaha - mba hanampy dika mitovy. Inona no ataon'ny mpandraharaha? Ny mpandraharaha dia hanao kajy fa ilaina ny manao StatefulSet vaovao, izay ilaina ny mamaritra ny modely toy izany sy toy izany, fitakiana volume.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nanomana izany rehetra izany izy ary nampita izany tamin'ny K8. Nilaza izy fa mila ConfigMap, StatefulSet, Volume. Kubernetes miasa. Izy no mamolavola ireo singa fototra iasany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary avy eo dia milalao indray ny ClickHouse-operator. Efa manana pod physique izy izay efa azonao atao. Ary ny ClickHouse-operator indray dia miasa amin'ny sehatry ny lohahevitra. Ireo. Indrindra indrindra, ClickHouse, raha te hampiditra kopia ao anaty cluster ianao, dia tsy maintsy, voalohany indrindra, manamboatra ny rafitra data misy ao amin'ity cluster ity. Ary faharoa, tsy maintsy ampidirina amin’ny fanaraha-maso izany fanamarihana izany mba ho hita mazava tsara. Efa nametraka izany ny mpandraharaha.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary rehefa afaka izany, ClickHouse mihitsy no miditra an-tsehatra, i.e. sampana ambony kokoa. Efa angon-drakitra izany. Izy io dia manana ohatra manokana, ny dika mitovy manaraka, izay vonona ny hiditra ao amin'ny cluster.

Hita fa lava ny rojo famonoana sy fisarahana andraikitra rehefa ampiana dika mitovy.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Manohy ny asa azo ampiharina izahay. Raha efa misy ny kluster dia azonao atao ny mamindra ny fandrindrana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Natao izany mba ahafahana miditra amin'ny xml efa misy, izay azon'ny ClickHouse.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Azonao atao ny manatsara ny ClickHouse. Ny fametrahana zona fotsiny no noresahiko rehefa nanazava ny hostPath, fitehirizana eo an-toerana. Toy izao ny fomba hanaovana araka ny tokony ho izy ny fametrahana faritra.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny asa azo ampiharina manaraka dia ny fanaraha-maso.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Raha miova ny cluster, dia mila manitsy tsindraindray ny fanaraha-maso.

Andeha hojerentsika ny kisary. Efa nodinihinay ny zana-tsipìka maitso eto. Andeha hojerentsika ny zana-tsipìka mena. Toy izao no tiana hanaraha-maso ny cluster. Ahoana ny fidiran'ny metrika avy amin'ny cluster ClickHouse ao amin'ny Prometheus, ary avy eo mankany amin'ny Grafana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no olana amin'ny fanaraha-maso? Nahoana izany no aseho ho karazana zava-bita? Ny fahasarotana dia ao amin'ny dinamika. Rehefa manana kluster iray isika ary static dia azonao atao ny manangana fanaraha-maso indray mandeha ary tsy manelingelina intsony.

Fa raha manana cluster be dia be isika, na misy zavatra miova tsy tapaka, dia mavitrika ny dingana. Ary ny fanaraha-maso tsy tapaka dia fandaniam-bola sy fotoana; na kamo fotsiny aza. Mila mandeha ho azy izany. Ny fahasarotana dia ao amin'ny dinamika ny dingana. Ary ny opérateur automatique tsara izany.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ahoana no nivoaran'ny cluster? Tamin'ny voalohany dia toy izany izy.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Dia toy izao izy.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Lasa toy izao izy tamin’ny farany.

Ary ny fanaraha-maso dia ataon'ny mpandraharaha ho azy. Toerana fidirana tokana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ary mijery fotsiny ny fivoahana ao amin'ny dashboard Grafana isika, ny fomba mampangotraka ny fiainan'ny cluster ao anatiny.

Raha ny tokony ho izy, ny dashboard Grafana dia zaraina miaraka amin'ny mpandraharaha anay ao amin'ny kaody loharano. Afaka mifandray sy mampiasa. Ity pikantsary ity dia nomen'ny DevOps anay.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Aiza no tiantsika haleha manaraka? ity:

  • Mamorona automatique fitsapana. Ny tena asa dia mandeha ho azy fitiliana ny dikan-vaovao.
  • Tena te-hanao automatique ny fampidirana amin'ny ZooKeeper ihany koa izahay. Ary mikasa ny hiditra amin'ny ZooKeeper-operator. Ireo. Nisy mpandraharaha iray nosoratana ho an'ny ZooKeeper, ary lojika raha manomboka mitambatra ireo mpandraharaha roa ireo mba hamoronana vahaolana mety kokoa.
  • Te-hanao fizahana fiainana sarotra kokoa izahay.
  • Nasongadiko tamin'ny maitso fa manana lova Templates eny an-dalana - VITA, izany hoe amin'ny famoahana manaraka ny mpandraharaha dia efa manana lova môdely isika. Izy io dia fitaovana mahery vaika ahafahanao manangana fanamafisana sarotra avy amin'ny ampahany.
  • Ary te-hanao ho azy ireo asa sarotra izahay. Ny tena lehibe dia ny Re-sharding.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Andao hanao valiny manelanelana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no vokany? Ary mendrika izany ve sa tsia? Mila manandrana misintona ny angon-drakitra ao amin'ny Kubernetes ve aho ary mampihatra ny opérateur amin'ny ankapobeny ary ny Opérateur Alitnity manokana.

Amin'ny vokatra dia mahazo:

  • Manatsotra sy manao ho azy ny fanamafisam-peo, fametrahana ary fikojakojana.
  • Fanaraha-maso naorina avy hatrany.
  • Ary ireo maodely voadika efa vonona ho an'ny toe-javatra sarotra. Efa ny hetsika ny karazana manampy dika mitovy dia tsy mila atao amin'ny tanana. Izany dia ataon'ny mpandraharaha.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Ny fanontaniana farany sisa tavela. Efa manana tahiry ao amin'ny Kubernetes izahay, virtoaly. Ahoana ny amin'ny fanatanterahana ny vahaolana toy izany, indrindra fa ny ClickHouse dia optimized ho an'ny fampisehoana?

Ny valiny dia tsara ny zava-drehetra! Tsy hamariparitra amin'ny antsipiriany aho fa ity no lohahevitry ny tatitra manokana.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Saingy misy tetikasa toy ny TSBS. Inona no tena asany? Ity dia fitsirihana ny fahombiazan'ny database. Ity dia fanandramana mampitaha ny mafana amin'ny mafana, malefaka ary malefaka.

Ahoana no fiasana? Angon-drakitra iray no avoaka. Avy eo dia mandeha amin'ny angon-drakitra samihafa ity angon-drakitra napetraka amin'ny andiany fitsapana ity. Ary ny angon-drakitra tsirairay dia mamaha olana iray araka izay vitany. Ary avy eo dia azonao atao ny mampitaha ny valiny.

Efa mahazaka angon-drakitra marobe izy io. Nahita ireo lehibe telo aho. ity:

  • timescaledb.
  • InfluxDB.
  • clickhouse.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Nisy fampitahana koa natao tamin’ny vahaolana hafa mitovy amin’izany. Ampitahao amin'ny RedShift. Ny fampitahana dia natao tamin'ny Amazon. ClickHouse koa dia mialoha ny rehetra amin'ity raharaha ity.

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Inona no tsoa-kevitra azo tsoahina avy amin’izay nolazaiko?

  • DB ao amin'ny Kubernetes dia azo atao. Azo inoana fa afaka manao na inona na inona ianao, fa amin'ny ankapobeny dia toa vitanao izany. Ny ClickHouse ao amin'ny Kubernetes dia azo atao tokoa miaraka amin'ny fanampian'ny mpandraharaha anay.
  • Ny mpandraharaha dia manampy amin'ny automatique ny fizotrany ary tena manatsotra ny fiainana.
  • Normal ny fampisehoana.
  • Ary, toa antsika fa azo ampiasaina sy tokony hampiasaina izany.

Open source - hiaraka aminay!

Araka ny nolazaiko dia vokatra open source tanteraka ny mpandraharaha, ka tena tsara raha be indrindra ny isan'ny olona mampiasa azy. Midira izao! Miandry anareo rehetra izahay!

Misaotra antsika rehetra!

Ny fanontanianao

Mpampiasa ao amin'ny Kubernetes amin'ny fitantanana ny clusters database. Vladislav Klimenko (Altinity, 2019)

Misaotra tamin'ny tatitra! Anton no anarako. Avy amin'ny SEMrush aho. Manontany tena aho hoe inona no mitranga amin'ny logging. Mandre momba ny fanaraha-maso isika, fa tsy misy momba ny fitrandrahana, raha miresaka momba ny cluster manontolo. Ohatra, manana cluster amin'ny hardware izahay. Ary mampiasa logging afovoany izahay, manangona azy amin'ny antontam-bary amin'ny fomba mahazatra. Ary avy eo dia mahazo angona mahaliana antsika.

Fanontaniana tsara, izany hoe miditra ao amin'ny lisitry ny todo. Tsy mbola manao automatique an'izany ny mpandraharaha anay. Mbola mivoatra izany, mbola kely ny tetikasa. Fantatsika ny ilana ny fanaovana logging. Lohahevitra tena manan-danja ihany koa io. Ary angamba tsy latsa-danja noho ny fanaraha-maso. Fa ny voalohany amin'ny lisitra ho fampiharana dia ny fanaraha-maso. Hisy ny logging. Mazava ho azy fa miezaka manao automatique ny lafiny rehetra amin'ny fiainan'ny cluster izahay. Noho izany, ny valiny dia amin'izao fotoana izao ny mpandraharaha, indrisy, tsy mahalala ny fomba hanaovana izany, fa ao amin'ny drafitra, dia hanao izany. Raha te-hiditra ianao dia misintona fangatahana, azafady.

Salama! Misaotra tamin'ny tatitra! Manana fanontaniana mahazatra mifandraika amin'ny Persistent Volumes aho. Rehefa mamorona rindrankajy miaraka amin'ity operator ity isika, ahoana no amaritan'ny operatera ny node ananantsika kapila na lahatahiry? Tsy maintsy hazavaina aminy aloha fa, azafady, apetraho amin'ireo node misy kapila ireo ny ClickHouse?

Raha ny fahazoako azy, ity fanontaniana ity dia fitohizan'ny fitahirizana eo an-toerana, indrindra ny ampahany amin'ny hostPath. Toy ny manazava amin'ny rafitra iray manontolo fa ilaina ny fandefasana ny pod amin'ny node toy izany, izay misy kapila mifandray ara-batana, izay apetraka amin'ny lalana toy izany. Fizarana iray manontolo nokasihiko an-kolaka, satria ny valiny ao dia lehibe.

Raha fintinina dia toa izao. Mazava ho azy fa mila manao vatsy ireo boky ireo isika. Amin'izao fotoana izao, tsy misy famatsiana mavitrika amin'ny fitahirizana eo an-toerana, noho izany dia tsy maintsy manapaka ny kapila ny DevOps, ireto ny boky ireto. Ary tsy maintsy manazava ny famatsiana Kubernetes izy ireo, fa hanana boky maharitra ianao amin'ny kilasy toy izany sy izany, izay hita eo amin'ny nodes toy izany sy izany. Avy eo dia ilaina ny manazava amin'ny Kubernetes fa ny pods izay mitaky kilasy fitahirizana eo an-toerana toy izany dia tsy maintsy alamina araka ny etikety ho an'ny node toy izany sy izany. Ho an'ireo tanjona ireo, ny mpandraharaha dia manana fahafahana manendry karazana marika sy iray isaky ny ohatra mpampiantrano. Ary hita fa ny pods dia hotarihin'ny Kubernetes mba hihazakazaka amin'ny nodes izay mahafeno ny fepetra takiana, etikety, amin'ny teny tsotra. Ny mpitantana dia manendry etikety, manao fanomezana kapila amin'ny tanana. Ary avy eo dia mizana.

Ary ny safidy fahatelo eo an-toerana ihany no manampy amin'ny fanamorana kely. Araka ny efa nohamafisiko, dia asa mafy amin'ny fanamafisam-peo izany, izay manampy amin'ny farany hahazoana fampisehoana ambony indrindra.

Manana fanontaniana faharoa mifandraika amin'izany aho. Ny Kubernetes dia noforonina tamin'ny fomba izay tsy mampaninona antsika na very node isika na tsia. Inona no tokony hataontsika amin'ity tranga ity raha very ny node izay ananantsika shard?

Eny, nipetraka tany am-boalohany i Kubernetes fa toy ny omby ny fifandraisantsika amin'ny pods, fa eto ny kapila tsirairay dia lasa toy ny biby fiompy. Misy ny olana ka tsy azontsika ariana fotsiny. Ary ny fivoaran'ny Kubernetes dia mandeha amin'ny lalana izay tsy azo atao ny mitondra azy tanteraka amin'ny filozofia, ho toy ny loharanon-karena nariana tanteraka.

Fanontaniana azo ampiharina izao. Inona no tokony hatao raha very ny node nisy ny kapila? Eto dia voavaha amin'ny ambaratonga ambony ny olana. Raha ny momba ny ClickHouse, dia manana kopia miasa amin'ny ambaratonga ambony kokoa izahay, i.e. amin'ny ambaratonga ClickHouse.

Inona ny toetra? DevOps dia tompon'andraikitra amin'ny fiantohana fa tsy very ny angona. Tsy maintsy mametraka araka ny tokony ho izy ny replication ary tsy maintsy miantoka fa mandeha ny replication. Ao amin'ny dika mitovy amin'ny haavon'ny ClickHouse, ny angon-drakitra dia tsy maintsy adika. Tsy io no asa voavahan'ny mpandraharaha. Ary tsy ny asa vitan'i Kubernetes mihitsy. Izany dia eo amin'ny ambaratonga ClickHouse.

Inona no tokony hatao raha lavo ny node vy? Ary hita fa ilaina ny mametraka ny faharoa, mamindra tsara ny kapila eo aminy, mampihatra labels. Ary aorian'izay dia hahafeno ny fepetra takian'ny Kubernetes eo aminy izy afaka manao ohatra amin'ny pod. Hanokatra izany i Kubernetes. Tsy ampy amin'ilay voatondro ny isan'ny pods anao. Handeha amin'ny tsingerina nasehoko izany. Ary amin'ny ambaratonga ambony indrindra dia ho takatry ny ClickHouse fa manana kopia niditra izahay, mbola foana ary mila manomboka mamindra angon-drakitra mankany aminy. Ireo. ity dingana ity dia mbola tsy mandeha ho azy.

Misaotra tamin'ny tatitra! Rehefa mitranga ny karazana zava-dratsy rehetra dia mianjera ny mpandraharaha ary manomboka indray, ary amin'izay fotoana izay dia tonga ny zava-mitranga, manao izany ve ianao?

Inona no mitranga raha mianjera ny mpandraharaha ary manomboka indray, eny?

Eny. Ary tamin'izay fotoana izay dia tonga ny zava-nitranga.

Ny asan'ny zavatra tokony hatao amin'ity tranga ity dia mizara ampahany amin'ny mpandraharaha sy Kubernetes. Ny Kubernetes dia manana fahafahana mamerina hetsika iray izay nitranga. Mamerina izy. Ary ny andraikitry ny mpandraharaha dia ny manao izay hahazoana antoka fa rehefa naverina naverina teo aminy ny diarin'ny hetsika, dia tsy misy dikany ireo hetsika ireo. Ary mba tsy handrava ny rafitra ho antsika ny fiverenan'ny hetsika mitovy. Ary ny mpandraharahanay dia miatrika io asa io.

Salama! Misaotra tamin'ny tatitra! Dmitry Zavialov, orinasa Smedov. Mikasa ny hampiditra safidy fanamboarana amin'ny haproxy amin'ny mpandraharaha? Misy mpifandanja hafa mahaliana ankoatry ny mahazatra, mba ho hendry sy hahatakatra fa tena misy ny ClickHouse.

Ingress ve no resahinao?

Eny, soloy haproxy ny Ingress. Ao amin'ny haproxy, azonao atao ny mamaritra ny topologie cluster izay misy azy replika.

Hatreto, tsy mbola nieritreritra an’izany izahay. Raha mila izany ianao ary afaka manazava ny antony ilana azy, dia azo atao ny mampihatra izany, indrindra raha te handray anjara ianao. Ho faly izahay handinika ny safidy. Ny valiny fohy dia tsia, tsy manana fiasa toy izany isika amin'izao fotoana izao. Misaotra amin'ny toro-hevitra, hojerentsika ity. Ary raha hazavainao koa ny tranga fampiasana sy ny antony ilaina amin'ny fampiharana, ohatra, mamorona olana amin'ny GitHub, dia ho tsara izany.

Efa.

tsara. Misokatra amin'ny soso-kevitra rehetra izahay. Ary apetraka amin'ny lisitry ny todo ny haproxy. Mitombo ny lisitry ny todo, tsy mbola mihena. Saingy tsara izany, midika izany fa ilaina ny vokatra.

Source: www.habr.com

Add a comment