Андозаи мувофиқро барои кластери Кафка дар Кубернетес муайян кунед

Шарҳ. тарҷума.: Дар ин мақола, Banzai Cloud як мисолеро нақл мекунад, ки чӣ гуна асбобҳои фармоишии он барои осон кардани истифодаи Кафка дар дохили Кубернетес истифода мешаванд. Дастурҳои зерин нишон медиҳанд, ки чӣ гуна шумо метавонед андозаи оптималии инфрасохтори худро муайян кунед ва худи Кафкаро барои ноил шудан ба қобилияти зарурӣ танзим кунед.

Apache Kafka як платформаи ҷараёнҳои тақсимшуда барои эҷоди системаҳои ҷараёнҳои вақти воқеӣ боэътимод, миқёспазир ва баландсифат мебошад. Қобилиятҳои таъсирбахши онро метавон бо истифода аз Kubernetes васеъ кард. Барои ин мо инкишоф додем Оператори кушодаасос Кафка ва асбобе ном дорад Supertube. Онҳо ба шумо имкон медиҳанд, ки Кафкаро дар Kubernetes идора кунед ва хусусиятҳои гуногуни онро истифода баред, ба монанди танзими дақиқи конфигуратсияи брокер, миқёси метрикӣ бо азнавсозӣ, огоҳии раф, "нарм" (шарафона) паҳн кардани навсозиҳо ва ғайра.

Supertubes -ро дар кластери худ санҷед:

curl https://getsupertubes.sh | sh и supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Ё тамос гиред хуччатхо. Шумо инчунин метавонед дар бораи баъзе имкониятҳои Кафка хонед, ки кор бо он бо истифода аз Supertubes ва оператори Кафка автоматӣ карда мешавад. Мо аллакай дар бораи онҳо дар блог навиштаем:

• Оҳ не! Боз як оператори дигари Кафка барои Кубернетес;
• Кафкаро дар асоси ченакҳои Prometheus назорат ва идора кунед;
• Огоҳӣ дар бораи Кафка дар Кубернетес;
• Иҷрои Apache Kafka бар Istio - бенчмарк;
• Корбар таснифшуда ва дастрасӣ ба кластерҳои назоратшаванда бо оператори Кафка;
• Навсозӣ ва конфигуратсияи динамикӣ дар Kubernetes Кафка;
• Филтри протоколи фиристодаи Кафка, meshed.

Вақте ки шумо тасмим гирифтед, ки кластери Кафкаро дар Kubernetes ҷойгир кунед, шумо эҳтимол бо мушкилоти муайян кардани андозаи оптималии инфрасохтори асосӣ ва зарурати танзими конфигуратсияи Кафка барои қонеъ кардани талаботи интиқол дучор мешавед. Фаъолияти максималии ҳар як брокер бо иҷрои ҷузъҳои асосии инфрасохтор, ба монанди хотира, протсессор, суръати диск, фарохмаҷрои шабака ва ғайра муайян карда мешавад.

Идеалӣ, конфигуратсияи брокер бояд тавре бошад, ки ҳамаи унсурҳои инфрасохтор то ҳадди имкон қобилиятҳои худ истифода шаванд. Аммо, дар ҳаёти воқеӣ ин танзимот хеле мураккаб аст. Эҳтимол дорад, ки корбарон брокерҳоро барои ҳадди аксар истифодаи як ё ду ҷузъ (диск, хотира ё протсессор) танзим кунанд. Умуман, брокер иҷрои ҳадди аксарро нишон медиҳад, вақте ки конфигуратсияи он имкон медиҳад, ки ҷузъи сусттарин то ҳадди аксар истифода шавад. Бо ин роҳ, мо метавонем тасаввуроти дағалона дар бораи сарборе, ки як брокер метавонад онро ҳал кунад, ба даст орем.

Аз ҷиҳати назариявӣ, мо инчунин метавонем шумораи брокерҳоеро, ки барои коркарди сарбории додашуда заруранд, ҳисоб кунем. Бо вуҷуди ин, дар амал имконоти зиёди конфигуратсия дар сатҳҳои гуногун мавҷуданд, ки арзёбии иҷрои эҳтимолии конфигуратсияи мушаххас хеле душвор аст (агар имконнопазир бошад). Ба ибораи дигар, банақшагирии конфигуратсия дар асоси баъзе иҷрои корҳо хеле душвор аст.

Барои корбарони Supertubes, мо одатан чунин равишро истифода мебарем: мо бо баъзе конфигуратсияҳо (инфрасохтор + танзимот) оғоз мекунем, пас иҷрои онро чен мекунем, танзимоти брокерро танзим мекунем ва равандро дубора такрор мекунем. Ин то он даме, ки қисми сусттарини инфрасохтор пурра истифода шавад, рӯй медиҳад.

Бо ин роҳ, мо тасаввуроти возеҳтар дар бораи он, ки кластер барои идора кардани сарбории муайян чанд брокер лозим аст (шумораи брокерҳо инчунин аз омилҳои дигар вобаста аст, ба монанди шумораи ҳадди ақали репликаҳои паёмӣ барои таъмини устуворӣ, шумораи қисмҳо). рохбарон ва гайра). Илова бар ин, мо дарк мекунем, ки кадом ҷузъҳои инфрасохтор миқёси амудиро талаб мекунанд.

Ин мақола дар бораи қадамҳое, ки мо барои ба даст овардани самараи бештари ҷузъҳои сусттарин дар конфигуратсияҳои ибтидоӣ ва чен кардани қобилияти кластери Кафка андешидаем, сӯҳбат хоҳад кард. Конфигуратсияи хеле устувор ҳадди аққал се брокери коркунандаро талаб мекунад (min.insync.replicas=3), дар се минтақаи дастрасии гуногун тақсим карда шудааст. Барои танзим, миқёс ва мониторинги инфрасохтори Kubernetes, мо платформаи идоракунии контейнерҳои худро барои абрҳои гибридӣ истифода мебарем - Борбадозии. Он дар дохили бино (метали луч, VMware) ва панҷ намуди абрҳо (Alibaba, AWS, Azure, Google, Oracle) ва инчунин ҳама гуна омезиши онҳоро дастгирӣ мекунад.

Андешаҳо дар бораи инфрасохтори кластери Кафка ва конфигуратсия

Барои мисолҳои дар поён овардашуда, мо AWS-ро ҳамчун провайдери абрӣ ва EKS-ро ҳамчун тақсимоти Kubernetes интихоб кардем. Конфигуратсияи шабеҳро бо истифода аз он амалӣ кардан мумкин аст P.K.E. - Тақсимоти Kubernetes аз Banzai Cloud, ки аз ҷониби CNCF тасдиқ шудааст.

диск

Amazon пешниҳодҳои гуногунро пешниҳод мекунад Намудҳои ҳаҷми EBS. Дар асл gp2 и io1 дискҳои SSD вуҷуд дорад, аммо барои таъмини гузариши баланд gp2 кредитхои чамъшударо истеъмол мекунад (Кредитҳои I/O), аз ин рӯ мо навъи онро афзалтар донистем io1, ки интиқоли доимии баландро пешниҳод мекунад.

Намудҳои мисол

Фаъолияти Кафка аз кэши саҳифаи системаи оператсионӣ хеле вобаста аст, бинобар ин ба мо мисолҳое лозиманд, ки хотираи кофӣ барои брокерҳо (JVM) ва кэши саҳифа доранд. Мисол c5.2x калон - оғози хуб, зеро он дорои хотираи 16 ГБ ва барои кор бо EBS оптимизатсия карда шудааст. Камбудии он дар он аст, ки он танҳо қодир аст, ки ҳадди аксарро дар ҳар 30 соат на бештар аз 24 дақиқа таъмин кунад. Агар сарбории кори шумо иҷрои баландтаринро дар тӯли муддати тӯлонӣ талаб кунад, шумо метавонед намудҳои дигари мисолҳоро баррасӣ кунед. Ин маҳз ҳамон чизест, ки мо таваққуф кардем c5.4x калон. Он ҳадди аксар интиқолро таъмин мекунад 593,75 Мбит/с. Ҳаҷми максималии интиқоли ҳаҷми EBS io1 нисбат ба мисол баландтар аст c5.4x калон, аз ин рӯ, сусттарин унсури инфрасохтор эҳтимолан интиқоли вуруд / баромади ин навъи мисол бошад (ки санҷишҳои сарбории мо низ бояд тасдиқ кунанд).

Шабака

Гузаронидани шабака дар муқоиса бо иҷрои инстансияи VM ва диск бояд ба қадри кофӣ калон бошад, вагарна шабака монеа мешавад. Дар ҳолати мо, интерфейси шабака c5.4x калон суръати то 10 Гб/с-ро дастгирӣ мекунад, ки ин нисбат ба интиқоли вуруд/Хори як мисоли VM хеле баландтар аст.

Ҷойгиркунии брокер

Брокерҳо бояд дар гиреҳҳои ҷудошуда ҷойгир карда шаванд (дар Kubernetes ба нақша гирифта шудаанд) барои пешгирӣ кардани рақобат бо равандҳои дигар барои CPU, хотира, шабака ва захираҳои диск.

Версияи Java

Интихоби мантиқӣ Java 11 аст, зеро он бо Docker мувофиқ аст, ба он маъно, ки JVM протсессорҳо ва хотираи дастрасро барои контейнере, ки брокер дар он кор мекунад, дуруст муайян мекунад. Донистани он, ки маҳдудиятҳои CPU муҳиманд, JVM ба таври дохилӣ ва шаффоф шумораи риштаҳои GC ва риштаҳои JIT-ро муқаррар мекунад. Мо тасвири Кафкаро истифода мебарем banzaicloud/kafka:2.13-2.4.0, ки версияи Кафкаро дар бар мегирад 2.4.0 (Scala 2.13) дар Java 11.

Агар шумо хоҳед, ки дар бораи Java/JVM дар Kubernetes маълумоти бештар гиред, паёмҳои зерини моро санҷед:

• Чаро барномаи Java-и ман OOMKilled аст;
• Чӣ тавр дуруст андозагирии контейнерҳо барои барномаҳои Java 10.

Танзимоти хотираи брокер

Барои танзими хотираи брокер ду ҷанбаи калидӣ вуҷуд дорад: танзимот барои JVM ва pod Kubernetes. Маҳдудияти хотираи муқарраршуда барои подк бояд аз андозаи ҳадди ниҳоии теппа зиёд бошад, то ки JVM барои метафазои Java, ки дар хотираи худ ҷойгир аст ва барои кэши саҳифаи системаи оператсионӣ, ки Кафка фаъолона истифода мебарад, ҷой дошта бошад. Дар озмоишҳои худ мо брокерҳои Кафкаро бо параметрҳо оғоз кардем -Xmx4G -Xms2G, ва маҳдудияти хотира барои pod буд 10 Gi. Лутфан қайд кунед, ки танзимоти хотира барои JVM метавонад ба таври худкор бо истифода аз даст -XX:MaxRAMPercentage и -X:MinRAMPercentage, дар асоси маҳдудияти хотира барои pod.

Танзимоти протсессори брокер

Умуман, шумо метавонед бо зиёд кардани параллелизм тавассути зиёд кардани шумораи риштаҳои аз ҷониби Кафка истифодашаванда корҳоро беҳтар кунед. Чӣ қадаре ки протсессори бештар барои Кафка дастрас бошад, ҳамон қадар беҳтар аст. Дар озмоиши мо, мо бо маҳдудияти 6 протсессори худ оғоз кардем ва тадриҷан (тавассути такрорӣ) шумораи онҳоро ба 15 расондем. Илова бар ин, мо муқаррар кардем. num.network.threads=12 дар танзимоти брокер барои зиёд кардани шумораи риштаҳое, ки маълумотро аз шабака мегиранд ва ирсол мекунанд. Дарҳол фаҳмиданд, ки брокерҳои пайрав наметавонанд репликаҳоро ба қадри кофӣ ба даст оранд, онҳо баланд шуданд num.replica.fetchers ба 4 барои баланд бардоштани суръате, ки брокерҳои пайрав паёмҳои пешвоёнро такрор мекунанд.

Воситаи тавлиди бор

Шумо бояд боварӣ ҳосил кунед, ки генератори сарбории интихобшуда то ба ҳадди сарбории худ расидан кластери Кафка (ки мавриди санҷиш қарор дода мешавад) тамом нашавад. Ба ибораи дигар, зарур аст, ки баҳодиҳии пешакии қобилиятҳои асбоби тавлиди сарборӣ, инчунин интихоби навъҳои мисол барои он бо миқдори кофии протсессорҳо ва хотира. Дар ин ҳолат, асбоби мо нисбат ба кластери Кафка метавонад сарбории бештареро тавлид кунад. Пас аз таҷрибаҳои зиёд мо дар се нусха қарор гирифтем c5.4x калон, ки дар хар кадоми онхо генератор кор мекард.

Бенчмаркинг

Андозагирии самаранокӣ як раванди такрорист, ки марҳилаҳои зеринро дар бар мегирад:

• таъсиси инфрасохтор (кластери EKS, кластери Кафка, асбоби тавлиди бор, инчунин Prometheus ва Grafana);
• тавлиди сарборӣ барои як давраи муайян барои филтр кардани инҳирофҳои тасодуфӣ дар нишондиҳандаҳои ҷамъоварӣ;
• тасҳеҳи инфрасохтор ва конфигуратсияи брокер дар асоси нишондиҳандаҳои фаъолияти мушоҳидашуда;
• такрор кардани раванд то ба даст овардани сатҳи зарурии интиқоли кластери Кафка. Дар айни замон, он бояд пайваста такроршаванда бошад ва тағиротҳои ҳадди ақали интиқолро нишон диҳад.

Фасли навбатӣ қадамҳоеро тавсиф мекунад, ки дар ҷараёни муқоисаи кластери тестӣ иҷро карда шуданд.

Tools

Воситаҳои зерин барои зуд ҷойгир кардани конфигуратсияи асосӣ, тавлиди сарборӣ ва чен кардани иҷроиш истифода шуданд:

• лӯлаи абрии Banzai барои ташкили кластери EKS аз Amazon в Prometheus (барои ҷамъоварии Кафка ва метрикаи инфрасохтор) ва Графана (барои дидани ин нишондиҳандаҳо). Мо бартарй гирифтем муттаҳид карда шудааст в Борбадозии хидматҳое, ки мониторинги федератсия, ҷамъоварии мутамаркази гузоришҳо, сканкунии осебпазирӣ, барқарорсозии офатҳои табиӣ, амнияти сатҳи корхона ва ғайраро таъмин мекунанд.
• Сангренел — асбоб барои санҷиши сарбории кластери Кафка.
• Панелҳои графикии Grafana барои визуализатсияи метрика ва инфрасохтори Кафка: Кубернетес Кафка, Содиркунандаи гиреҳ.
• Supertubes CLI барои роҳи осонтарини таъсиси кластери Кафка дар Кубернетес. Zookeeper, оператори Кафка, Envoy ва бисёр ҷузъҳои дигар насб карда шудаанд ва дуруст танзим карда шудаанд, то кластери ба истеҳсоли омодаи Кафка дар Kubernetes идора карда шаванд.
  • Барои насб supertubes CLI дастурҳои пешниҳодшударо истифода баред дар ин ҷо.

Кластери EKS

Кластери EKS-ро бо гиреҳҳои махсуси коргарӣ омода кунед c5.4x калон дар минтақаҳои гуногуни дастрас барои pods бо брокерҳои Кафка, инчунин гиреҳҳои махсус барои генератори сарборӣ ва инфрасохтори мониторинг.

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Пас аз он ки кластери EKS фаъол ва кор мекунад, ҳамгироии онро фаъол созед хадамоти мониторинг - вай Прометей ва Графанаро дар кластер ҷойгир мекунад.

Қисмҳои системаи Кафка

Компонентҳои системаи Кафка (Zookeeper, kafka-operator) дар EKS бо истифода аз supertubes CLI насб кунед:

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Кластери Кафка

Бо нобаёнӣ, EKS ҳаҷми EBS-ро истифода мебарад gp2, бинобар ин ба шумо лозим аст, ки дар асоси ҳаҷмҳо синфи нигаҳдории алоҳида эҷод кунед io1 барои кластери Кафка:

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

Параметрро барои брокерҳо таъин кунед min.insync.replicas=3 ва ҷобаҷогузории брокерҳо дар гиреҳҳо дар се минтақаи дастрасии гуногун:

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Мавзӯъҳо

Мо се мисоли генератори боркуниро дар як вақт иҷро кардем. Ҳар яки онҳо ба мавзӯи худ менависанд, яъне ба мо дар маҷмӯъ се мавзӯъ лозим аст:

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Барои ҳар як мавзӯъ, омили такрорӣ 3 аст - арзиши ҳадди ақали тавсияшаванда барои системаҳои истеҳсолии дастрас.

Воситаи тавлиди бор

Мо се нусхаи генератори боркуниро ба кор андохтаем (ҳар яки онҳо дар мавзӯи алоҳида навишта шудаанд). Барои қуттиҳои генератори сарборӣ, шумо бояд наздикии гиреҳро муқаррар кунед, то онҳо танҳо дар гиреҳҳои барои онҳо ҷудошуда ба нақша гирифта шаванд:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

Чанд нуктаро бояд қайд кард:

• Генератори сарборӣ паёмҳои дарозии 512 байт тавлид мекунад ва онҳоро дар порчаҳои 500 паём ба Кафка нашр мекунад.
• Истифодаи аргумент -required-acks=all Нашр вақте бомуваффақият ҳисобида мешавад, ки ҳама нусхаҳои ҳамоҳангшудаи паём аз ҷониби брокерҳои Кафка қабул ва тасдиқ карда шаванд. Ин маънои онро дорад, ки мо дар ин нишондиҳанда на танҳо суръати қабули пешвоён, балки пайравони онҳоро низ чен кардем, ки паёмҳоро такрор мекунанд. Ҳадафи ин санҷиш баҳодиҳии суръати хондани истеъмолкунандагон нест (истеъмолкунандагон) паёмҳои ба наздикӣ гирифташуда, ки то ҳол дар кэши саҳифаи ОС боқӣ мемонанд ва муқоисаи он бо суръати хондани паёмҳои дар диск нигоҳ дошташуда.
• Генератори сарборӣ 20 коргарро дар баробари кор мекунад (-workers=20). Ҳар як коргар 5 истеҳсолкунандаро дар бар мегирад, ки пайвастагии коргарро бо кластери Кафка мубодила мекунанд. Дар натиҷа, ҳар як генератор 100 истеҳсолкунанда дорад ва ҳамаи онҳо ба кластери Кафка паём мефиристанд.

Мониторинги саломатии кластер

Ҳангоми санҷиши сарбории кластери Кафка, мо инчунин вазъи саломатии онро назорат кардем, то боварӣ ҳосил кунем, ки ҳеҷ гуна дубора оғозёбӣ, такрори ҳамоҳангнашуда ва интиқоли ҳадди аксар бо тағирёбии ҳадди ақал вуҷуд надошта бошад:

• Генератори сарборӣ омори стандартиро дар бораи шумораи паёмҳои нашршуда ва сатҳи хатогиҳо менависад. Сатҳи хатогиҳо бояд бетағйир боқӣ монанд 0,00%.
• Назорати Круз, ки аз ҷониби kafka-оператор ҷойгир шудааст, панели идоракуниро таъмин мекунад, ки дар он мо инчунин ҳолати кластерро назорат карда метавонем. Барои дидани ин панел амал кунед:

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• Сатҳи ISR (шумораи репликаҳои "ҳамоҳангсозӣ") камшавӣ ва васеъшавӣ ба 0 баробар аст.

Натиҷаҳои ченкунӣ

3 брокер, андозаи паём - 512 байт

Бо тақсимот дар се брокер ба таври баробар тақсим карда шуд, мо тавонистем ба иҷрои кор ноил шавем ~500 Мб/с (тақрибан 990 ҳазор паём дар як сония):

Истеъмоли хотираи мошини виртуалии JVM аз 2 ГБ зиёд набуд:

Гузаронидани диск дар ҳар се мавриде, ки брокерҳо дар он кор мекарданд, ба ҳадди интиқоли гиреҳи вуруд/чор расид:

Аз маълумот дар бораи истифодаи хотира аз ҷониби гиреҳҳо чунин бармеояд, ки буферӣ ва кэшкунии система ~ 10-15 ГБ-ро мегирад:

3 брокер, андозаи паём - 100 байт

Вақте ки андозаи паём кам мешавад, интиқол тақрибан 15-20% кам мешавад: вақти коркарди ҳар як паём ба он таъсир мерасонад. Гайр аз ин, бори процессор кариб ду баробар афзуд.

Азбаски гиреҳҳои брокерӣ то ҳол ядроҳои истифоданашуда доранд, иҷроишро тавассути тағир додани конфигуратсияи Кафка беҳтар кардан мумкин аст. Ин кори осон нест, аз ин рӯ барои баланд бардоштани қобилияти интиқол беҳтар аст, ки бо паёмҳои калонтар кор кунед.

4 брокер, андозаи паём - 512 байт

Шумо метавонед ба осонӣ самаранокии кластери Кафкаро тавассути илова кардани брокерҳои нав ва нигоҳ доштани тавозуни тақсимот афзоиш диҳед (ин кафолат медиҳад, ки сарборӣ дар байни брокерҳо баробар тақсим карда мешавад). Дар ҳолати мо, пас аз илова кардани брокер, интиқоли кластер то ба зиёд шуд ~580 Мб/с (~1,1 миллион паём дар як сония). Афзоиш аз интизорӣ камтар буд: ин асосан бо номутавозунии қисмҳо шарҳ дода мешавад (на ҳама брокерҳо дар авҷи қобилиятҳои худ кор мекунанд).

Истеъмоли хотираи мошини JVM камтар аз 2 ГБ монд:

Ба кори брокерҳо бо дискҳо номутаносибии қисмҳо таъсир расонд:

натиҷаҳои

Равиши итеративии дар боло овардашуда метавонад барои фарогирии сенарияҳои мураккабтаре, ки садҳо истеъмолкунандагонро дар бар мегиранд, тақсимкунӣ, навсозиҳои навсозӣ, бозоғозӣ ва ғайра васеъ кардан мумкин аст. Ҳамаи ин ба мо имкон медиҳад, ки ҳудуди имкониятҳои кластери Кафкаро дар шароитҳои гуногун арзёбӣ кунем, монеаҳои фаъолияти онро муайян кунем ва роҳҳои мубориза бо онҳо пайдо кунем.

Мо Supertubes-ро тарҳрезӣ кардем, то кластерро зуд ва ба осонӣ ҷойгир кунанд, онро танзим кунем, брокерҳо ва мавзӯъҳоро илова/нест кунем, ба огоҳиҳо посух диҳем ва дар маҷмӯъ Кафка дар Кубернетес дуруст кор кунем. Ҳадафи мо ин аст, ки ба шумо кӯмак расонед, ки тамаркуз ба вазифаи асосӣ («таҳвил» ва «истеъмол» паёмҳои Кафка) ва тамоми кори душворро ба Supertubes ва оператори Кафка вогузоред.

Агар шумо ба технологияҳои Banzai Cloud ва лоиҳаҳои кушодаасос таваҷҷӯҳ дошта бошед, ба ин ширкат обуна шавед GitHub, LinkedIn ё Twitter.

PS аз тарҷумон

Инчунин дар блоги мо хонед:

• «Як ҳикоя бо оператори Redis дар K8s ва мини-баррасии утилитҳо барои таҳлили маълумот аз ин пойгоҳи додаҳо»;
• «Муҳоҷирати бефосилаи RabbitMQ ба Kubernetes»;
• «zetcd аз CoreOS: Иваз кардани ZooKeeper бо нигаҳдории... etcd".

Манбаъ: will.com