Famaritana ny habe mety ho an'ny cluster Kafka ao Kubernetes

Fanamarihana. transl.: Ato amin'ity lahatsoratra ity, ny Banzai Cloud dia mizara ohatra iray amin'ny fomba azo ampiasana ny fitaovana fanaony mba hanamora ny fampiasana ny Kafka ao anatin'ny Kubernetes. Ity torolalana manaraka ity dia mampiseho ny fomba ahafahanao mamaritra ny haben'ny fotodrafitrasa tsara indrindra ary ny manamboatra ny Kafka mihitsy mba hahatratrarana ny vokatra ilaina.

Apache Kafka dia sehatra fampielezam-peo mizara ho an'ny famoronana rafitra fandefasana mivantana azo ianteherana, azo esorina ary avo lenta. Ny fahaizany manaitra dia azo itarina amin'ny fampiasana Kubernetes. Ho an'izany dia namolavola izahay Open Source Kafka operator ary fitaovana iray antsoina hoe Supertubes. Izy ireo dia mamela anao hampandeha ny Kafka amin'ny Kubernetes ary hampiasa ireo endri-javatra isan-karazany, toy ny fanitsiana tsara ny fanamafisam-peo broker, scaling mifototra amin'ny metrika miaraka amin'ny rebalance, fahatsiarovan-tena, "malefaka" (tsara tarehy) famoahana vaovao, sns.

Andramo ny Supertubes ao amin'ny cluster anao:

curl https://getsupertubes.sh | sh и supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Na mifandray tahirin-kevitra. Azonao atao koa ny mamaky momba ny sasany amin'ireo fahaiza-manaon'ny Kafka, ny asa izay mandeha ho azy amin'ny fampiasana Supertubes sy Kafka operator. Efa nanoratra momba azy ireo izahay tao amin'ny bilaogy:

• Oh tsia! Mpampiasa Kafka iray hafa ho an'ny Kubernetes;
• Manara-maso sy miasa ny Kafka mifototra amin'ny metrika Prometheus;
• Kafka rack fanentanana ao amin'ny Kubernetes;
• Mandeha Apache Kafka eo ambonin'i Istio - benchmark;
• Nohamarinin'ny mpampiasa sy miditra amin'ny cluster voafehy miaraka amin'ny mpandraharaha Kafka;
• Kafka rolling upgrade sy dynamic configuration on Kubernetes;
• Sivana protocole envoy ho an'ny Kafka, mifatotra.

Rehefa manapa-kevitra ny hametraka kluster Kafka ao amin'ny Kubernetes ianao, dia mety ho tojo ny fanamby amin'ny famaritana ny haben'ny fotodrafitrasa fototra indrindra sy ny filàna hanatsara ny firafitry ny Kafka anao mba hahafeno ny fepetra takiana. Ny fampisehoana ambony indrindra ho an'ny broker tsirairay dia voafaritra amin'ny fampandehanana ireo singa fotodrafitrasa fototra, toy ny fahatsiarovana, processeur, hafainganam-pandehan'ny kapila, bandwidth tambajotra, sns.

Raha ny tokony ho izy, ny fandrindrana broker dia tokony ho toy ny hoe ampiasaina amin'ny fahaiza-manaony ambony indrindra ny singa fotodrafitrasa rehetra. Na izany aza, amin'ny tena fiainana dia sarotra be ity fametrahana ity. Azo inoana kokoa fa ny mpampiasa dia manamboatra brokers mba hanamafisana ny fampiasana singa iray na roa (kapila, fahatsiarovana, na processeur). Amin'ny ankapobeny, ny broker iray dia mampiseho fampisehoana ambony indrindra rehefa mamela ny singa miadana indrindra hampiasaina amin'ny fomba feno. Amin'izany fomba izany no ahafahantsika mahazo hevitra henjana momba ny enta-mavesatra azon'ny broker iray atao.

Ara-teorika, azontsika atao ihany koa ny manombatombana ny isan'ny broker ilaina amin'ny fitantanana entana iray. Na izany aza, amin'ny fampiharana dia misy safidy maro be amin'ny ambaratonga samihafa ka sarotra (raha tsy azo atao) ny manombana ny mety ho fahombiazan'ny fanamafisana manokana. Raha lazaina amin'ny teny hafa, dia sarotra be ny manomana fanitsiana mifototra amin'ny zava-bita nomena.

Ho an'ny mpampiasa Supertubes, matetika dia manao izao fomba izao isika: manomboka amin'ny fanamafisana sasany (fotodrafitrasa + toe-javatra), avy eo mandrefy ny zava-bitany, manitsy ny toetry ny broker ary mamerina indray ny dingana. Mitranga izany mandra-pampiasaina tanteraka ny singa miadana indrindra amin'ny fotodrafitrasa.

Amin'izany fomba izany, dia mahazo hevitra mazava kokoa momba ny isan'ny brokers ilain'ny cluster iray ny mitantana enta-mavesatra iray (ny isan'ny broker koa dia miankina amin'ny anton-javatra hafa, toy ny isa kely indrindra amin'ny replika hafatra mba hiantohana ny faharetana, ny isan'ny fisarahana. mpitarika, sns.). Ho fanampin'izay, mahazo vinavina momba ny singa fotodrafitrasa mila fanamafisam-peo mitsangana isika.

Ity lahatsoratra ity dia hiresaka momba ny dingana ataontsika mba hahazoana tombony betsaka amin'ireo singa miadana indrindra amin'ny fanamafisana voalohany sy handrefesana ny fidiran'ny cluster Kafka. Ny fanamafisam-peo tena matanjaka dia mitaky brokers mandeha telo farafahakeliny (min.insync.replicas=3), mizara amin'ny faritra telo azo idirana. Mba hanamboarana, handanjana ary hanaraha-maso ny fotodrafitrasa Kubernetes, dia mampiasa ny sehatra fitantanana kaontenera manokana ho an'ny rahona hybrid izahay - fantsona. Izy io dia manohana an-toerana (metaly miboridana, VMware) sy karazana rahona dimy (Alibaba, AWS, Azure, Google, Oracle), ary koa ny fitambaran'izy ireo.

Eritrereto momba ny fotodrafitrasa sy ny fanamboarana kluster Kafka

Ho an'ireo ohatra etsy ambany, dia nisafidy ny AWS ho mpamatsy rahona izahay ary EKS ho fizarana Kubernetes. Azo ampiharina amin'ny fampiasana ny fanamafisana mitovy P.K.E. - Fizarana Kubernetes avy amin'ny Banzai Cloud, nohamarinin'ny CNCF.

kapila

Amazon dia manolotra isan-karazany Ireo singa mifandraika amin'ny EBS. Amin'ny fotony gp2 и io1 Misy drive SSD, na izany aza, mba hiantohana ny fidirana ambony gp2 mandany crédit voaangona (Crédit I/O), noho izany dia naleonay ilay karazana io1, izay manome vokatra avo lenta tsy miovaova.

Karazana ohatra

Miankina betsaka amin'ny cache pejin'ny rafitra miasa ny zava-bitan'i Kafka, noho izany dia mila ohatra misy fitadidiana ampy ho an'ny brokers (JVM) sy cache pejy. ohatra c5.2x lehibe - fanombohana tsara, satria manana fahatsiarovana 16 GB sy optimized hiasa amin'ny EBS. Ny fatiantoka dia ny hoe tsy mahavita afa-tsy ny manome fampisehoana ambony indrindra mandritra ny 30 minitra isaky ny 24 ora. Raha mitaky fampandehanana ambony indrindra mandritra ny fotoana maharitra ny enta-mavesatrao, dia azonao atao ny mandinika karazana ohatra hafa. Izany indrindra no nataonay, nijanona teo c5.4x lehibe. Izy io dia manome fidirana ambony indrindra amin'ny 593,75 Mb/s. Ny habetsahan'ny varotra EBS io1 ambony noho ny ohatra c5.4x lehibe, ka ny singa miadana indrindra amin'ny fotodrafitrasa dia azo inoana fa ny fidiran'ny I/O amin'ity karazana ohatra ity (izay tokony hohamafisin'ny fitsapana entana ataonay).

Network

Ny fidirana amin'ny tambajotra dia tokony ho lehibe kokoa raha oharina amin'ny fampandehanana ny ohatra VM sy ny kapila, raha tsy izany dia lasa bottleneck ny tambajotra. Amin'ny tranga misy antsika, ny interface interface c5.4x lehibe manohana ny hafainganam-pandeha hatramin'ny 10 Gb/s, izay ambony lavitra noho ny I/O throughput ny ohatra VM.

Broker Deployment

Tokony hapetraka (voalamina ao amin'ny Kubernetes) any amin'ny node voatokana ny brokers mba tsy hifaninana amin'ireo dingana hafa ho an'ny CPU, fahatsiarovana, tambajotra ary loharanon-drakitra.

Java version

Ny safidy lojika dia Java 11 satria mifanaraka amin'ny Docker izy io amin'ny heviny hoe ny JVM dia mamaritra tsara ny processeurs sy ny fahatsiarovana azo alaina amin'ny container izay iasan'ny broker. Noho ny fahafantarana fa zava-dehibe ny fetran'ny CPU, ny JVM anatiny sy mangarahara dia mametraka ny isan'ny kofehy GC sy kofehy JIT. Nampiasa ny sary Kafka izahay banzaicloud/kafka:2.13-2.4.0, izay ahitana Kafka version 2.4.0 (Scala 2.13) amin'ny Java 11.

Raha te-hahafantatra bebe kokoa momba ny Java/JVM amin'ny Kubernetes ianao dia jereo ny lahatsoratra manaraka:

• Nahoana no OOMKilled ny fampiharana Java ahy;
• Ahoana ny fomba hamerenana tsara ny kaontenera ho an'ny fampiharana Java 10.

Fikirana fitadidiana broker

Misy lafin-javatra roa manan-danja amin'ny fanamboarana ny fitadidian'ny broker: fikandrana ho an'ny JVM sy ho an'ny pod Kubernetes. Ny fetran'ny fitadidiana napetraka ho an'ny pod iray dia tsy maintsy lehibe noho ny haben'ny antontam-bato ambony indrindra ka ny JVM dia manana toerana ho an'ny metaspace Java izay mipetraka ao amin'ny fitadidiany manokana sy ho an'ny cache pejin'ny rafitra miasa izay ampiasain'i Kafka mavitrika. Tamin'ny andranay dia nanangana brokers Kafka misy masontsivana izahay -Xmx4G -Xms2G, ary ny fetra fitadidiana ny pod dia 10 Gi. Azafady, azafady fa azo alaina ho azy amin'ny alalan'ny fampiasana ny fandrindrana fahatsiarovana ho an'ny JVM -XX:MaxRAMPercentage и -X:MinRAMPercentage, mifototra amin'ny fetra fitadidiana ho an'ny pod.

Fanamboarana processeur broker

Amin'ny ankapobeny, azonao atao ny manatsara ny fampisehoana amin'ny fampitomboana ny parallèle amin'ny fampitomboana ny isan'ny kofehy ampiasain'ny Kafka. Arakaraka ny processeurs misy ho an'ny Kafka no tsara kokoa. Tamin'ny fitsapana nataontsika dia nanomboka tamin'ny fetran'ny processeur 6 izahay ary tsikelikely (tamin'ny alàlan'ny famerimberenana) dia nampiakatra ny isa ho 15. Ankoatra izany, nametraka num.network.threads=12 ao amin'ny sehatry ny broker mba hampitomboana ny isan'ny kofehy mandray angona avy amin'ny tambajotra ary mandefa azy. Avy hatrany dia nahita fa tsy afaka nahazo kopia haingana ireo mpikirakira mpanara-dia, dia nanangana izy ireo num.replica.fetchers hatramin'ny 4 mba hampitombo ny hafainganam-pandehan'ny mpanaraka ny hafatra avy amin'ny mpitarika.

Load Generation Tool

Tokony ho azonao antoka fa tsy ho lany ny fahafaha-manao ny mpamokatra entana voafantina alohan'ny hahatongavan'ny kluster Kafka (izay marihina) ny entany ambony indrindra. Raha lazaina amin'ny teny hafa dia ilaina ny manao fanombanana mialoha ny fahaiza-manaon'ny fitaovana famokarana entana, ary mifantina karazana ohatra ho azy miaraka amin'ny processeurs sy fahatsiarovana ampy. Amin'ity tranga ity, ny fitaovantsika dia hamokatra enta-mavesatra mihoatra noho ny zakan'ny cluster Kafka. Taorian'ny fanandramana maro, dia niorina tamin'ny kopia telo izahay c5.4x lehibe, izay samy nanana mpamokatra herinaratra mandeha.

fampitahana

Ny fandrefesana ny zava-bita dia dingana miverimberina izay ahitana ireto dingana manaraka ireto:

• fametrahana fotodrafitrasa (cluster EKS, cluster Kafka, fitaovana famokarana entana, ary koa ny Prometheus sy Grafana);
• miteraka enta-mavesatra mandritra ny fe-potoana iray hanivanana ny fiviliana kisendrasendra ao amin'ireo tondro fampandehanana voaangona;
• fanitsiana ny fotodrafitrasa sy ny fanamafisam-peo ataon'ny broker mifototra amin'ny tondro fampandehanana voamarika;
• mamerimberina ny dingana mandra-pahatongan'ny ambaratonga ilaina amin'ny fidiran'ny cluster Kafka. Mandritra izany fotoana izany, tsy maintsy averina tsy tapaka izy io ary mampiseho fiovaovana kely indrindra amin'ny famoahana.

Ny fizarana manaraka dia mamaritra ny dingana natao nandritra ny fizotry ny benchmarking cluster.

fitaovana

Ireto fitaovana manaraka ireto dia nampiasaina mba hametrahana haingana ny fandrindrana fototra, hamokarana entana ary handrefesana ny fahombiazany:

• Banzai Cloud Pipeline amin'ny fikarakarana vondrona EKS avy amin'ny Amazon c Prometheus (hanangom-bokatra Kafka sy fotodrafitrasa) ary grafana (mba hijerena ireo metrika ireo). Nanararaotra izahay mitambatra в fantsona serivisy izay manome fanaraha-maso federasiona, fanangonana lozisialy afovoany, scan vulnerable, fanarenana ny loza, fiarovana amin'ny orinasa sy ny maro hafa.
• Sangrenel - fitaovana entina fitiliana enta-mavesatra ny cluster Kafka.
• Dashboards Grafana amin'ny fijerena ny metrika sy fotodrafitrasa Kafka: Kubernetes Kafka, Node Exporter.
• Supertubes CLI ho an'ny fomba mora indrindra hananganana cluster Kafka amin'ny Kubernetes. Zookeeper, operator Kafka, Envoy ary singa maro hafa dia napetraka sy namboarina tsara mba hampandehanana cluster Kafka vonona amin'ny famokarana ao amin'ny Kubernetes.
  • Hametraka supertubes CLI ampiasao ny toromarika omena eto.

Vidin'ny EKS

Manomàna cluster EKS miaraka amin'ny node mpiasa voatokana c5.4x lehibe any amin'ny faritra misy azo ampiasaina ho an'ny pods miaraka amin'ny brokers Kafka, ary koa ny node natokana ho an'ny mpamokatra entana sy ny fotodrafitrasa fanaraha-maso.

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Raha vao mitsangana sy mandeha ny cluster EKS, avelao ny fampidirana azy serivisy fanaraha-maso - hametraka Prometheus sy Grafana ao anaty cluster izy.

Ny singa rafitra Kafka

Mametraka singa rafitra Kafka (Zookeeper, kafka-operator) ao amin'ny EKS mampiasa supertubes CLI:

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Kafka cluster

Amin'ny alàlan'ny default, EKS dia mampiasa karazana karazana EBS gp2, noho izany dia mila mamorona kilasy fitehirizana misaraka mifototra amin'ny boky ianao io1 ho an'ny cluster Kafka:

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

Mametraha ny parameter ho an'ny brokers min.insync.replicas=3 ary apetraho ireo pods broker amin'ny nodes amin'ny faritra misy telo samihafa:

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Lohahevitra

Nifanindran-dalana izahay tamin'ny famokarana entana telo. Samy manoratra amin'ny lohaheviny avy izy ireo, izany hoe mila lohahevitra telo isika amin'ny fitambarany:

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Ho an'ny lohahevitra tsirairay, ny anton'ny replication dia 3—ny sanda ambany indrindra atolotra ho an'ny rafitra famokarana tena misy.

Load Generation Tool

Nandefa dika telo amin'ny mpamokatra entana izahay (ny tsirairay dia nanoratra tamin'ny lohahevitra manokana). Ho an'ny pods mpamokatra entana dia mila mametraka ny fifandraisana amin'ny node ianao mba tsy ho voalahatra afa-tsy amin'ireo nodes natokana ho azy ireo:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

Hevitra vitsivitsy tokony homarihina:

• Mamokatra hafatra 512 bita ny halavany ary mamoaka izany amin'ny Kafka amin'ny andiana hafatra 500.
• Mampiasa hevitra -required-acks=all Heverina ho mahomby ny famoahana rehefa voaray sy nohamafisin'ny brokers Kafka ny kopia rehetra amin'ny hafatra. Midika izany fa tsy ny hafainganan'ny fandraisan'ny mpitondra hafatra ihany no norefesinay tao amin'ny benchmark, fa ny mpanaraka azy koa ny mamerina hafatra. Ny tanjon'ity fitsapana ity dia tsy ny fanombanana ny hafainganan'ny famakiana ny mpanjifa (mpanjifa) naharay hafatra vao haingana izay mbola mijanona ao amin'ny cache pejy OS, ary ny fampitahana azy amin'ny hafainganan'ny famakiana hafatra voatahiry ao anaty kapila.
• Ny mpamokatra entana dia mitondra mpiasa 20 mifanitsy (-workers=20). Ny mpiasa tsirairay dia misy mpamokatra 5 izay mizara ny fifandraisan'ny mpiasa amin'ny vondrona Kafka. Vokatr'izany, manana mpamokatra 100 ny mpamokatra tsirairay, ary mandefa hafatra any amin'ny cluster Kafka izy rehetra.

Fanaraha-maso ny fahasalaman'ny cluster

Nandritra ny fitsapana entana ny kluster Kafka, dia nanara-maso ny fahasalamany ihany koa izahay mba hahazoana antoka fa tsy misy famerenana ny pod, tsy misy kopia tsy mifanaraka amin'ny sync, ary ny fampandehanana ambony indrindra miaraka amin'ny fiovaovan'ny kely indrindra:

• Ny mpamokatra entana dia manoratra antontan'isa mahazatra momba ny isan'ny hafatra navoaka sy ny tahan'ny fahadisoana. Ny tahan'ny fahadisoana dia tokony hitoetra ho toy izany koa 0,00%.
• Fifehezana sambo, napetraky ny kafka-operator, dia manome dashboard ahafahantsika manara-maso ny toetry ny cluster. Raha hijery ity tontonana ity dia ataovy:

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• Ny haavon'ny ISR (isan'ny replika “in-sync”) ny fihenana sy ny fanitarana dia mitovy amin'ny 0.

Vokatra fandrefesana

3 brokers, haben'ny hafatra - 512 bytes

Miaraka amin'ny fizarazarana mitovy amin'ny mpizara telo, dia afaka nahatratra fahombiazana izahay ~500 Mb/s (hafatra 990 arivo eo ho eo isan-tsegondra):

Ny fanjifana fahatsiarovana ny milina virtoaly JVM dia tsy mihoatra ny 2 GB:

Nahatratra ny fidiran'ny node I/O fara-tampony ny fampandehanan-dresaka tamin'ireo tranga telo izay nandehanan'ny brokers:

Avy amin'ny angon-drakitra momba ny fampiasana fahatsiarovana amin'ny alàlan'ny nodes, dia manaraka fa ny buffering sy ny caching rafitra dia naka ~ 10-15 GB:

3 brokers, haben'ny hafatra - 100 bytes

Rehefa mihena ny haben'ny hafatra, dia midina eo amin'ny 15-20% eo ho eo ny fidirana: ny fotoana lany amin'ny fanodinana ny hafatra tsirairay dia misy fiantraikany aminy. Ankoatra izany, efa ho avo roa heny ny entana processeur.

Koa satria mbola manana cores tsy ampiasaina ny node broker, dia azo hatsaraina ny fampandehanana amin'ny fanovana ny konfigurasi Kafka. Tsy asa mora izany, noho izany dia tsara kokoa ny miasa amin'ny hafatra lehibe kokoa mba hampitomboana ny fidirana.

4 brokers, haben'ny hafatra - 512 bytes

Azonao atao ny mampitombo mora foana ny asan'ny cluster Kafka amin'ny alàlan'ny fampidirana broker vaovao sy fitazonana ny fifandanjana amin'ny fizarazarana (izany dia miantoka fa ny entana dia mizara mitovy amin'ny mpivarotra). Amin'ny tranga misy antsika, taorian'ny nampiana broker iray, dia nitombo ho any amin'ny ~580 Mb/s (~1,1 tapitrisa hafatra isan-tsegondra). Ny fitomboana dia nivadika ho ambany noho ny nampoizina: izany dia nohazavaina indrindra amin'ny tsy fifandanjan'ny fizarazarana (tsy ny mpivarotra rehetra no miasa amin'ny fara-tampon'ny fahaizany).

Nijanona ambanin'ny 2 GB ny fanjifana fahatsiarovana ny milina JVM:

Ny asan'ny brokers miaraka amin'ny drive dia nisy fiantraikany tamin'ny tsy fifandanjan'ny partitions:

hitany

Ny fomba fiasa iterative aseho etsy ambony dia azo itarina mba handrakotra toe-javatra sarotra kokoa ahitana mpanjifa an-jatony, repartitioning, fanavaozana mihodinkodina, famerenana pod, sns. Izany rehetra izany dia ahafahantsika manombatombana ny fetran'ny fahafahan'ny kluster Kafka amin'ny toe-javatra isan-karazany, hamantatra ireo bottleneck amin'ny asany ary mitady fomba hiadiana amin'izy ireo.

Namboarinay ny Supertubes mba hametraka haingana sy mora ny cluster, manamboatra azy, manampy/manaisotra ireo mpikirakira sy lohahevitra, mamaly fampandrenesana, ary miantoka fa miasa tsara amin'ny Kubernetes ny Kafka amin'ny ankapobeny. Ny tanjonay dia ny hanampy anao hifantoka amin'ny asa lehibe ("mamorona" sy "mihinana" hafatra Kafka), ary avelao ny asa mafy rehetra ho an'ny Supertubes sy ny mpandraharaha Kafka.

Raha liana amin'ny teknolojia Banzai Cloud sy tetikasa Open Source ianao dia misoratra anarana amin'ny orinasa amin'ny GitHub, LinkedIn na Twitter.

PS avy amin'ny mpandika teny

Vakio ihany koa ao amin'ny bilaoginay:

• «Tantara iray miaraka amin'ny mpandraharaha Redis ao amin'ny K8s ary famerenana kely momba ny fitaovana famakafakana ny angona avy amin'ity tahiry ity";
• «Fifindran'ny RabbitMQ tsy misy olana mankany Kubernetes";
• «zetcd avy amin'ny CoreOS: Fanoloana ny ZooKeeper amin'ny fitahirizana...etcd".

Source: www.habr.com