Fumana boholo bo loketseng bakeng sa sehlopha sa Kafka se Kubernetes

Hlokomela. fetolela.: Sehloohong sena, Banzai Cloud e arolelana mohlala oa hore na lisebelisoa tsa eona tsa tloaelo li ka sebelisoa joang ho etsa hore Kafka e be bonolo ho e sebelisa ka hare ho Kubernetes. Litaelo tse latelang li bontša kamoo u ka tsebang boholo bo nepahetseng ba lisebelisoa tsa hau tsa motheo le ho lokisa Kafka ka boeona ho finyella se hlokahalang.

Apache Kafka ke sethala se ajoang sa ho hasanya bakeng sa ho theha lits'ebetso tse tšepahalang, tse scalable le tse sebetsang hantle haholo tsa nako ea nnete. Bokhoni ba eona bo tsotehang bo ka atolosoa ho sebelisoa Kubernetes. Bakeng sa sena re ntlafalitse Open Source Kafka opareitara le sesebelisoa se bitsoang Li-Supertubes. Li u lumella hore u tsamaise Kafka ho Kubernetes 'me u sebelise likarolo tsa eona tse fapaneng, tse kang ho lokisa tlhophiso ea broker hantle, tekanyo e thehiloeng ho metric ka ho leka-lekanya hape, tlhokomeliso ea rack, "bonolo" (ea mohau) ho hlahisa lintlafatso, joalo-joalo.

Leka li-Supertubes sehlopheng sa hau:

curl https://getsupertubes.sh | sh и supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Kapa ikopanye litokomane. U ka boela ua bala ka tse ling tsa bokhoni ba Kafka, mosebetsi oo ho oona ho sebelisoang Supertubes le Kafka operator. Re se re ngotse ka bona ho blog:

• Che! Leha ho le joalo, moetsi e mong oa Kafka bakeng sa Kubernetes;
• Lekola le ho sebelisa Kafka ho ipapisitse le metrics ea Prometheus;
• Kafka rack tlhokomeliso ka Kubernetes;
• Ho matha Apache Kafka holim'a Istio - benchmark;
• Likhokahano tse netefalitsoeng ke basebelisi le tse laoloang ke phihlello le opareitara ea Kafka;
• Kafka rolling ea ntlafatso le tlhophiso e matla ho Kubernetes;
• Setlhopha sa protocol sa Envoy bakeng sa Kafka, se nang le meshed.

Ha u etsa qeto ea ho kenya sehlopha sa Kafka ho Kubernetes, mohlomong u tla tobana le phephetso ea ho fumana boholo bo nepahetseng ba lisebelisoa tsa motheo le tlhokahalo ea ho lokisa Kafka ea hau ho finyella litlhoko tsa ho feta. Ts'ebetso e phahameng ea morekisi e mong le e mong e khethoa ke ts'ebetso ea likarolo tsa motheo tsa meralo, joalo ka memori, processor, lebelo la disk, marang-rang a marang-rang, joalo-joalo.

Ka nepo, tlhophiso ea barekisi e lokela ho ba joalo hoo likarolo tsohle tsa meralo ea motheo li sebelisoang ho fihlela bokhoni ba tsona bo phahameng. Leha ho le joalo, bophelong ba sebele, mokhoa ona o rarahane haholo. Ho na le monyetla oa hore basebelisi ba hlophise barekisi ho eketsa ts'ebeliso ea karolo e le 'ngoe kapa tse peli (disk, memori kapa processor). Ka kakaretso, morekisi o bonts'a ts'ebetso e phahameng ha tlhophiso ea eona e lumella karolo e liehang ho sebelisoa ka botlalo. Ka tsela ena re ka fumana mohopolo o thata oa mojaro oo morekisi a le mong a ka o etsang.

Ka khopolo, re ka boela ra hakanya palo ea barekisi ba hlokahalang ho sebetsana le mojaro o fanoeng. Leha ho le joalo, ts'ebetsong ho na le likhetho tse ngata tsa tlhophiso maemong a fapaneng hoo ho leng thata haholo (haeba ho sa khonehe) ho lekola ts'ebetso e ka bang teng ea tlhophiso e itseng. Ka mantsoe a mang, ho thata haholo ho rera tlhophiso ho latela ts'ebetso e itseng e fanoeng.

Bakeng sa basebelisi ba Supertubes, hangata re nka mokhoa o latelang: re qala ka tlhophiso e itseng (lisebelisoa tsa lisebelisoa +), ebe re lekanya ts'ebetso ea eona, fetola litlhophiso tsa broker ebe u pheta ts'ebetso hape. Sena se etsahala ho fihlela karolo e liehang ka ho fetisisa ea meralo ea motheo e sebelisoa ka botlalo.

Ka tsela ena, re fumana leseli le hlakileng haholoanyane la hore na sehlopha se hloka bareki ba bakae ho sebetsana le mojaro o itseng (palo ea barekisi e boetse e ipapisitse le lintlha tse ling, joalo ka palo e tlase ea likopi tsa molaetsa ho netefatsa ho tiea, palo ea karohano. baetapele, joalo-joalo). Ho feta moo, re fumana temohisiso ea hore na likarolo tsa meralo ea motheo li hloka ho eketsoa ho ea holimo.

Sehlooho sena se tla bua ka mehato eo re e nkang ho fumana molemo ka ho fetisisa ho likarolo tse liehang ka ho fetisisa litlhophisong tsa pele le ho lekanya phallo ea sehlopha sa Kafka. Tokiso e matla haholo e hloka bonyane barekisi ba bararo ba sebetsang (min.insync.replicas=3), e ajoa libakeng tse tharo tse fapaneng tsa phihlello. Ho hlophisa, ho lekanya le ho lekola lits'ebetso tsa Kubernetes, re sebelisa sethala sa rona sa taolo ea lijana bakeng sa maru a lebasetere - Pipe. E ts'ehetsa holim'a setsi (tšepe e se nang letho, VMware) le mefuta e mehlano ea maru (Alibaba, AWS, Azure, Google, Oracle), hammoho le motsoako ofe kapa ofe oa tsona.

Mehopolo mabapi le meaho le tlhophiso ea sehlopha sa Kafka

Bakeng sa mehlala e ka tlase, re khethile AWS e le mofani oa maru le EKS e le kabo ea Kubernetes. Tlhophiso e ts'oanang e ka sebelisoa ho sebelisoa P.K.E. - Kabo ea Kubernetes ho tsoa ho Banzai Cloud, e netefalitsoeng ke CNCF.

tiske

Amazon e fana ka mefuta e fapaneng Mefuta ea molumo oa EBS. Bohareng gp2 и io1 ho na le li-drive tsa SSD, leha ho le joalo, ho netefatsa hore ho na le phallo e phahameng gp2 e sebelisa likalimo tse bokelletsoeng (likakaretso tsa I/O), kahoo re ne re khetha mofuta io1, e fanang ka ts'ebetso e phahameng e tsitsitseng.

Mefuta ea mohlala

Ts'ebetso ea Kafka e itšetlehile haholo ka cache ea leqephe la sistimi e sebetsang, kahoo re hloka maemo a nang le mohopolo o lekaneng bakeng sa barekisi (JVM) le cache ea leqephe. Mohlala c5.2e kholo - qalo e ntle, kaha e na le 16 GB ea memori le optimized ho sebetsa le EBS. Phoso ea eona ke hore e khona ho fana ka ts'ebetso e phahameng feela bakeng sa metsotso e sa feteng 30 lihora tse ling le tse ling tse 24. Haeba mosebetsi oa hau o hloka ts'ebetso e phahameng ka nako e telele, u ka 'na ua batla ho nahana ka mefuta e meng ea mohlala. Ke hantle seo re se entseng, ho ema c5.4e kholo. E fana ka palo e kholo ea lisebelisoa 593,75 Mb / s. Boholo ba tlhahiso ea molumo oa EBS io1 e phahameng ho feta mohlala c5.4e kholo, kahoo ntho e liehang ka ho fetisisa ea lisebelisoa tsa motheo e ka 'na ea e-ba tlhahiso ea I/O ea mofuta ona oa mohlala (eo liteko tsa rona tsa mojaro le tsona li lokelang ho netefatsa).

Motsoalle

Phallo ea marang-rang e tlameha ho ba kholo ka ho lekaneng ha e bapisoa le ts'ebetso ea mohlala oa VM le disk, ho seng joalo marang-rang a fetoha botlolo. Tabeng ea rona, sebopeho sa marang-rang c5.4e kholo e ts'ehetsa lebelo la ho fihla ho 10 Gb/s, e leng holimo haholo ho feta tlhahiso ea I/O ea mohlala oa VM.

Pheliso ea Broker

Barekisi ba lokela ho romelloa (e hlophisitsoeng ho Kubernetes) ho li-node tse inehetseng ho qoba ho qothisana lehlokoa le mekhoa e meng ea CPU, memori, marang-rang le lisebelisoa tsa disk.

Mofuta oa Java

Khetho e utloahalang ke Java 11 hobane e lumellana le Docker ka kutloisiso ea hore JVM e khetholla ka nepo li-processor le memori e fumanehang ho setshelo seo morekisi a sebetsang ho sona. Ka ho tseba hore meeli ea CPU e bohlokoa, JVM ka hare le ka mokhoa o hlakileng e beha palo ea likhoele tsa GC le likhoele tsa JIT. Re sebelisitse setšoantšo sa Kafka banzaicloud/kafka:2.13-2.4.0, e kenyelletsang Kafka version 2.4.0 (Scala 2.13) ho Java 11.

Haeba u ka rata ho ithuta haholoanyane ka Java/JVM ho Kubernetes, sheba lintlha tsa rona tse latelang:

• Hobaneng ha kopo ea ka ea Java e le OOMKilled;
• Mokhoa oa ho etsa boholo bo nepahetseng ba lijana bakeng sa lits'ebetso tsa Java 10.

Litlhophiso tsa memori ea Broker

Ho na le lintlha tse peli tsa bohlokoa tsa ho hlophisa mohopolo oa broker: litlhophiso tsa JVM le bakeng sa Kubernetes pod. Moeli oa mohopolo o behiloeng bakeng sa pod o tlameha ho ba moholo ho feta boholo ba boholo ba qubu e le hore JVM e be le sebaka sa Java metaspace, e lulang mohopolong oa eona, le bakeng sa cache ea leqephe la tsamaiso, eo Kafka ae sebelisang ka mafolofolo. Litekong tsa rona re ile ra tsebisa barekisi ba Kafka ba nang le liparamente -Xmx4G -Xms2G, mme moeli oa memori bakeng sa pod e ne e le 10 Gi. Ka kopo hlokomela hore litlhophiso tsa memori bakeng sa JVM li ka fumanoa ka bohona ka ho sebelisa -XX:MaxRAMPercentage и -X:MinRAMPercentage, ho ipapisitsoe le moeli oa memori bakeng sa pod.

Litlhophiso tsa processor ea Broker

Ka kakaretso, o ka ntlafatsa ts'ebetso ka ho eketsa ho bapisa ka ho eketsa palo ea likhoele tse sebelisoang ke Kafka. Ha li-processor tse ngata li fumaneha bakeng sa Kafka, li betere. Tekong ea rona, re qalile ka moeli oa li-processor tsa 6 mme butle-butle (ka ho pheta-pheta) re phahamisitse palo ea bona ho 15. Ho phaella moo, re beha num.network.threads=12 maemong a broker ho eketsa palo ea likhoele tse amohelang data ho tsoa marang-rang le ho e romella. Hang ha ba fumana hore balateli ba barekisi ba ke ke ba fumana likopi kapele, ba ile ba phahamisa num.replica.fetchers ho isa ho 4 ho eketsa lebelo leo balateli ba barekisi ba phetang melaetsa e tsoang ho baetapele.

Tool Generation Tool

U lokela ho etsa bonnete ba hore jenereithara ea mojaro e khethiloeng ha e felloe ke matla pele sehlopha sa Kafka (se seng se ntse se benchmark) se fihla moroalo o mongata. Ka mantsoe a mang, hoa hlokahala ho etsa tlhahlobo ea pele ea bokhoni ba sesebelisoa sa ho hlahisa mojaro, hape u khethe mefuta ea mohlala bakeng sa eona ka palo e lekaneng ea li-processor le memori. Tabeng ena, sesebelisoa sa rona se tla hlahisa mojaro o mongata ho feta sehlopha sa Kafka se ka sebetsanang le sona. Ka mor'a liteko tse ngata, re ile ra rarolla likopi tse tharo c5.4e kholo, e 'ngoe le e 'ngoe ea tsona e ne e e-na le jenereithara e sebetsang.

Benchmarking

Tekanyo ea ts'ebetso ke ts'ebetso e pheta-phetoang e kenyelletsang mekhahlelo e latelang:

• ho theha thepa ea motheo (sehlopha sa EKS, sehlopha sa Kafka, sesebelisoa sa ho hlahisa thepa, hammoho le Prometheus le Grafana);
• ho hlahisa mojaro bakeng sa nako e itseng ho sefa ho kheloha ho sa reroang ho lipontšo tsa ts'ebetso tse bokeletsoeng;
• ho lokisa meaho le tlhophiso ea broker e ipapisitseng le matšoao a ts'ebetso a hlokometsoeng;
• ho pheta ts'ebetso ho fihlela boemo bo hlokahalang ba sehlopha sa Kafka se finyelloang. Ka nako e ts'oanang, e tlameha ho fetisoa khafetsa 'me e bonts'e phapang e fokolang ea tlhahiso.

Karolo e latelang e hlalosa mehato e ileng ea etsoa nakong ea tlhahlobo ea sehlopha sa liteko.

Lisebelisoa

Lisebelisoa tse latelang li ile tsa sebelisoa ho tsamaisa tlhophiso ea mantlha kapele, ho hlahisa meroalo, le ho lekanya ts'ebetso:

• Banzai Cloud Pipeline bakeng sa ho hlophisa sehlopha sa EKS ho tsoa Amazon c Prometheus (ho bokella Kafka le metrics ea litšebeletso tsa motheo) le grafana (ho bona metriki ena ka mahlo a kelello). Re ile ra nka monyetla kopantswe в Pipe lits'ebeletso tse fanang ka tlhokomelo e kopanetsoeng, pokello ea lits'oants'o tse bohareng, tlhahlobo ea ts'oaetso, ho hlaphoheloa ha likoluoa, ts'ireletso ea maemo a khoebo le tse ling tse ngata.
• Sangrenel - sesebelisoa sa tlhahlobo ea mojaro sehlopheng sa Kafka.
• Grafana dashboards bakeng sa ho bona metrics le lisebelisoa tsa Kafka: Kubernetes Kafka, Node Exporter.
• Supertubes CLI bakeng sa mokhoa o bonolo oa ho theha sehlopha sa Kafka ho Kubernetes. Zookeeper, opareitara ea Kafka, Envoy le likarolo tse ling tse ngata li kentsoe 'me li hlophisitsoe hantle ho tsamaisa sehlopha se seng se itokisitse sa Kafka ho Kubernetes.
  • Bakeng sa ho kenya li-supertubes tsa CLI sebelisa litaelo tse fanoeng mona.

Sehlopha sa EKS

Lokisetsa sehlopha sa EKS se nang le li-node tsa basebetsi ba inehetseng c5.4e kholo libakeng tse fapaneng tse fumanehang bakeng sa li-pods tse nang le barekisi ba Kafka, hammoho le li-node tse inehetseng bakeng sa jenereithara ea mojaro le lisebelisoa tsa ho beha leihlo.

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Hang ha sehlopha sa EKS se se se qalile le ho sebetsa, etsa hore se kopane tšebeletso ea ho beha leihlo - o tla kenya Prometheus le Grafana sehlopheng.

Likarolo tsa tsamaiso ea Kafka

Kenya likarolo tsa sistimi ea Kafka (Zookeeper, kafka-operator) ho EKS u sebelisa li-supertubes tsa CLI:

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Sehlopha sa Kafka

Ka kamehla, EKS e sebelisa mefuta ea EBS ea mofuta gp2, kahoo o hloka ho theha sehlopha sa polokelo se arohaneng ho latela meqolo io1 bakeng sa sehlopha sa Kafka:

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

Beha paramente bakeng sa barekisi min.insync.replicas=3 le ho kenya li-pods ho li-node libakeng tse tharo tse fapaneng tse fumanehang:

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Lihlooho

Re tsamaisitse mehlala e meraro ea jenereithara ka ho tšoana. E mong le e mong oa bona o ngolla sehlooho sa hae, ke hore, re hloka lihlooho tse tharo ka kakaretso:

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Bakeng sa sehlooho se seng le se seng, ntlha ea ho ikatisa ke 3-bonyane bo khothaletsoang bakeng sa litsamaiso tse fumanehang haholo tsa tlhahiso.

Tool Generation Tool

Re hlahisitse likopi tse tharo tsa jenereithara ea mojaro (e 'ngoe le e' ngoe e ngotse ka sehlooho se arohaneng). Bakeng sa li-pods tsa jenereithara, o hloka ho theha kamano ea node e le hore e reriloe feela ho li-node tse abetsoeng tsona:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

Lintlha tse 'maloa tseo u lokelang ho li ela hloko:

• Jenereithara ea mojaro e hlahisa melaetsa ea bolelele ba li-byte tse 512 mme e e phatlalatsa ho Kafka ka lihlopha tsa melaetsa ea 500.
• Ho sebelisa khang -required-acks=all Phatlalatso e nkoa e atlehile ha likopi tsohle tse lumellanang tsa molaetsa li amoheloa le ho tiisoa ke barekisi ba Kafka. Sena se bolela hore ho benchmark ha rea ​​ka ra lekanya lebelo la baetapele ba amohelang melaetsa feela, empa hape le balateli ba bona ba phetang melaetsa. Sepheo sa teko ena ha se ho lekola lebelo la ho bala ha bareki (basebelisi) e sa tsoa amohela melaetsa e ntseng e le teng ho cache ea leqephe la OS, le papiso ea eona le lebelo la ho bala la melaetsa e bolokiloeng ho disk.
• Jenereithara ea mojaro e tsamaisa basebetsi ba 20 ka ho lekana (-workers=20). Mosebeletsi e mong le e mong o na le bahlahisi ba 5 ba arolelanang khokahano ea mosebeletsi sehlopheng sa Kafka. Ka lebaka leo, jenereithara e 'ngoe le e' ngoe e na le bahlahisi ba 100, 'me kaofela ba romela melaetsa ho sehlopha sa Kafka.

Ho beha leihlo bophelo bo botle ba sehlopha

Nakong ea tlhahlobo ea mojaro oa sehlopha sa Kafka, re boetse re hlokometse bophelo ba sona ho netefatsa hore ha ho na li-pod restarts, ha ho na likopi tse sa lumellaneng, le phallo e ngata e nang le liphetoho tse fokolang:

• Jenereithara ea mojaro e ngola lipalo-palo tse tloaelehileng mabapi le palo ea melaetsa e hatisitsoeng le sekhahla sa phoso. Sekhahla sa phoso se lokela ho lula se tšoana 0,00%.
• Taolo ea Likepe, e sebelisoang ke kafka-operator, e fana ka dashboard moo re ka boelang ra hlokomela boemo ba sehlopha. Ho sheba phanele ena etsa:

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• Boemo ba ISR (palo ea "in-sync" replicas) ho honyela le katoloso li lekana le 0.

Liphetho tsa litekanyo

3 barekisi, boholo ba molaetsa - 512 bytes

Ka likarolo tse arolelanoang ka ho lekana ho barekisi ba bararo, re khonne ho fihlela ts'ebetso ~500 Mb/s (hoo e ka bang melaetsa e likete tse 990 motsotsoana):

Tšebeliso ea memori ea mochini o hlakileng oa JVM ha ea ka ea feta 2 GB:

Ts'ebetso ea Disk e fihlile ho palo e kholo ea I/O node maemong ohle a mararo ao barekisi ba neng ba sebetsa ho ona:

Ho tsoa ho data mabapi le ts'ebeliso ea memori ka li-node, ho latela hore buffering le caching ea sistimi e nkile ~ 10-15 GB:

3 barekisi, boholo ba molaetsa - 100 bytes

Ha boholo ba molaetsa bo ntse bo fokotseha, phallo e theoha ka hoo e ka bang 15-20%: nako e sebelisoang ho sebetsana le molaetsa o mong le o mong oa e ama. Ho feta moo, mojaro oa processor o batla o imenne habeli.

Kaha li-broker li ntse li e-na le li-cores tse sa sebelisoang, ts'ebetso e ka ntlafatsoa ka ho fetola tlhophiso ea Kafka. Sena ha se mosebetsi o bonolo, kahoo ho eketsa phallo ho molemo ho sebetsa le melaetsa e meholo.

4 barekisi, boholo ba molaetsa - 512 bytes

U ka eketsa ts'ebetso ea sehlopha sa Kafka habonolo ka ho eketsa barekisi ba bacha le ho boloka ho leka-lekana ha likarolo (sena se tiisa hore mojaro o aroloa ka mokhoa o lekanang pakeng tsa barekisi). Tabeng ea rona, ka mor'a ho eketsa broker, palo ea lihlopha e ile ea eketseha ho ea ho ~580 Mb/s (~ 1,1 milione melaetsa ka motsotsoana). Khōlo e ile ea e-ba tlase ho feta kamoo ho neng ho lebeletsoe kateng: sena se hlalosoa haholo-holo ke ho se leka-lekane ha li-partitions (ha se barekisi bohle ba sebetsang ka tlhōrō ea bokhoni ba bona).

Tšebeliso ea memori ea mochini oa JVM e ile ea lula e le ka tlase ho 2 GB:

Mosebetsi oa barekisi ba nang le likoloi o anngoe ke ho se leka-lekane ha likaroloana:

fumanoeng ke

Mokhoa oa ho pheta-pheta o hlahisitsoeng ka holimo o ka atolosoa ho akaretsa maemo a rarahaneng a kenyelletsang bareki ba makholo, ho arola, ho ntlafatsa, ho qala bocha, joalo-joalo. Sena sohle se re lumella ho hlahloba meeli ea bokhoni ba sehlopha sa Kafka maemong a sa tšoaneng, ho khetholla litšitiso mosebetsing oa eona le ho fumana litsela tsa ho li loantša.

Re hlophisitse li-Supertubes ho tsamaisa sehlopha ka potlako le ha bonolo, ho se hlophisa, ho eketsa / ho tlosa barekisi le lihlooho, ho arabela litlhokomeliso, le ho netefatsa hore Kafka ka kakaretso e sebetsa hantle ho Kubernetes. Sepheo sa rona ke ho u thusa ho tsepamisa mohopolo mosebetsing oa mantlha ("hlahisa" le "ho ja" melaetsa ea Kafka), le ho tlohela mosebetsi o boima ho Supertubes le moetsi oa Kafka.

Haeba u thahasella theknoloji ea Banzai Cloud le merero ea Open Source, ingolise ho khampani ho GitHub, LinkedIn kapa Twitter.

PS ho tsoa ho mofetoleli

Bala hape ho blog ea rona:

• «Pale e le 'ngoe e nang le opareitara ea Redis ho K8s le tlhahlobo e nyane ea lisebelisoa bakeng sa ho sekaseka data ho tsoa polokelong ena.";
• «Ho falla ho se nang moeli ha RabbitMQ ho ea Kubernetes";
• «zetcd ho tsoa ho CoreOS: Ho nkela ZooKeeper sebaka ka... joalo-joalo polokelo".

Source: www.habr.com