Go'aaminta cabbirka ku habboon kooxda Kafka ee Kubernetes

Ogow. turjumiMaqaalkan, Banzai Cloud wuxuu la wadaagayaa tusaale ku saabsan sida qalabkeeda gaarka ah loogu isticmaali karo in Kafka looga dhigo mid sahlan in lagu isticmaalo gudaha Kubernetes. Tilmaamaha soo socdaa waxay muujinayaan sida aad u go'aamin karto cabbirka ugu fiican ee kaabayaashaaga oo aad u habayn karto Kafka lafteeda si aad u gaarto natiijada loo baahan yahay.

Apache Kafka waa madal qulqulka loo qaybiyay oo loogu talagalay abuurista habab la isku halayn karo, la miisaami karo oo wax qabad sare leh oo wakhtiga-dhabta ah ee habab socodka Awoodeeda cajiibka ah waxaa lagu kordhin karaa iyadoo la adeegsanayo Kubernetes. Taas ayaanu u horumarinay Isha Furan ee Kafka iyo qalab la yiraahdo Tubooyinka waaweyn. Waxay kuu oggolaanayaan inaad Kafka ku socodsiiso Kubernetes oo aad isticmaasho sifooyinkeeda kala duwan, sida hagaajinta qaabeynta dilaaliinta, miisaan ku salaysan miisaan dib-u-dheellitir ah, wacyigelinta rack, "jilicsan" ( Mahadsanid ) dib u soo cusbooneysiinta, iwm.

Isku day Supertubes ku jira kooxdaada:

curl https://getsupertubes.sh | sh и supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Ama la xidhiidh dukumentiyo. Waxa kale oo aad ka akhrisan kartaa wax ku saabsan qaar ka mid ah awoodaha Kafka, shaqada taas oo si otomaatig ah loo isticmaalo iyada oo la adeegsanayo Supertubes iyo Kafka. Horay ayaan wax uga qornay blog-ga:

• Alla maya! Weli hawlwadeen kale oo Kafka ah oo loogu talagalay Kubernetes;
• La soco oo ku shaqee Kafka ku salaysan cabbirada Prometheus;
• Kafka rack wacyigelinta Kubernetes;
• Ku socodsiinta Apache Kafka ee Istio - bartilmaameedka;
• Isticmaaluhu waxa uu xaqiijiyay oo gelay kooxaha gacanta ku haya hawlwadeenka Kafka;
• Kor u qaadista Kafka iyo qaabaynta firfircoon ee Kubernetes;
• filter borotokoolka ergeyga ee Kafka, meshed.

Markaad go'aansato inaad geyso kooxda Kafka ee Kubernetes, waxay u badan tahay inaad la kulmi doonto caqabada go'aaminta cabbirka ugu fiican ee kaabayaasha hoose iyo baahida loo qabo in la hagaajiyo qaabeynta Kafka si aad u buuxiso shuruudaha wax soo saarka. Waxqabadka ugu badan ee dillaal kasta waxaa lagu go'aamiyaa waxqabadka qaybaha kaabayaasha aasaasiga ah, sida xusuusta, processor-ka, xawaaraha diskka, bandwidth network, iwm.

Fikrad ahaan, qaabeynta dallaaliyuhu waa inuu ahaadaa sida dhammaan walxaha kaabayaasha loo isticmaalo awoodooda ugu badan. Si kastaba ha ahaatee, nolosha dhabta ah qaabkani waa mid aad u adag. Waxay u badan tahay in isticmaalayaashu ay habayn doonaan dilaaliinta si ay u kordhiyaan isticmaalka hal ama laba qaybood (disk, memory, ama processor). Guud ahaan, dallaalku wuxuu muujiyaa waxqabadka ugu sarreeya marka qaabeyntiisu u ogolaato qaybta ugu gaabis ah in la isticmaalo ilaa xadkeeda. Sidan ayaan ku heli karnaa fikrad qallafsan oo ku saabsan culeyska uu hal dillaal xamili karo.

Aragti ahaan, waxaan sidoo kale qiyaasi karnaa tirada dilaaliinta ee looga baahan yahay inay qabtaan culeyska la bixiyay. Si kastaba ha noqotee, ficil ahaan waxaa jira xulashooyin badan oo qaabeynta heerar kala duwan taas oo aad u adag (haddii aysan suurtagal ahayn) in la qiimeeyo waxqabadka suurtagalka ah ee qaabeyn gaar ah. Si kale haddii loo dhigo, aad bay u adagtahay in la qorsheeyo qaabayn ku salaysan waxqabad la bixiyay.

Isticmaalayaasha Supertubes, waxaan inta badan qaadanaa habka soo socda: waxaan ku bilownaa qaabeynta qaar ka mid ah (kaabayaasha + goobaha), ka dibna cabbiro waxqabadkeeda, hagaajinta goobaha dilaalka oo ku celi habka mar kale. Tani waxay dhacdaa ilaa qaybta ugu gaabis ah ee kaabayaasha si buuxda looga faa'iidaysto.

Sidan oo kale, waxaan helnaa fikrad cad oo ku saabsan inta dillaal ee kooxdu u baahan tahay inay xakameyso culeys gaar ah (tirada dillaaliintu waxay sidoo kale ku xiran tahay arrimo kale, sida tirada ugu yar ee nuqullada farriinta si loo hubiyo adkeysiga, tirada qaybinta madaxda iwm). Intaa waxaa dheer, waxaan helnaa aragti ku saabsan qaybaha kaabayaasha u baahan miisaan toosan.

Maqaalkani wuxuu ka hadli doonaa tillaabooyinka aan qaadno si aan uga faa'iidaysanno qaybaha ugu gaabis ah ee qaabeynta bilowga ah oo aan cabbirno wax soo saarka kooxda Kafka. Habayn aad u adkeysi leh waxay u baahan tahay ugu yaraan saddex dilaal oo ordaya (min.insync.replicas=3), oo loo qaybiyey saddex goobood oo kala duwan oo la geli karo. Si loo habeeyo, loo cabbiro loona kormeero kaabayaasha Kubernetes, waxaan u isticmaalnaa madal lagu maamulo weel u gaar ah daruuraha isku-dhafka ah - Dhuumaha. Waxay taageertaa dhismaha (biraha qaawan, VMware) iyo shan nooc oo daruur ah (Alibaba, AWS, Azure, Google, Oracle), iyo sidoo kale isku darka kasta oo iyaga ka mid ah.

Fikradaha ku saabsan kaabayaasha iyo qaabeynta kooxda Kafka

Tusaalooyinka hoose, waxaan u dooranay AWS sida bixiyaha daruuraha iyo EKS sida qaybinta Kubernetes. Habayn la mid ah ayaa lagu hirgelin karaa iyadoo la isticmaalayo P.K.E. - Qaybinta Kubernetes ee Banzai Cloud, oo ay shahaado ka bixisay CNCF.

disk

Amazon waxay bixisaa noocyo kala duwan Noocyada mugga EBS. Xagga xudunta gp2 и io1 si kastaba ha ahaatee, waxaa jira SSDs, si kastaba ha ahaatee, si loo hubiyo wax soo saarka sare gp2 isticmaala credits urursan (I/O credits), sidaas darteed waxaan doorbidnay nooca io1, kaas oo bixiya wax soo saar sare oo joogto ah.

Noocyada tusaalaha

Waxqabadka Kafka wuxuu si aad ah ugu tiirsan yahay bogga nidaamka qalliinka ee khasnadda, markaa waxaan u baahannahay tusaaleyaal leh xasuus ku filan dullaaliinta (JVM) iyo khasnado bogga. Tusaale c5.2x weyn - bilow wanaagsan, tan iyo markii ay leedahay 16 GB ee xusuusta iyo la wanaajiyay in lala shaqeeyo EBS. Khasaaradeedu waa inay awood u leedahay inay bixiso waxqabadka ugu sarreeya oo aan ka badnayn 30 daqiiqo 24 saacadoodba. Haddii culeyskaagu u baahan yahay waxqabadka ugu sarreeya muddo dheer, waxaa laga yaabaa inaad rabto inaad tixgeliso noocyada kale ee tusaale ahaan. Taasi waa sida saxda ah ee aan sameynay, ku joojinay c5.4x weyn. Waxay ku siinaysaa soo gelista ugu badan 593,75 Mbps. Soosaarka ugu badan ee mugga EBS io1 ka sarreeya tusaale ahaan c5.4x weyn, markaa qaybta ugu gaabis ah ee kaabayaasha waxay u badan tahay inay noqoto I/O soo saarida nooca tusaalaha ah (taas oo ay tahay in imtixaanadayada culaysku ay xaqiijiyaan).

Shabakad

Wax-soo-saarka shabakadu waa inuu ahaadaa mid weyn oo ku filan marka la barbar dhigo waxqabadka tusaale ahaan VM iyo diskka, haddii kale shabakadu waxay noqotaa cilad. Xaaladeena, isku xirka shabakada c5.4x weyn waxay taageertaa xawaaruhu ilaa 10 Gb/s, kaas oo aad uga sarreeya soo saarista I/O ee tusaale ahaan VM.

Dillaalka Dirista

Dallaaliinta waa in la geeyo (loogu qorsheeyey Kubernetes) qanjidhada go'an si looga fogaado in lagula tartamo hababka kale ee CPU, xusuusta, shabakada, iyo ilaha diskka.

Nooca Java

Doorashada macquulka ah waa Java 11 sababtoo ah waxay la jaan qaadaysaa Docker macnaha in JVM ay si sax ah u go'aamiso processor-yada iyo xusuusta la heli karo weelka uu ku dhex socdo dullaalku. Ogaanshaha in xaddidaadaha CPU ay muhiim yihiin, JVM gudaha iyo si hufan ayaa u dejisa tirada dunta GC iyo dunta JIT. Waxaan isticmaalnay sawirka Kafka banzaicloud/kafka:2.13-2.4.0, oo ay ku jiraan nooca Kafka 2.4.0 (Scala 2.13) ee Java 11.

Haddii aad jeclaan lahayd inaad wax badan ka barato Java/JVM Kubernetes, hubi qoraaladayada soo socda:

• Waa maxay sababta codsigayga Java uu yahay OOMKilled;
• Sida saxda ah ee loo cabbiro weelasha Java 10 codsiyada.

Dejinta xusuusta Broker

Waxaa jira laba waji oo muhiim ah oo lagu habeynayo xusuusta dilaalka: dejinta JVM iyo Kubernetes pod. Xadka xusuusta ee loo dejiyay boodhka waa in uu ka weynaadaa cabbirka taallo ee ugu badan si JVM-gu uu boos ugu helo meeraha Java ee ku dhex jira xusuusta u gaarka ah iyo khasnadda nidaamka hawlgalka ee Kafka si firfircoon u isticmaasho. Tijaabooyinkeena waxaan ku bilownay dilaaliinta Kafka oo leh xuduudo -Xmx4G -Xms2G, iyo xadka xusuusta ee boodhka ayaa ahaa 10 Gi. Fadlan ogow in goobaha xusuusta ee JVM si toos ah loo heli karo iyadoo la isticmaalayo -XX:MaxRAMPercentage и -X:MinRAMPercentage, oo ku salaysan xadka xusuusta ee boodhka.

Dejinta processor-ka Broker

Guud ahaan, waxaad hagaajin kartaa waxqabadka adiga oo kordhinaya isbarbardhigga adiga oo kordhinaya tirada dunta ay isticmaasho Kafka. Inta badan processor-rada loo heli karo Kafka, ayaa ka sii wanaagsan. Imtixaankayaga, waxaanu ku bilownay xadka 6 processor-ka oo si tartiib tartiib ah (iyada oo loo marayo ku celcelinta) kor loo qaado lambarkooda 15. Intaa waxaa dheer, waxaanu dejinnay num.network.threads=12 ee goobaha dilaaliinta si loo kordhiyo tirada dunta ka hela xogta shabakada oo u dirto. Isla markii la ogaaday in dilaaliinta raacdadu aysan si dhakhso ah u heli karin nuqullada, way kordheen num.replica.fetchers ilaa 4 si loo kordhiyo xawaaraha ay dilaaliinta raacsan ku celceliyaan fariimaha madaxda.

Qalabka Jiilka Xamuulka

Waa inaad hubisaa in koronto dhaliyaha la doortay uusan dhammaanin awoodda ka hor inta aysan kooxda Kafka (taas oo la calaamadeeyay) aysan gaarin culeyska ugu badan. Si kale haddii loo dhigo, waa lagama maarmaan in la sameeyo qiimeyn horudhac ah oo ku saabsan awoodaha qalabka abuurista rarka, iyo sidoo kale dooro noocyo tusaale ah oo leh tiro ku filan oo processor iyo xusuusta ah. Xaaladdan oo kale, qalabkeenu wuxuu soo saari doonaa culeys ka badan inta kooxda Kafka ay xamili karto. Tijaabooyin badan ka dib, waxaan ku degnay seddex nuqul c5.4x weyn, kuwaas oo mid walba uu lahaa koronto-dhaliyaha.

Benchmarking

Cabbirka hawlqabadku waa habsocod soo noqnoqonaysa oo ay ku jiraan marxaladaha soo socda:

• dejinta kaabayaasha (kutlada EKS, kooxda Kafka, qalabka wax soo saarka, iyo sidoo kale Prometheus iyo Grafana);
• abuurista culays muddo cayiman ah si loo shaandheeyo weecsanaanta random ee tilmaamayaasha waxqabadka la ururiyey;
• hagaajinta kaabayaasha iyo qaabeynta dilaalka oo ku saleysan tilmaamayaasha waxqabadka la arkay;
• ku celcelinta habka ilaa heerka loo baahan yahay ee wax soo saarka kutlada Kafka laga gaarayo. Isla mar ahaantaana, waa inay noqotaa mid si joogto ah dib loo soo saari karo oo ay muujiso kala duwanaanshiyaha ugu yar ee wax soo saarka.

Qaybta soo socotaa waxay sharraxaysaa tillaabooyinka la sameeyay intii lagu jiray nidaamka qiimaynta kooxda tijaabada.

alaabtii

Aaladaha soo socda ayaa loo isticmaalay in si degdeg ah loo geeyo habaynta gundhigga, curinta culayska, iyo cabbirka waxqabadka:

• Banzai Cloud Dhuumaha Abaabulka kooxda EKS ee Amazon c Prometheus (si loo ururiyo Kafka iyo mitirka kaabayaasha) iyo Grafana (si loo sawiro cabbiradan). Waanu ka faa’iidaysanay isku dhafan в Dhuumaha adeegyada bixiya la socodka federaalku, ururinta kaydinta kaydka dhexe, baadhista nuglaanta, ka soo kabashada musiibada, amniga heerka ganacsiga iyo wax ka badan.
• Sangrenel - qalab lagu tijaabiyo rarka kafka.
• Grafana dashboards si loogu sawiro qiyaasaha Kafka iyo kaabayaasha: Kubernetes Kafka, Node dhoofiyaha.
• Supertubes CLI oo ah habka ugu fudud ee lagu samayn karo kooxda Kafka ee Kubernetes. Xayawaanka, hawl wadeenka Kafka, Ergeyga iyo qaybo kale oo badan ayaa la rakibay oo si sax ah loo habeeyey si ay u maamulaan koox Kafka ah oo diyaarsan oo ku saabsan Kubernetes.
  • Si loo rakibo supertubes CLI isticmaal tilmaamaha lagu siiyey halkan.

Kooxda EKS

U diyaari koox EKS ah oo leh qanjidhada shaqaale ee go'an c5.4x weyn meelo kala duwan oo la heli karo oo loogu talagalay boodhadhka leh dilaaliinta Kafka, iyo sidoo kale noodhka u go'an curiyaha xamuulka iyo kaabayaasha la socodka.

banzai cluster create -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/cluster_eks_202001.json

Marka kooxda EKS ay kor u kacdo oo ay shaqeyso, awood isku dhafka adeega la socodka - waxay geyn doontaa Prometheus iyo Grafana koox.

Qaybaha nidaamka Kafka

Ku rakib qaybaha nidaamka Kafka (Zookeeper, kafka-operator) gudaha EKS adoo isticmaalaya supertubes CLI:

supertubes install -a --no-democluster --kubeconfig <path-to-eks-cluster-kubeconfig-file>

Kooxda Kafka

Sida caadiga ah, EKS waxay isticmaashaa tirada EBS ee nooca gp2, markaa waxaad u baahan tahay inaad abuurto fasal kaydin gaar ah oo ku salaysan mugga io1 Kooxda Kafka:

kubectl create -f - <<EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: fast-ssd
provisioner: kubernetes.io/aws-ebs
parameters:
  type: io1
  iopsPerGB: "50"
  fsType: ext4
volumeBindingMode: WaitForFirstConsumer
EOF

U deji qiyaasta dullaaliinta min.insync.replicas=3 oo geeyaan galalka dilaaliinta ee noodhka saddex aag oo kala duwan oo la heli karo:

supertubes cluster create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f https://raw.githubusercontent.com/banzaicloud/kafka-operator/master/docs/benchmarks/infrastructure/kafka_202001_3brokers.yaml --wait --timeout 600

Mowduucyada

Waxaan wadnay saddex tusaale oo koronto dhaliya oo is barbar socda. Mid kasta oo iyaga ka mid ah wax buu u qoraa mawduuciisa, taas oo ah, waxaan u baahanahay saddex mawduuc oo dhan:

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest1
spec:
  name: perftest1
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
    name: perftest2
spec:
  name: perftest2
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

supertubes cluster topic create -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file> -f -<<EOF
apiVersion: kafka.banzaicloud.io/v1alpha1
kind: KafkaTopic
metadata:
  name: perftest3
spec:
  name: perftest3
  partitions: 12
  replicationFactor: 3
  retention.ms: '28800000'
  cleanup.policy: delete
EOF

Mawduuc kasta, qodobka dib-u-celinta waa 3-qiimaha ugu yar ee lagu taliyey ee hababka wax-soo-saarka aadka loo heli karo.

Qalabka Jiilka Xamuulka

Waxaan soo saarnay saddex koobi oo ka mid ah koronto-dhaliyaha xamuulka (mid walba wuxuu ku qoray mowduuc gaar ah). Galalka koronto dhaliyaha, waxaad u baahan tahay inaad dejiso xiriirka noodhka si loogu jadwaleeyo kaliya qanjidhada loo qoondeeyay:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: loadtest
  name: perf-load1
  namespace: kafka
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: loadtest
  strategy:
    rollingUpdate:
      maxSurge: 25%
      maxUnavailable: 25%
    type: RollingUpdate
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: loadtest
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: nodepool.banzaicloud.io/name
                operator: In
                values:
                - loadgen
      containers:
      - args:
        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092
        - -topic=perftest1
        - -required-acks=all
        - -message-size=512
        - -workers=20
        image: banzaicloud/perfload:0.1.0-blog
        imagePullPolicy: Always
        name: sangrenel
        resources:
          limits:
            cpu: 2
            memory: 1Gi
          requests:
            cpu: 2
            memory: 1Gi
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      schedulerName: default-scheduler
      securityContext: {}
      terminationGracePeriodSeconds: 30

Dhowr qodob oo mudan in la xuso:

• Matoor dhaliyaha xamuulka ah ayaa soo saara farriimaha 512 bytes oo dhererkoodu yahay wuxuuna ku daabacaa Kafka dufcad 500 oo farriimo ah.
• Isticmaalka dood -required-acks=all Daabacaadda waxa loo tixgalinayaa mid guulaysata marka dhammaan nuqullada fariinta la mideeyey ay helaan oo ay xaqiijiyaan dilaaliinta Kafka. Tani waxay ka dhigan tahay in bartilmaameedka aan ku cabbirnay oo keliya xawaaraha hoggaamiyeyaasha helaya farriimaha, laakiin sidoo kale taageerayaashooda fariimaha soo celcelinaya. Ujeedada imtixaankani maaha in la qiimeeyo xawaaraha akhriska ee macaamilka (macaamiisha) dhawaan la helay farriimaha wali ku sii jira kaydka bogga OS, iyo marka la barbardhigo xawaaraha akhrinta fariimaha ku kaydsan saxanka.
• Matoor dhaliyaha culaysku waxa uu wadaa 20 shaqaale ah oo is barbar socda (-workers=20). Shaqaale kasta waxa uu ka kooban yahay 5 soo saarayaal oo wadaaga xidhiidhka shaqaalaha ee kooxda Kafka. Natiijo ahaan, koronto-dhaliye kastaa wuxuu leeyahay 100 soo-saarayaal, waxayna dhammaantood fariimo u diraan kooxda Kafka.

La socodka caafimaadka kooxda

Intii lagu jiray tijaabada culeyska ee kooxda Kafka, waxaan sidoo kale la soconay caafimaadkeeda si aan u hubinno in aysan jirin dib-u-bilaabid boodh ah, wax nuqul ah oo aan la jaanqaadi karin, iyo wax soo saarka ugu badnaan oo leh isbeddello yar:

• Koronto dhaliyaha culeyska ayaa qoraya tirakoobka caadiga ah ee ku saabsan tirada fariimaha la daabacay iyo heerka qaladka. Heerka khaladku waa inuu ahaadaa sidii hore 0,00%.
• Control Cruise, oo uu diray kafka-operator, waxa uu bixiyaa dashboard meesha aanu sidoo kale kula socon karno xaalada kooxda. Si aad u aragto guddigan samee:

  supertubes cluster cruisecontrol show -n kafka --kubeconfig <path-to-eks-cluster-kubeconfig-file>

• heerka ISR (lambarka "in-sync" nuqullada) dhimis iyo fidintu waxay la mid yihiin 0.

Natiijooyinka cabbirka

3 dilaaliinta, cabbirka fariinta - 512 bytes

Iyada oo qaybo si siman loo qaybiyay saddex dallaal, waxaan awoodnay inaan gaarno waxqabadka ~ 500 Mb/s (qiyaastii 990 kun oo farriimo ilbiriqsikii):

Isticmaalka xusuusta mashiinka farsamada ee JVM kama uusan dhaafin 2 GB:

Wax-soo-saarka diskku wuxuu gaaray ugu badnaan tirada I/O ee dhammaan saddexda xaaladood ee dilaaliinta ay ku shaqeynayeen:

Laga soo bilaabo xogta ku saabsan isticmaalka xusuusta ee noodhadhka, waxay raacaysaa in nidaamka kaydinta iyo kaydinta ay qaateen ~ 10-15 GB:

3 dilaaliinta, cabbirka fariinta - 100 bytes

Marka cabbirka fariintu hoos u dhacdo, wax soo saarka ayaa hoos u dhacaya qiyaastii 15-20%: wakhtiga lagu qaato socodsiinta fariin kasta ayaa saameynaysa. Intaa waxaa dheer, culeyska processor-ka ayaa ku dhawaad ​​labanlaabmay.

Maadaama qanjidhada dilaaliinta ay wali leeyihiin koofiyadaha aan la isticmaalin, waxqabadka waxaa lagu wanaajin karaa iyadoo la bedelayo qaabeynta Kafka. Tani ma aha hawl fudud, markaa si loo kordhiyo wax-soo-saarka waxa fiican in lagu shaqeeyo farriimaha waaweyn.

4 dilaaliinta, cabbirka fariinta - 512 bytes

Waxaad si fudud u kordhin kartaa waxqabadka kooxda Kafka adiga oo si fudud ugu daraya dilaaliinta cusub iyo ilaalinta dheelitirka qaybaha (tani waxay hubinaysaa in culeysku si siman u qaybsan yahay dullaaliinta). Xaaladeena, ka dib markii aan ku darnay dilaal, wax-soo-saarka kutlada ayaa kordhay ~ 580 Mb/s (~ 1,1 milyan farriimaha ilbiriqsikii). Kobaca ayaa noqday mid ka yar sidii la filayay: tani waxay inta badan sabab u tahay isku dheelitir la'aanta qaybaha (dhammaan dillaaliintu ma shaqeeyaan heerka ugu sarreeya ee awooddooda).

Isticmaalka xusuusta mashiinka JVM wuxuu ka hooseeyaa 2 GB:

Shaqada dillaaliinta wata darawallada waxaa saameeyay isku dheelitir la'aanta qaybaha:

natiijooyinka

Habka soo noqnoqda ee kor lagu soo bandhigay waa la ballaarin karaa si loo daboolo xaalado aad u adag oo ku lug leh boqolaal macaamiisha ah, dib u qaybinta, cusbooneysiinta duubista, dib u bilaabashada, iwm. Dhammaan tani waxay noo ogolaaneysaa inaan qiimeyno xadka awoodaha kooxda Kafka ee xaalado kala duwan, aqoonsanno caqabadaha hawlgalkeeda oo aan helno siyaabo lagula dagaallamo.

Waxaan u qaabeynay Supertubes si ay si dhakhso ah oo sahlan u geyso koox, u habeyso, ku darso/saarto dilaaliinta iyo mowduucyada, uga jawaabto digniinaha, iyo hubinta in Kafka guud ahaan si sax ah ugu shaqeyso Kubernetes. Hadafkayagu waa inaan kaa caawino inaad xoogga saarto hawsha ugu weyn ("dhalmi" iyo "qaado" fariimaha Kafka), oo aad uga tagto dhammaan shaqada adag ee Supertubes iyo hawlwadeenka Kafka.

Haddii aad xiisaynayso tignoolajiyada Banzai Cloud iyo mashaariicda Isha Furan, ku biir shirkadda GitHub, LinkedIn ama Twitter.

PS ka turjumaan

Sidoo kale ka akhri boggayaga:

• «Hal sheeko oo uu la leeyahay hawl wadeenka Redis ee K8s iyo dib u eegis yar oo yutiilitida ah oo lagu falanqaynayo xogta xogtan";
• «U haajiridda bilaa xadka ah ee RabbitMQ ee Kubernetes";
• «zetcd ka CoreOS: Ku beddelashada ZooKeeper...iwm kaydinta".

Source: www.habr.com