{"id":71213,"date":"2020-02-24T16:09:17","date_gmt":"2020-02-24T13:09:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes"},"modified":"2020-03-03T16:14:29","modified_gmt":"2020-03-03T13:14:29","slug":"opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes","title":{"rendered":"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p><i><b>Megjegyz\u00e9s ford\u00edt\u00e1s.<\/b>: Ebben a cikkben a Banzai Cloud bemutatja annak az egyedi eszk\u00f6z\u00e9nek haszn\u00e1lat\u00e1t, amely megk\u00f6nny\u00edti a Kafka \u00fczemeltet\u00e9s\u00e9t a Kubernetes keretein bel\u00fcl. A bemutatott utas\u00edt\u00e1sok szeml\u00e9ltetik, hogyan lehet meghat\u00e1rozni az optim\u00e1lis infrastrukt\u00fara m\u00e9ret\u00e9t \u00e9s be\u00e1ll\u00edtani mag\u00e1t a Kafk\u00e1t a sz\u00fcks\u00e9ges \u00e1tereszt\u0151k\u00e9pess\u00e9g el\u00e9r\u00e9s\u00e9hez.<\/i><\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/8a598ec7db091c2944a6442f9bc124da.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nAz Apache Kafka egy elosztott streamel\u0151 platform, amely megb\u00edzhat\u00f3, sk\u00e1l\u00e1zhat\u00f3 \u00e9s nagy teljes\u00edtm\u00e9ny\u0171 val\u00f3s idej\u0171 adatfolyam rendszerek l\u00e9trehoz\u00e1s\u00e1ra szolg\u00e1l. Figyelemre m\u00e9lt\u00f3 k\u00e9pess\u00e9geit a Kubernetes seg\u00edts\u00e9g\u00e9vel lehet tov\u00e1bb b\u0151v\u00edteni. Ehhez kidolgoztuk <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/banzaicloud\/kafka-operator\">az Open Source Kafka oper\u00e1tort<\/a><\/noindex> \u00e9s egy eszk\u00f6zt, amelyet <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/docs\/supertubes\/overview\/\">Supertubes-nak<\/a><\/noindex>h\u00edvunk. Ezek lehet\u0151v\u00e9 teszik a Kafka futtat\u00e1s\u00e1t Kubernetes-ben, \u00e9s kihaszn\u00e1lhatjuk sz\u00e1mos funkci\u00f3j\u00e1t, p\u00e9ld\u00e1ul a broker konfigur\u00e1ci\u00f3 finomhangol\u00e1s\u00e1t, a metrik\u00e1k alap\u00fa sk\u00e1l\u00e1z\u00e1st \u00fajra egyens\u00falyoz\u00e1ssal, a rack awareness-t (hardver er\u0151forr\u00e1sok tudom\u00e1sul v\u00e9tele), a \u201el\u00e1gy\u201d <i>(graceful)<\/i> friss\u00edt\u00e9sek kiad\u00e1s\u00e1t stb.<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<blockquote><p>Pr\u00f3b\u00e1lja ki a Supertubes-t a klaszter\u00e9ben:<\/p>\n<pre><code class=\"bash\">curl https:\/\/getsupertubes.sh | sh \u00e9s supertubes install -a --no-democluster --kubeconfig<\/code><\/pre>\n<p>\nVagy l\u00e9pjen kapcsolatba a <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/docs\/supertubes\/cli\/reference\/\">dokument\u00e1ci\u00f3<\/a><\/noindex>-kal. Emellett olvashat a Kafka sz\u00e1mos funkci\u00f3j\u00e1r\u00f3l, amelyek automatiz\u00e1l\u00e1sra ker\u00fcltek a Supertubes \u00e9s a Kafka oper\u00e1tor seg\u00edts\u00e9g\u00e9vel. Ezekr\u0151l m\u00e1r \u00edrtunk a blogunkban:<\/p>\n<ul>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-operator\/\">\u00d3 nem! M\u00e9g egy Kafka oper\u00e1tor a Kuberneteshez<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-alert\/\">Monitorozza \u00e9s m\u0171k\u00f6dtesse a Kafk\u00e1t a Prometheus metrik\u00e1k alapj\u00e1n<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-rack-awareness\/\">Kafka rack awareness a Kubernetesben<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-on-istio-performance\/\">Az Apache Kafka futtat\u00e1sa Istio-n kereszt\u00fcl - teljes\u00edtm\u00e9nyteszt<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-topic-user-management\/\">Felhaszn\u00e1l\u00f3 \u00e1ltal hiteles\u00edtett \u00e9s hozz\u00e1f\u00e9r\u00e9s-vez\u00e9relt klaszterek a Kafka oper\u00e1torral<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-rolling-upgrade\/\">Kafka folyamatos friss\u00edt\u00e9se \u00e9s dinamikus konfigur\u00e1ci\u00f3 a Kubernetesben<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/kafka-envoy-protocol-filter\/\">Envoy protokoll sz\u0171r\u0151 a Kafka sz\u00e1m\u00e1ra, mesh-ben<\/a><\/noindex>.<\/li>\n<\/ul>\n<\/blockquote>\n<p>\nHa \u00fagy d\u00f6nt, hogy Kafka klasztert telep\u00edt Kubernetes-be, val\u00f3sz\u00edn\u0171leg szembes\u00fcl majd a megfelel\u0151 alapinfrastrukt\u00fara m\u00e9ret\u00e9nek meghat\u00e1roz\u00e1s\u00e1val \u00e9s a Kafka konfigur\u00e1ci\u00f3j\u00e1nak finomhangol\u00e1s\u00e1nak sz\u00fcks\u00e9gess\u00e9g\u00e9vel az \u00e1tereszt\u0151k\u00e9pess\u00e9gi k\u00f6vetelm\u00e9nyek kiel\u00e9g\u00edt\u00e9se \u00e9rdek\u00e9ben. Minden broker maxim\u00e1lis teljes\u00edtm\u00e9nye az alapj\u00e1ul szolg\u00e1l\u00f3 infrastrukt\u00fara komponensek teljes\u00edtm\u00e9ny\u00e9t\u0151l f\u00fcgg, mint p\u00e9ld\u00e1ul a mem\u00f3ria, a processzor, a lemez sebess\u00e9ge, a h\u00e1l\u00f3zati s\u00e1vsz\u00e9less\u00e9g stb.<\/p>\n<p>Ide\u00e1lis esetben a br\u00f3kerek konfigur\u00e1ci\u00f3ja \u00fagy kellene, hogy alakuljon, hogy az \u00f6sszes infrastrukt\u00faraelem maxim\u00e1lis kapacit\u00e1s\u00e1val m\u0171k\u00f6dhessen. Azonban a val\u00f3s\u00e1gban ez a be\u00e1ll\u00edt\u00e1s meglehet\u0151sen bonyolult. Sokkal val\u00f3sz\u00edn\u0171bb, hogy a felhaszn\u00e1l\u00f3k a br\u00f3kerek konfigur\u00e1ci\u00f3j\u00e1t \u00fagy \u00e1ll\u00edtj\u00e1k be, hogy egy vagy k\u00e9t komponens (t\u00e1rol\u00f3, mem\u00f3ria vagy processzor) maxim\u00e1lis kihaszn\u00e1l\u00e1sa \u00e9rdek\u00e9ben optimaliz\u00e1lj\u00e1k. \u00c1ltal\u00e1noss\u00e1gban elmondhat\u00f3, hogy a br\u00f3ker a legjobb teljes\u00edtm\u00e9nyt akkor ny\u00fajtja, amikor a konfigur\u00e1ci\u00f3ja lehet\u0151v\u00e9 teszi a leglassabb komponens \u201eteljes kihaszn\u00e1l\u00e1s\u00e1t\u201d. \u00cdgy k\u00f6r\u00fclbel\u00fcl meg\u00e9rthetj\u00fck, milyen terhel\u00e9snek k\u00e9pes megfelelni egy br\u00f3ker.<\/p>\n<p>Elm\u00e9letileg a br\u00f3kerek sz\u00e1m\u00e1t is megbecs\u00fclhetj\u00fck, amely sz\u00fcks\u00e9ges egy adott terhel\u00e9s kezel\u00e9s\u00e9re. A gyakorlatban azonban a k\u00fcl\u00f6nb\u00f6z\u0151 szint\u0171 be\u00e1ll\u00edt\u00e1si lehet\u0151s\u00e9gek olyan sz\u00e1mosak, hogy meglehet\u0151sen neh\u00e9z (ha nem lehetetlen) megbecs\u00fclni egy adott konfigur\u00e1ci\u00f3 potenci\u00e1lis teljes\u00edtm\u00e9ny\u00e9t. M\u00e1s szavakkal: neh\u00e9z olyan konfigur\u00e1ci\u00f3t tervezni, amely egy adott teljes\u00edtm\u00e9nyre alapozva t\u00f6rt\u00e9nik.<\/p>\n<p>A Supertubes felhaszn\u00e1l\u00f3i sz\u00e1m\u00e1ra \u00e1ltal\u00e1ban a k\u00f6vetkez\u0151 megk\u00f6zel\u00edt\u00e9st alkalmazzuk: egy adott konfigur\u00e1ci\u00f3val (infrastrukt\u00fara + be\u00e1ll\u00edt\u00e1sok) kezd\u00fcnk, majd m\u00e9rj\u00fck a teljes\u00edtm\u00e9ny\u00e9t, kiigaz\u00edtjuk a br\u00f3ker be\u00e1ll\u00edt\u00e1sait \u00e9s \u00fajra ism\u00e9telj\u00fck a folyamatot. Ez addig folytat\u00f3dik, am\u00edg az infrastrukt\u00fara leglassabb komponens\u00e9nek potenci\u00e1lj\u00e1t teljesen ki nem haszn\u00e1ljuk.<\/p>\n<p>Ezzel a m\u00f3dszerrel vil\u00e1gosabb k\u00e9pet kapunk arr\u00f3l, hogy h\u00e1ny br\u00f3ker sz\u00fcks\u00e9ges a klaszternek ahhoz, hogy kezelni tudjon egy adott terhel\u00e9st (a br\u00f3kerek sz\u00e1ma m\u00e1s t\u00e9nyez\u0151kt\u0151l is f\u00fcgg, p\u00e9ld\u00e1ul a reziliencia biztos\u00edt\u00e1s\u00e1hoz sz\u00fcks\u00e9ges minim\u00e1lis \u00fczenetreplica sz\u00e1m\u00e1t\u00f3l, a part\u00edci\u00f3-vezet\u0151k sz\u00e1m\u00e1t\u00f3l stb.). Ezenk\u00edv\u00fcl k\u00e9pet kapunk arr\u00f3l is, hogy melyik infrastrukt\u00faraelemet javasolt f\u00fcgg\u0151legesen sk\u00e1l\u00e1zni.<\/p>\n<p>Ebben a cikkben arr\u00f3l lesz sz\u00f3, hogy milyen l\u00e9p\u00e9seket tesz\u00fcnk annak \u00e9rdek\u00e9ben, hogy \u201ekihozzunk mindent\u201d a leglassabb komponensekb\u0151l a kezdeti konfigur\u00e1ci\u00f3kban, \u00e9s hogyan m\u00e9rj\u00fck a Kafka klaszter \u00e1tereszt\u0151k\u00e9pess\u00e9g\u00e9t. A magas rendelkez\u00e9sre \u00e1ll\u00e1s\u00fa konfigur\u00e1ci\u00f3 legal\u00e1bb h\u00e1rom m\u0171k\u00f6d\u0151 br\u00f3kert ig\u00e9nyel (<code>min.insync.replicas=3<\/code>), amelyek h\u00e1rom k\u00fcl\u00f6nb\u00f6z\u0151 el\u00e9rhet\u0151s\u00e9gi z\u00f3n\u00e1ra vannak osztva. A Kubernetes infrastrukt\u00fara be\u00e1ll\u00edt\u00e1s\u00e1hoz, m\u00e9retez\u00e9s\u00e9hez \u00e9s monitoroz\u00e1s\u00e1hoz saj\u00e1t kont\u00e9nerkezel\u0151 platformunkat haszn\u00e1ljuk hibrid felh\u0151khoz \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/banzaicloud\/pipeline\">Pipeline<\/a><\/noindex>. T\u00e1mogatja az on-premise (bare metal, VMware) \u00e9s \u00f6t k\u00fcl\u00f6nb\u00f6z\u0151 felh\u0151t\u00edpust (Alibaba, AWS, Azure, Google, Oracle), valamint ezek b\u00e1rmilyen kombin\u00e1ci\u00f3j\u00e1t.<\/p>\n<h2>Gondolatok a Kafka infrastrukt\u00far\u00e1j\u00e1r\u00f3l \u00e9s a klaszter konfigur\u00e1l\u00e1s\u00e1r\u00f3l<\/h2>\n<p>\nA k\u00f6vetkez\u0151 p\u00e9ld\u00e1khoz az AWS-t v\u00e1lasztottuk felh\u0151szolg\u00e1ltat\u00f3k\u00e9nt \u00e9s az EKS-t Kubernetes disztrib\u00faci\u00f3k\u00e9nt. Hasonl\u00f3 konfigur\u00e1ci\u00f3 val\u00f3s\u00edthat\u00f3 meg <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/banzaicloud\/pke\">PKE<\/a><\/noindex> \u2014 a Banzai Cloud Kubernetes disztrib\u00faci\u00f3ja, amelyet a CNCF tan\u00fas\u00edtott.<\/p>\n<h3>Lemez<\/h3>\n<p>\nAz Amazon k\u00fcl\u00f6nb\u00f6z\u0151 <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.aws.amazon.com\/AWSEC2\/latest\/UserGuide\/ebs-volume-types.html\">EBS k\u00f6tet t\u00edpusokat<\/a><\/noindex>. Az alapja <i>gp2<\/i> \u00e9s <i>io1<\/i> SSD meghajt\u00f3k, azonban a nagy s\u00e1vsz\u00e9less\u00e9g biztos\u00edt\u00e1s\u00e1hoz <i>gp2<\/i> az \u00f6sszegy\u0171jt\u00f6tt krediteket haszn\u00e1lja <i>(I\/O kreditek)<\/i>, ez\u00e9rt egy olyan t\u00edpust v\u00e1lasztottunk, <i>io1<\/i>, amely stabil, magas s\u00e1vsz\u00e9less\u00e9get k\u00edn\u00e1l.<\/p>\n<h3>Az instances t\u00edpusa<\/h3>\n<p>\nA Kafka teljes\u00edtm\u00e9nye nagym\u00e9rt\u00e9kben f\u00fcgg az oper\u00e1ci\u00f3s rendszer lapcache-\u00e9t\u0151l, ez\u00e9rt elegend\u0151 mem\u00f3ri\u00e1val kell rendelkezn\u00fcnk a broker sz\u00e1m\u00e1ra (JVM) \u00e9s a lapcache-hez. A <i>c5.2xlarge<\/i> nagyszer\u0171 kezdet, mivel 16 GB mem\u00f3ri\u00e1t k\u00edn\u00e1l \u00e9s <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.aws.amazon.com\/AWSEC2\/latest\/UserGuide\/ebs-optimized.html\">optimaliz\u00e1lt az EBS haszn\u00e1lat\u00e1ra.<\/a><\/noindex>H\u00e1tr\u00e1nya, hogy maxim\u00e1lis teljes\u00edtm\u00e9nyt legfeljebb 30 percig k\u00e9pes biztos\u00edtani 24 \u00f3r\u00e1n bel\u00fcl. Ha a munkaterhel\u00e9s hosszabb ideig ig\u00e9nyli a maxim\u00e1lis teljes\u00edtm\u00e9nyt, \u00e9rdemes m\u00e1s instance t\u00edpusokat is megfontolni. Mi \u00edgy is tett\u00fcnk, \u00e9s a <i>c5.4xlarge<\/i>t\u00edpus mellett d\u00f6nt\u00f6tt\u00fcnk. Ez biztos\u00edtja a maxim\u00e1lis s\u00e1vsz\u00e9less\u00e9get <b>593,75 MB\/s<\/b>. Az EBS k\u00f6tet maxim\u00e1lis s\u00e1vsz\u00e9less\u00e9ge <i>io1<\/i> nagyobb, mint az instance-\u00e9, <i>c5.4xlarge<\/i>ez\u00e9rt az infrastrukt\u00fara leglassabb eleme v\u00e9lhet\u0151en a VM instance I\/O s\u00e1vsz\u00e9less\u00e9ge (amit a terhel\u00e9si tesztjeink eredm\u00e9nyei is meger\u0151s\u00edthetnek).<\/p>\n<h3>H\u00e1l\u00f3zat<\/h3>\n<p>\nA h\u00e1l\u00f3zati s\u00e1vsz\u00e9less\u00e9gnek elegend\u0151en nagynak kell lennie az VM instance \u00e9s a lemez teljes\u00edtm\u00e9ny\u00e9hez k\u00e9pest, k\u00fcl\u00f6nben a h\u00e1l\u00f3zat sz\u0171k keresztmetszett\u00e9 v\u00e1lik. A mi eset\u00fcnkben a h\u00e1l\u00f3zati interf\u00e9sz <i>c5.4xlarge<\/i> 10 Gb\/s-ig t\u00e1mogatott, ami jelent\u0151sen meghaladja a VM instance I\/O s\u00e1vsz\u00e9less\u00e9g\u00e9t.<\/p>\n<h3>Broker-ek telep\u00edt\u00e9se<\/h3>\n<p>\nA br\u00f3kereknek dedik\u00e1lt csom\u00f3pontokon kell futniuk (Kubernetes-ben \u00fczembe helyezve), hogy elker\u00fclj\u00e9k a versenyt m\u00e1s folyamatokkal a processzor, mem\u00f3ria, h\u00e1l\u00f3zat \u00e9s lemez er\u0151forr\u00e1sai\u00e9rt.<\/p>\n<h3>Java verzi\u00f3<\/h3>\n<p>\nA logikus v\u00e1laszt\u00e1s a Java 11, mivel az kompatibilis a Dockerrel abban az \u00e9rtelemben, hogy a JVM helyesen azonos\u00edtja a brokerhez el\u00e9rhet\u0151 processzorokat \u00e9s mem\u00f3ri\u00e1t. Tudva, hogy a processzorlimitek fontosak, a JVM bels\u0151leg \u00e9s \u00e1tl\u00e1that\u00f3an be\u00e1ll\u00edtja a GC \u00e9s JIT ford\u00edt\u00f3 sz\u00e1lak sz\u00e1m\u00e1t. Mi a k\u00f6vetkez\u0151 k\u00e9pet haszn\u00e1ltuk: <code>banzaicloud\/kafka:2.13-2.4.0<\/code>, amely tartalmazza a Kafka 2.4.0 (Scala 2.13) verzi\u00f3t Java 11-en.<\/p>\n<blockquote><p>Ha t\u00f6bbet szeretne tudni a Java\/JVM Kubernetes-en v\u00e9gzett haszn\u00e1lat\u00e1r\u00f3l, figyeljen a k\u00f6vetkez\u0151 kiadv\u00e1nyainkra:<\/p>\n<ul>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/java-resource-limits\/\">Why my Java application is OOMKilled<\/a><\/noindex>;<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/blog\/java10-container-sizing\/\">How to correctly size containers for Java 10 applications<\/a><\/noindex>.<\/li>\n<\/ul>\n<\/blockquote>\n<p><\/p>\n<h3>Broker mem\u00f3ria be\u00e1ll\u00edt\u00e1sai<\/h3>\n<p>\nK\u00e9t kulcsfontoss\u00e1g\u00fa szempont van a broker mem\u00f3ria konfigur\u00e1l\u00e1s\u00e1ban: a JVM \u00e9s a Kubernetes pod be\u00e1ll\u00edt\u00e1sai. A pod sz\u00e1m\u00e1ra be\u00e1ll\u00edtott mem\u00f3riahat\u00e1rnak nagyobbnak kell lennie, mint a maxim\u00e1lis heap m\u00e9ret, hogy a JVM-nek maradjon helye a Java metat\u00e9r sz\u00e1m\u00e1ra, ami a saj\u00e1t mem\u00f3ri\u00e1j\u00e1ban van, \u00e9s az oper\u00e1ci\u00f3s rendszer lapk\u00e9szlete, amelyet a Kafka akt\u00edvan haszn\u00e1l. A tesztjeink sor\u00e1n Kafka broker-eket futtattunk a k\u00f6vetkez\u0151 param\u00e9terekkel <code>-Xmx4G -Xms2G<\/code>, m\u00edg a pod mem\u00f3riahat\u00e1ra <code>10 Gi<\/code>. Vegye figyelembe, hogy a JVM mem\u00f3ria be\u00e1ll\u00edt\u00e1sai automatikusan is nyerhet\u0151k a k\u00f6vetkez\u0151kkel: <code>-XX:MaxRAMPercentage<\/code> \u00e9s <code>-X:MinRAMPercentage<\/code>volt, a pod mem\u00f3riahat\u00e1r\u00e1nak korl\u00e1tja alapj\u00e1n.<\/p>\n<h3>Broker CPU be\u00e1ll\u00edt\u00e1sai<\/h3>\n<p>\n\u00c1ltal\u00e1noss\u00e1gban elmondhat\u00f3, hogy a p\u00e1rhuzamoss\u00e1g n\u00f6vel\u00e9s\u00e9vel jav\u00edthat\u00f3 a teljes\u00edtm\u00e9ny a Kafka \u00e1ltal haszn\u00e1lt sz\u00e1lak sz\u00e1m\u00e1nak n\u00f6vel\u00e9s\u00e9vel. Min\u00e9l t\u00f6bb processzor \u00e1ll rendelkez\u00e9sre a Kafka sz\u00e1m\u00e1ra, ann\u00e1l jobb. Teszt\u00fcnkben 6 processzor limitj\u00e9vel kezdt\u00fcnk, \u00e9s fokozatosan (iter\u00e1ci\u00f3kkal) n\u00f6velt\u00fck a sz\u00e1mot 15-re. Ezenk\u00edv\u00fcl be\u00e1ll\u00edtottuk <code>num.network.threads=12<\/code> a broker be\u00e1ll\u00edt\u00e1saiban, hogy n\u00f6velj\u00fck a h\u00e1l\u00f3zatr\u00f3l \u00e9rkez\u0151 \u00e9s azokat k\u00fcld\u0151 sz\u00e1lak sz\u00e1m\u00e1t. Azonnal \u00e9szrevett\u00fck, hogy a k\u00f6vet\u0151 br\u00f3kerek nem tudj\u00e1k el\u00e9g gyorsan megkapni a replik\u00e1kat, \u00edgy emelt\u00fck <code>num.replica.fetchers<\/code> 4-re, hogy n\u00f6velj\u00fck a k\u00f6vet\u0151 br\u00f3kerek \u00fczenet replik\u00e1ci\u00f3s sebess\u00e9g\u00e9t a vezet\u0151kt\u0151l.<\/p>\n<h3>Terhel\u00e9sgener\u00e1l\u00f3 eszk\u00f6z<\/h3>\n<p>\nMeg kell gy\u0151z\u0151dni arr\u00f3l, hogy a v\u00e1lasztott terhel\u00e9sgener\u00e1tor potenci\u00e1lja nem mer\u00fcl ki, miel\u0151tt a Kafka klaszter (amelynek benchmarkj\u00e1t v\u00e9gezz\u00fck) el\u00e9ri a maxim\u00e1lis terhel\u00e9s\u00e9t. M\u00e1s szavakkal, el\u0151zetes felm\u00e9r\u00e9st kell v\u00e9gezni a terhel\u00e9sgener\u00e1l\u00f3 eszk\u00f6z k\u00e9pess\u00e9geir\u0151l, \u00e9s megfelel\u0151 sz\u00e1m\u00fa processzorral \u00e9s mem\u00f3ri\u00e1val rendelkez\u0151 p\u00e9ld\u00e1nyt kell v\u00e1lasztani. Ebben az esetben az eszk\u00f6z\u00fcnk t\u00f6bb terhel\u00e9st fog produk\u00e1lni, mint amennyit a Kafka klaszter k\u00e9pes kezelni. Sz\u00e1mos k\u00eds\u00e9rlet ut\u00e1n h\u00e1rom p\u00e9ld\u00e1ny mellett d\u00f6nt\u00f6tt\u00fcnk <i>c5.4xlarge<\/i>, mindegyikben elind\u00edtottuk a gener\u00e1tort.<\/p>\n<h2>Benchmarking<\/h2>\n<p>\nA teljes\u00edtm\u00e9ny m\u00e9r\u00e9s egy iterat\u00edv folyamat, amely a k\u00f6vetkez\u0151 szakaszokat tartalmazza:<\/p>\n<ul>\n<li> az infrastrukt\u00fara be\u00e1ll\u00edt\u00e1sa (EKS klaszter, Kafka klaszter, terhel\u00e9sgener\u00e1l\u00f3 eszk\u00f6z, valamint Prometheus \u00e9s Grafana);<\/li>\n<li> terhel\u00e9s gener\u00e1l\u00e1sa egy adott id\u0151szak sor\u00e1n a teljes\u00edtm\u00e9nymutat\u00f3kban tapasztalhat\u00f3 v\u00e9letlenszer\u0171 elt\u00e9r\u00e9sek kisz\u0171r\u00e9s\u00e9re;<\/li>\n<li> az infrastrukt\u00fara \u00e9s a br\u00f3ker konfigur\u00e1l\u00e1s\u00e1nak finom\u00edt\u00e1sa a megfigyelt teljes\u00edtm\u00e9nymutat\u00f3k alapj\u00e1n;<\/li>\n<li> a folyamat megism\u00e9tl\u00e9se, am\u00edg el nem \u00e9rj\u00fck a k\u00edv\u00e1nt Kafka klaszter \u00e1tereszt\u0151k\u00e9pess\u00e9gi szintj\u00e9t. Ennek stabilan reproduk\u00e1lhat\u00f3nak kell lennie, \u00e9s minim\u00e1lis vari\u00e1ci\u00f3kat kell mutatnia az \u00e1tereszt\u0151k\u00e9pess\u00e9gben.<\/li>\n<\/ul>\n<p>\nA k\u00f6vetkez\u0151 r\u00e9szben ismertetj\u00fck a l\u00e9p\u00e9seket, amelyeket a teszt klaszter benchmarking folyamata sor\u00e1n v\u00e9gezt\u00fcnk.<\/p>\n<h3>Eszk\u00f6z\u00f6k<\/h3>\n<p>\nA gyors alapkonfigur\u00e1ci\u00f3, terhel\u00e9sgener\u00e1l\u00e1s \u00e9s teljes\u00edtm\u00e9nym\u00e9r\u00e9s \u00e9rdek\u00e9ben a k\u00f6vetkez\u0151 eszk\u00f6z\u00f6ket haszn\u00e1ltuk:<\/p>\n<ul>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/docs\/pipeline\/overview\/\">Banzai Cloud Pipeline<\/a><\/noindex> az Amazon EKS klaszter\u00e9nek szervez\u00e9s\u00e9hez <noindex><a rel=\"nofollow\" href=\"https:\/\/prometheus.io\/\">Prometheus<\/a><\/noindex> (a Kafka \u00e9s az infrastrukt\u00fara metrik\u00e1inak gy\u0171jt\u00e9s\u00e9re) \u00e9s <noindex><a rel=\"nofollow\" href=\"https:\/\/grafana.com\/\">Grafan\u00e1ba<\/a><\/noindex> (e metrik\u00e1k vizualiz\u00e1l\u00e1s\u00e1ra). Ig\u00e9nybe vett\u00fck a <b>integr\u00e1lt<\/b> be. <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/banzaicloud\/pipeline\">Pipeline<\/a><\/noindex> szolg\u00e1ltat\u00e1sokat, amelyek biztos\u00edtj\u00e1k a feder\u00e1lis megfigyel\u00e9st, a k\u00f6zpontos\u00edtott napl\u00f3gy\u0171jt\u00e9st, a sebezhet\u0151s\u00e9gek szkennel\u00e9s\u00e9t, a hibahelyre\u00e1ll\u00edt\u00e1st, a v\u00e1llalati szint\u0171 biztons\u00e1got \u00e9s m\u00e9g sok m\u00e1st.<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/jamiealquiza\/sangrenel\">Sangrenel<\/a><\/noindex> \u2014 eszk\u00f6z a Kafka klaszter terhel\u00e9ses tesztel\u00e9s\u00e9re.<\/li>\n<li> Grafana panelek a Kafka \u00e9s az infrastrukt\u00fara metrik\u00e1inak vizualiz\u00e1l\u00e1s\u00e1ra: <noindex><a rel=\"nofollow\" href=\"https:\/\/grafana.com\/grafana\/dashboards\/10123\">Kubernetes Kafka<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/grafana.com\/grafana\/dashboards\/1860\">Node Exporter<\/a><\/noindex>.<\/li>\n<li> A Supertubes CLI a Kafka klaszter egyszer\u0171 be\u00e1ll\u00edt\u00e1s\u00e1hoz Kubernetes alatt. A Zookeeper, Kafka oper\u00e1tor, Envoy \u00e9s sz\u00e1mos m\u00e1s \u00f6sszetev\u0151 telep\u00edtve van, \u00e9s megfelel\u0151en konfigur\u00e1lva van egy production-k\u00e9sz Kafka klaszter futtat\u00e1s\u00e1ra Kubernetesben.\n<ul>\n<li> A telep\u00edt\u00e9shez <i>supertubes CLI<\/i> haszn\u00e1lja a megadott utas\u00edt\u00e1sokat <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/docs\/supertubes\/cli\/install\/\">itt<\/a><\/noindex>.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/23ecf423b1ea66813406943ae7eabf61.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>EKS klaszter<\/h3>\n<p>\nK\u00e9sz\u00edtse el\u0151 az EKS klasztert dedik\u00e1lt munkacsom\u00f3pontokkal <i>c5.4xlarge<\/i> k\u00fcl\u00f6nb\u00f6z\u0151 el\u00e9rhet\u0151s\u00e9gi z\u00f3n\u00e1kban a Kafka broker-ek podjai sz\u00e1m\u00e1ra, valamint dedik\u00e1lt csom\u00f3pontokat a terhel\u00e9sgener\u00e1tor \u00e9s a monitoroz\u00f3 infrastrukt\u00fara sz\u00e1m\u00e1ra.<\/p>\n<pre><code class=\"bash\">banzai cluster create -f https:\/\/raw.githubusercontent.com\/banzaicloud\/kafka-operator\/master\/docs\/benchmarks\/infrastructure\/cluster_eks_202001.json<\/code><\/pre>\n<p>\nAmikor az EKS klaszter m\u0171k\u00f6dni kezd, aktiv\u00e1lja az integr\u00e1lt <noindex><a rel=\"nofollow\" href=\"https:\/\/banzaicloud.com\/docs\/pipeline\/features\/integrated-services\/\">megfigyel\u00e9si szolg\u00e1ltat\u00e1st<\/a><\/noindex> \u2014 ez telep\u00edti a Prometheust \u00e9s a Grafan\u00e1t a klaszterre.<\/p>\n<h3>Kafka rendszerelemek<\/h3>\n<p>\nTelep\u00edtse a Kafka rendszerelemeket (Zookeeper, kafka-operator) az EKS-be supertubes CLI haszn\u00e1lat\u00e1val:<\/p>\n<pre><code class=\"bash\">supertubes install -a --no-democluster --kubeconfig<\/code><\/pre>\n<p><\/p>\n<h3>Kafka klaszter<\/h3>\n<p>\nAz EKS-ben alap\u00e9rtelmez\u00e9s szerint EBS t\u00edpus\u00fa t\u00e1rol\u00f3k haszn\u00e1latosak, <i>gp2<\/i>, ez\u00e9rt egy k\u00fcl\u00f6n t\u00e1rol\u00f3oszt\u00e1lyt kell l\u00e9trehozni a klaszterhez <i>io1<\/i> :<\/p>\n<pre><code class=\"plaintext\">kubectl create -f - &lt;&lt;EOF\napiVersion: storage.k8s.io\/v1\nkind: StorageClass\nmetadata:\n  name: fast-ssd\nprovisioner: kubernetes.io\/aws-ebs\nparameters:\n  type: io1\n  iopsPerGB: &quot;50&quot;\n  fsType: ext4\nvolumeBindingMode: WaitForFirstConsumer\nEOF<\/code><\/pre>\n<p>\n\u00c1ll\u00edtson be param\u00e9tert a broker sz\u00e1m\u00e1ra <code>min.insync.replicas=3<\/code> \u00e9s telep\u00edtse a broker podokat a csom\u00f3pontokra h\u00e1rom k\u00fcl\u00f6nb\u00f6z\u0151 el\u00e9rhet\u0151s\u00e9gi z\u00f3n\u00e1ban:<\/p>\n<pre><code class=\"bash\">supertubes cluster create -n kafka --kubeconfig  -f https:\/\/raw.githubusercontent.com\/banzaicloud\/kafka-operator\/master\/docs\/benchmarks\/infrastructure\/kafka_202001_3brokers.yaml --wait --timeout 600<\/code><\/pre>\n<p><\/p>\n<h3>T\u00e9m\u00e1k<\/h3>\n<p>\nP\u00e1rhuzamosan h\u00e1rom terhel\u00e9sgener\u00e1tor p\u00e9ld\u00e1nyt futtattunk. Mindegyik saj\u00e1t t\u00e9m\u00e1j\u00e1ba \u00edr, teh\u00e1t \u00f6sszesen h\u00e1rom t\u00e9m\u00e1ra van sz\u00fcks\u00e9g\u00fcnk:<\/p>\n<pre><code class=\"bash\">supertubes cluster topic create -n kafka --kubeconfig  -f -&lt;&lt;EOF\napiVersion: kafka.banzaicloud.io\/v1alpha1\nkind: KafkaTopic\nmetadata:\n  name: perftest1\nspec:\n  name: perftest1\n  partitions: 12\n  replicationFactor: 3\n  retention.ms: &#039;28800000&#039;\n  cleanup.policy: delete\nEOF\n\nsupertubes cluster topic create -n kafka --kubeconfig  -f -&lt;&lt;EOF\napiVersion: kafka.banzaicloud.io\/v1alpha1\nkind: KafkaTopic\nmetadata:\n    name: perftest2\nspec:\n  name: perftest2\n  partitions: 12\n  replicationFactor: 3\n  retention.ms: &#039;28800000&#039;\n  cleanup.policy: delete\nEOF\n\nsupertubes cluster topic create -n kafka --kubeconfig  -f -&lt;&lt;EOF\napiVersion: kafka.banzaicloud.io\/v1alpha1\nkind: KafkaTopic\nmetadata:\n  name: perftest3\nspec:\n  name: perftest3\n  partitions: 12\n  replicationFactor: 3\n  retention.ms: &#039;28800000&#039;\n  cleanup.policy: delete\nEOF<\/code><\/pre>\n<p>\nMinden t\u00e9m\u00e1hoz a replik\u00e1ci\u00f3s faktornak 3-nak kell lennie \u2014 ez a minimum aj\u00e1nlott \u00e9rt\u00e9k a magas rendelkez\u00e9sre \u00e1ll\u00e1s\u00fa production rendszerek eset\u00e9n.<\/p>\n<h3>Terhel\u00e9sgener\u00e1l\u00f3 eszk\u00f6z<\/h3>\n<p>\nH\u00e1rom terhel\u00e9sgener\u00e1tor p\u00e9ld\u00e1nyt futtattunk (mindegyik k\u00fcl\u00f6n t\u00e9m\u00e1ra \u00edrt). A terhel\u00e9sgener\u00e1tor podjaihoz node affinity-t kell be\u00e1ll\u00edtani, hogy csak a sz\u00e1mukra dedik\u00e1lt csom\u00f3pontokra \u00fctemezz\u00e9k \u0151ket:<\/p>\n<pre><code class=\"plaintext\">apiVersion: extensions\/v1beta1\nkind: Deployment\nmetadata:\n  labels:\n    app: loadtest\n  name: perf-load1\n  namespace: kafka\nspec:\n  progressDeadlineSeconds: 600\n  replicas: 1\n  revisionHistoryLimit: 10\n  selector:\n    matchLabels:\n      app: loadtest\n  strategy:\n    rollingUpdate:\n      maxSurge: 25%\n      maxUnavailable: 25%\n    type: RollingUpdate\n  template:\n    metadata:\n      creationTimestamp: null\n      labels:\n        app: loadtest\n    spec:\n      affinity:\n        nodeAffinity:\n          requiredDuringSchedulingIgnoredDuringExecution:\n            nodeSelectorTerms:\n            - matchExpressions:\n              - key: nodepool.banzaicloud.io\/name\n                operator: In\n                values:\n                - loadgen\n      containers:\n      - args:\n        - -brokers=kafka-0:29092,kafka-1:29092,kafka-2:29092,kafka-3:29092\n        - -topic=perftest1\n        - -required-acks=all\n        - -message-size=512\n        - -workers=20\n        image: banzaicloud\/perfload:0.1.0-blog\n        imagePullPolicy: Always\n        name: sangrenel\n        resources:\n          limits:\n            cpu: 2\n            memory: 1Gi\n          requests:\n            cpu: 2\n            memory: 1Gi\n        terminationMessagePath: \/dev\/termination-log\n        terminationMessagePolicy: File\n      dnsPolicy: ClusterFirst\n      restartPolicy: Always\n      schedulerName: default-scheduler\n      securityContext: {}\n      terminationGracePeriodSeconds: 30<\/code><\/pre>\n<p>\nN\u00e9h\u00e1ny dolog, amire \u00e9rdemes figyelni:<\/p>\n<ul>\n<li> A terhel\u00e9s-gener\u00e1tor 512 byte m\u00e9ret\u0171 \u00fczeneteket gener\u00e1l, \u00e9s 500 \u00fczenetb\u0151l \u00e1ll\u00f3 csomagokban publik\u00e1lja \u0151ket a Kafka-ban.<\/li>\n<li> Az al\u00e1bbi argumentummal <code>-required-acks=all<\/code> a publik\u00e1l\u00e1s akkor min\u0151s\u00fcl sikeresnek, ha az \u00f6sszes szinkroniz\u00e1lt \u00fczenet-replika meg\u00e9rkezik \u00e9s a Kafka broker-ek \u00e1ltal meger\u0151s\u00edt\u00e9sre ker\u00fcl. Ez azt jelenti, hogy a benchmark sor\u00e1n nemcsak a vezet\u0151 broker-ek \u00fczeneteket fogad\u00f3 sebess\u00e9g\u00e9t, hanem a k\u00f6vet\u0151iket is m\u00e9rt\u00fck, amelyek replik\u00e1lj\u00e1k az \u00fczeneteket. Az adott teszt c\u00e9lja nem a fogyaszt\u00f3k \u00e1ltali \u00fajonnan \u00e9rkezett \u00fczenetek olvas\u00e1si sebess\u00e9g\u00e9nek \u00e9rt\u00e9kel\u00e9se, <i>(consumers)<\/i> amelyek m\u00e9g az oper\u00e1ci\u00f3s rendszer lapk\u00e9sz\u00edt\u0151 cache-j\u00e9ben vannak, \u00e9s ennek \u00f6sszehasonl\u00edt\u00e1sa a lemezen t\u00e1rolt \u00fczenetek olvas\u00e1si sebess\u00e9g\u00e9vel.<\/li>\n<li> A terhel\u00e9sgener\u00e1tor p\u00e1rhuzamosan 20 worker-t ind\u00edt (<code>-workers=20<\/code>). Minden worker 5 producer-t tartalmaz, amelyek k\u00f6z\u00f6sen haszn\u00e1lj\u00e1k a worker-nek a Kafka klaszterhez val\u00f3 csatlakoz\u00e1s\u00e1t. Ennek eredm\u00e9nyek\u00e9nt minden gener\u00e1tor 100 producer-t sz\u00e1ml\u00e1l, \u00e9s mindannyian \u00fczeneteket k\u00fcldenek a Kafka klaszterbe.<\/li>\n<\/ul>\n<p><\/p>\n<h3>A klaszter \u00e1llapot\u00e1nak megfigyel\u00e9se<\/h3>\n<p>\nA Kafka klaszter terhel\u00e9ses tesztel\u00e9se sor\u00e1n figyelt\u00fck annak \u00e1llapot\u00e1t is, hogy megbizonyosodjunk arr\u00f3l, hogy nincsenek \u00fajraind\u00edt\u00e1s alatt l\u00e9v\u0151 podok, aszinkron replik\u00e1k \u00e9s maxim\u00e1lis \u00e1tereszt\u0151k\u00e9pess\u00e9g minim\u00e1lis ingadoz\u00e1ssal:<\/p>\n<ul>\n<li> A terhel\u00e9sgener\u00e1l\u00f3 \u00e1ltal r\u00f6gz\u00edtett statisztik\u00e1k a k\u00f6zz\u00e9tett \u00fczenetek sz\u00e1m\u00e1r\u00f3l \u00e9s a hibaszintr\u0151l sz\u00f3lnak. A hib\u00e1k ar\u00e1ny\u00e1nak \u00e9rt\u00e9k\u00e9nek alacsonyan kell maradnia <code>0,00%<\/code>.<\/li>\n<li> <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/linkedin\/cruise-control\">Cruise Control<\/a><\/noindex>, a kib\u0151v\u00edtett kafka-oper\u00e1tor az, amely monitoring paneleket biztos\u00edt, ahol figyelemmel k\u00eds\u00e9rhetj\u00fck a klaszter \u00e1llapot\u00e1t. Ehhez a panelhez val\u00f3 hozz\u00e1f\u00e9r\u00e9shez hajtsa v\u00e9gre:\n<pre><code class=\"bash\">supertubes cluster cruisecontrol show -n kafka --kubeconfig<\/code><\/pre>\n<\/li>\n<li> ISR szint <i>(a szinkronban l\u00e9v\u0151 replik\u00e1k sz\u00e1ma)<\/i> a shrink \u00e9s expansion 0.<\/li>\n<\/ul>\n<p><\/p>\n<h2>M\u00e9rt eredm\u00e9nyek<\/h2>\n<p><\/p>\n<h3>3 broker, \u00fczenetm\u00e9ret \u2014 512 b\u00e1jt<\/h3>\n<p>\nA h\u00e1rom broker k\u00f6z\u00f6tt egyenletesen elosztott partition-\u00f6kkel siker\u00fclt teljes\u00edtm\u00e9nyt el\u00e9rn\u00fcnk. <i>~500 MB\/s (kb. 990 ezer \u00fczenet m\u00e1sodpercenk\u00e9nt)<\/i>:<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/df65ff6a1a26e28d5e5a7a5ab1a20d98.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/15c5883c0056c651f0a0bd14e9991967.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/9b708fa5ce809b0d059cba9f5edfbb2f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA JVM virtu\u00e1lis g\u00e9p mem\u00f3riafogyaszt\u00e1sa nem haladta meg a 2 GB-ot:<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/3320e2eea891055cc0935da492d18ee9.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/6e3976c310309aa8be45fa3fdf547750.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/94baa1b689ae854693fb7cc4ed6e105e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA lemezel\u00e9r\u00e9si sebess\u00e9g el\u00e9rte az I\/O csom\u00f3pont maxim\u00e1lis \u00e1tereszt\u0151k\u00e9pess\u00e9g\u00e9t mindh\u00e1rom broker eset\u00e9ben:<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/408139ad33cda1294755660df1c128a8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/391d2df0ddfe82f94abdb200370ff775.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/e7e9fd021a2cdc71992ce672363a78ec.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA csom\u00f3pontok mem\u00f3riahaszn\u00e1lat\u00e1b\u00f3l ad\u00f3d\u00f3an a rendszeres pufferel\u00e9s \u00e9s gyors\u00edt\u00f3t\u00e1raz\u00e1s k\u00f6r\u00fclbel\u00fcl 10-15 GB-ot haszn\u00e1lt fel:<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/781887507e01a4903b86871961ff9260.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/63f10177f01342039f04192ea93c8bca.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/48b992cc73a968b3d3b1442f96562c4e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h3>3 broker, \u00fczenetm\u00e9ret \u2014 100 b\u00e1jt<\/h3>\n<p>\nAz \u00fczenetm\u00e9ret cs\u00f6kkent\u00e9sekb\u0151l ad\u00f3d\u00f3an az \u00e1tereszt\u0151k\u00e9pess\u00e9g k\u00f6r\u00fclbel\u00fcl 15-20%-kal cs\u00f6kken: ez a feldolgoz\u00e1si id\u0151t \u00e9rinti minden egyes \u00fczenetn\u00e9l. R\u00e1ad\u00e1sul a CPU terhel\u00e9se majdnem megdupl\u00e1z\u00f3dott.<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/2f7dc5a94da371cfe17c9e0fc0ec1941.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/986160a3a4e099a0dbb8aeefaf6f1c2f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/c08244457bf4dbfadf52838d4ea2969e.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nMivel a broker csom\u00f3pontokon m\u00e9g mindig vannak kihaszn\u00e1latlan magok, a Kafka konfigur\u00e1ci\u00f3 m\u00f3dos\u00edt\u00e1s\u00e1val jav\u00edthat\u00f3 a teljes\u00edtm\u00e9ny. Ez nem egyszer\u0171 feladat, ez\u00e9rt a nagyobb m\u00e9ret\u0171 \u00fczenetekkel val\u00f3 munka a legjobb az \u00e1tereszt\u0151k\u00e9pess\u00e9g n\u00f6vel\u00e9s\u00e9hez.<\/p>\n<h3>4 broker, \u00fczenetm\u00e9ret \u2014 512 b\u00e1jt<\/h3>\n<p>\nA Kafka klaszter teljes\u00edtm\u00e9nye k\u00f6nnyen n\u00f6velhet\u0151 \u00faj br\u00f3kerek hozz\u00e1ad\u00e1s\u00e1val \u00e9s a partition-\u00f6k egyens\u00faly\u00e1nak fenntart\u00e1s\u00e1val (ez biztos\u00edtja a terhel\u00e9s egyenletes eloszl\u00e1s\u00e1t a br\u00f3kerek k\u00f6z\u00f6tt). A mi eset\u00fcnkben a broker hozz\u00e1ad\u00e1sa ut\u00e1n a klaszter \u00e1tvitel\u00e9nek sebess\u00e9ge megn\u00f6vekedett <i>~580 MB\/s (~1,1 milli\u00f3 \u00fczenet m\u00e1sodpercenk\u00e9nt)<\/i>. A n\u00f6veked\u00e9s v\u00e1rtn\u00e1l alacsonyabb eredm\u00e9nyeket hozott: f\u0151k\u00e9nt a partition-\u00f6k egyens\u00falyhi\u00e1nya okozta (nem minden broker m\u0171k\u00f6dik a lehet\u0151 legjobban).<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/8c8d2e70739add3c3f88fe42acf98c46.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/a6e4812270c04487de0ad39b996a13f8.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/6162c04cfb87b9d9cd0f3147a4ae1647.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/dae5de3b14be212c679f3627a3b77d7b.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA JVM g\u00e9p mem\u00f3riakihaszn\u00e1l\u00e1sa 2 GB alatt maradt:<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/0bca07a817d7da3104b08de10979f049.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/7e1e64f80ec140f13e171cfe3be930ce.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/5e9700b1e54e45f9cd5fa018ec07dba1.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/4ba0c4b59bfe72bcb0d2f22056c47d79.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nA br\u00f3kerek m\u0171k\u00f6d\u00e9s\u00e9t a h\u00e1tt\u00e9rt\u00e1rol\u00f3k eset\u00e9ben a partition-\u00f6k egyens\u00falyhi\u00e1nya befoly\u00e1solta:<\/p>\n<p><img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/2b8ed3c21adf70c751d1daa6d4c41895.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/77b980869b99903d9de5cd7d43d79291.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/f2f9569a3a1ef0ce35e89b2e52e4a8b2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<img decoding=\"async\" alt=\"Megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszterhez Kubernetesben\" src=\"\/wp-content\/uploads\/2020\/02\/191d6d97b32b2128c5cfd3914171de15.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<\/p>\n<h2>K\u00f6vetkeztet\u00e9sek<\/h2>\n<p>\nA fent bemutatott iterat\u00edv megk\u00f6zel\u00edt\u00e9st kiterjeszthetj\u00fck bonyolultabb forgat\u00f3k\u00f6nyvekre, t\u00f6bb sz\u00e1z fogyaszt\u00f3, repartition\u00e1l\u00e1s, g\u00f6rd\u00fcl\u0151 friss\u00edt\u00e9sek, pod-ok \u00fajraind\u00edt\u00e1sa stb. A c\u00e9l, hogy \u00e9rt\u00e9kelj\u00fck a Kafka klaszter lehet\u0151s\u00e9geit k\u00fcl\u00f6nb\u00f6z\u0151 k\u00f6r\u00fclm\u00e9nyek k\u00f6z\u00f6tt, azonos\u00edtjuk a sz\u0171k keresztmetszeteket \u00e9s megold\u00e1sokat tal\u00e1ljunk ezekre.<\/p>\n<p>A Supertubes-t kifejlesztett\u00fck a klaszter gyors \u00e9s egyszer\u0171 telep\u00edt\u00e9s\u00e9re, konfigur\u00e1l\u00e1s\u00e1ra, br\u00f3kerek \u00e9s t\u00e9m\u00e1k hozz\u00e1ad\u00e1s\u00e1ra\/elt\u00e1vol\u00edt\u00e1s\u00e1ra, riaszt\u00e1sokra val\u00f3 reag\u00e1l\u00e1sra \u00e9s a Kafka \u00e1ltal\u00e1nos megfelel\u0151 m\u0171k\u00f6d\u00e9s\u00e9nek biztos\u00edt\u00e1s\u00e1ra Kubernetes alatt. C\u00e9lunk, hogy seg\u00edts\u00fcnk az alapfeladatra \u00f6sszpontos\u00edtani (a Kafka \u00fczenetek 'gener\u00e1l\u00e1s\u00e1ra' \u00e9s 'fogyaszt\u00e1s\u00e1ra'), m\u00edg a neh\u00e9z munk\u00e1t a Supertubes \u00e9s a Kafka oper\u00e1tor v\u00e9gzi.<\/p>\n<p>Ha \u00e9rdekli a Banzai Cloud technol\u00f3gi\u00e1i \u00e9s ny\u00edlt forr\u00e1sk\u00f3d\u00fa projektjei, k\u00f6vesse a c\u00e9get a <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/banzaicloud\">GitHub<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/www.linkedin.com\/company\/banzaicloud\">LinkedIn<\/a><\/noindex> vagy <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.com\/BanzaiCloud\">vagy a<\/a><\/noindex>.<\/p>\n<h2>Fejleszt\u00e9si eszk\u00f6z\u00f6k, amelyek Kubernetesben futnak<\/h2>\n<p>\nOlvasson tov\u00e1bbi inform\u00e1ci\u00f3kat a blogunkban:<\/p>\n<ul>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/480722\/\">Egy t\u00f6rt\u00e9net a Redis oper\u00e1torr\u00f3l K8s-ben \u00e9s egy mini \u00e1ttekint\u00e9s a DB elemz\u00e9s\u00e9re szolg\u00e1l\u00f3 eszk\u00f6z\u00f6kr\u0151l.<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/450662\/\">Meghib\u00e1sod\u00e1smentes RabbitMQ migr\u00e1ci\u00f3 a Kubernetesben<\/a><\/noindex>\u00bb;<\/li>\n<li> \u00ab<noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/329224\/\">zetcd a CoreOS-t\u00f3l: A ZooKeeper helyettes\u00edt\u00e9se\u2026 az etcd t\u00e1rol\u00f3n<\/a><\/noindex>\u00bb.<\/li>\n<\/ul>\n<p>Forr\u00e1s: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/flant\/blog\/488920\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Banzai Cloud \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0451 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0442\u0438\u043b\u0438\u0442 \u0434\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 Kafka \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 Kubernetes. \u041f\u0440\u0438\u0432\u043e\u0434\u0438\u043c\u044b\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u044e\u0442, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0430\u043c\u0443 Kafka \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u0435\u043c\u043e\u0439 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438. Apache Kafka \u2014 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0438\u043c\u0438\u043d\u0433\u043e\u0432\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0445, \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":71214,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-71213","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Banzai Cloud \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0451 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0442\u0438\u043b\u0438\u0442 \u0434\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 Kafka \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 Kubernetes.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"hu_HU\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 Kafka \u0432 Kubernetes | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Banzai Cloud \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0451 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0442\u0438\u043b\u0438\u0442 \u0434\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 Kafka \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 Kubernetes.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-02-24T13:09:17+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-03-03T13:14:29+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47A megfelel\u0151 m\u00e9ret meghat\u00e1roz\u00e1sa a Kafka klaszter sz\u00e1m\u00e1ra a Kubernetesben | ProHoster","description":"Megjegyz\u00e9s: Ebben a cikkben a Banzai Cloud bemutatja a saj\u00e1t seg\u00e9deszk\u00f6zeik haszn\u00e1lat\u00e1nak p\u00e9ld\u00e1j\u00e1t, amelyek megk\u00f6nny\u00edtik a Kafka \u00fczemeltet\u00e9s\u00e9t Kubernetes k\u00f6rnyezetben.","canonical_url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"hu_HU","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u043b\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 Kafka \u0432 Kubernetes | ProHoster","og:description":"\u041f\u0440\u0438\u043c. \u043f\u0435\u0440\u0435\u0432.: \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Banzai Cloud \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0435\u0451 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0442\u0438\u043b\u0438\u0442 \u0434\u043b\u044f \u043e\u0431\u043b\u0435\u0433\u0447\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438 Kafka \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 Kubernetes.","og:url":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/opredelyaem-podhodyashhij-razmer-dlya-klastera-kafka-v-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-24T13:09:17+00:00","article:modified_time":"2020-03-03T13:14:29+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"71213","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:06:22","updated":"2022-10-04 20:58:00","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/71213","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/comments?post=71213"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/posts\/71213\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media\/71214"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/media?parent=71213"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/categories?post=71213"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/hu\/wp-json\/wp\/v2\/tags?post=71213"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}