{"id":36822,"date":"2019-10-31T22:14:01","date_gmt":"2019-10-31T19:14:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kafka-na-kubernetes-eto-horosho\/"},"modified":"2019-10-31T22:14:01","modified_gmt":"2019-10-31T19:14:01","slug":"kafka-na-kubernetes-eto-horosho","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kafka-na-kubernetes-eto-horosho","title":{"rendered":"J\u00f3 dolog a Kafka Kubernetes-en?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00dcdv\u00f6z\u00f6lj\u00fck, Habr!<\/p>\n

Id\u0151vel mi voltunk az els\u0151k, akik bevezett\u00e9k a t\u00e9m\u00e1t az orosz piacon , amely lehet\u0151s\u00e9get ad val\u00f3s id\u0151ben l\u00e1tni a rendszer esem\u00e9nyportf\u00f3li\u00f3j\u00e1t.<\/a><\/noindex> \u00e9s folytatjuk figyelemmel k\u00eds\u00e9rni<\/a><\/noindex> a fejleszt\u00e9s\u00e9t. K\u00fcl\u00f6n\u00f6sen \u00e9rdekesnek tal\u00e1ltuk a Kafka \u00e9s Kubernetes<\/a><\/noindex>egy\u00fcttm\u0171k\u00f6d\u00e9s\u00e9nek t\u00e9m\u00e1j\u00e1t. Egy \u00e1tfog\u00f3 (\u00e9s el\u00e9gg\u00e9 \u00f3vatos) cikk<\/a><\/noindex> cikk jelent meg err\u0151l a Confluent v\u00e1llalat blogj\u00e1n m\u00e9g tavaly okt\u00f3berben Gwen Shapiro szerz\u0151d\u00e9s\u00e9vel. Ma pedig szeretn\u00e9nk felh\u00edvni a figyelm\u00e9t egy frissebb, \u00e1prilisi cikkre Johann Gyger toll\u00e1b\u00f3l, aki, b\u00e1r nem \u00faszta meg k\u00e9rd\u0151jellel a c\u00edm\u00e9ben, sokkal megalapozottabb szempontb\u00f3l vizsg\u00e1lja a t\u00e9m\u00e1t, \u00e9rdekes linkek k\u00eds\u00e9ret\u00e9ben. K\u00e9rj\u00fck, bocs\u00e1ssanak meg nek\u00fcnk a szabad ford\u00edt\u00e1s\u00e9rt, legyenek sz\u00edvesek!<\/p>\n

\"J\u00f3<\/a><\/noindex>
\n<\/a><\/noindex> <\/p>\n

Bevezet\u00e9s<\/h4>\n

\nA Kubernetes arra lett tervezve, hogy \u00e1llapotot nem meg\u0151rz\u0151 terhel\u00e9sekkel dolgozzon. \u00c1ltal\u00e1ban ezek a munka terhel\u00e9sek mikroszolg\u00e1ltat\u00e1s-architekt\u00fara form\u00e1j\u00e1ban jelennek meg, k\u00f6nny\u0171ek, j\u00f3l sk\u00e1l\u00e1zhat\u00f3k v\u00edzszintesen, k\u00f6vetik a 12-faktoros alkalmaz\u00e1sok elveit, lehet\u0151v\u00e9 teszik az automatikus megszak\u00edt\u00f3k (circuit breaker) \u00e9s a k\u00e1oszmajmok (chaos monkeys) haszn\u00e1lat\u00e1t.<\/p>\n

A Kafka, amely a m\u00e1sik oldalon tal\u00e1lhat\u00f3, l\u00e9nyeg\u00e9ben elosztott adatb\u00e1zisk\u00e9nt m\u0171k\u00f6dik. \u00cdgy a munka sor\u00e1n \u00e1llapottal kell foglalkoznia, ami sokkal nehezebb, mint egy mikroszolg\u00e1ltat\u00e1s. A Kubernetes t\u00e1mogatja az \u00e1llapotot meg\u0151rz\u0151 terhel\u00e9seket, de ahogy Kelsey Hightower k\u00e9t tweetj\u00e9ben is megjegyzi, ezekkel \u00f3vatosan kell b\u00e1nni:<\/p>\n

N\u00e9h\u00e1nyan \u00fagy v\u00e9lik, hogy ha Kubernetes-t alkalmaznak egy \u00e1llapotot meg\u0151rz\u0151 terhel\u00e9sre, akkor az teljesen kezelhet\u0151 adatb\u00e1ziss\u00e1 alakul, amely versenyezni tud az RDS-sel. Ez nem igaz. Lehet, hogy ha el\u00e9g kem\u00e9nyen dolgozunk, tov\u00e1bbi komponenseket csatlakoztatunk, \u00e9s SRE m\u00e9rn\u00f6k csapatot vonunk be, akkor siker\u00fclhet az RDS-t Kubernetes f\u00f6l\u00e9 telep\u00edteni.<\/p><\/blockquote>\n

Mindig azt javaslom mindenkinek, hogy rendk\u00edv\u00fcl \u00f3vatosan j\u00e1rjon el, amikor \u00e1llapotot meg\u0151rz\u0151 terhel\u00e9seket ind\u00edt a Kubernetes-en. A legt\u00f6bb, aki azt k\u00e9rdezi, \"el tudom-e ind\u00edtani az \u00e1llapotot meg\u0151rz\u0151 terhel\u00e9seket a Kubernetes-en\", nincs elegend\u0151 tapasztalata a Kubernetes haszn\u00e1lat\u00e1ban, \u00e9s gyakran m\u00e9g a terhel\u00e9ssel kapcsolatban is, amir\u0151l k\u00e9rdeznek.<\/p><\/blockquote>\n

Teh\u00e1t kell-e a Kafk\u00e1t Kubernetes-en futtatni? A viszontk\u00e9rd\u00e9s: jobban fog m\u0171k\u00f6dni a Kafka Kubernetes n\u00e9lk\u00fcl? \u00c9ppen ez\u00e9rt szeretn\u00e9m hangs\u00falyozni ebben a cikkben, hogy a Kafka \u00e9s a Kubernetes hogyan eg\u00e9sz\u00edtik ki egym\u00e1st, \u00e9s milyen csapd\u00e1kba lehet belefutni a kombin\u00e1ci\u00f3juk sor\u00e1n.<\/p>\n

Kib\u0151v\u00edtett fut\u00e1si id\u0151<\/h4>\n

\nBesz\u00e9lj\u00fcnk az alapvet\u0151 dologr\u00f3l \u2014 a fut\u00e1si k\u00f6rnyezetr\u0151l mint olyanr\u00f3l<\/p>\n

Folyamat<\/b><\/i><\/p>\n

A Kafka br\u00f3kerek j\u00f3l teljes\u00edtenek CPU terhel\u00e9sn\u00e9l. A TLS n\u00e9mi k\u00f6lts\u00e9get is bevihet. Ugyanakkor a Kafka kliensek jobban megterhelhetik a CPU-t, ha titkos\u00edt\u00e1st haszn\u00e1lnak, de ez nem befoly\u00e1solja a br\u00f3kereket.<\/p>\n

Mem\u00f3ria<\/b><\/i><\/p>\n

A Kafka br\u00f3kerek mem\u00f3riaig\u00e9nyesek. A JVM halomm\u00e9ret\u00e9t \u00e1ltal\u00e1ban 4\u20135 GB-ra szok\u00e1s korl\u00e1tozni, de sok rendszer mem\u00f3ria is sz\u00fcks\u00e9ges, mivel a Kafka akt\u00edvan haszn\u00e1lja az oldalk\u00e9szletet. Kubernetes alatt megfelel\u0151en \u00e1ll\u00edtsa be a kont\u00e9nerre a forr\u00e1shat\u00e1rokat \u00e9s a k\u00e9r\u00e9seket.<\/p>\n

Adat t\u00e1rol\u00e1s<\/b><\/i><\/p>\n

Az adat t\u00e1rol\u00e1s a kont\u00e9nerekben efemer \u2014 az adatok elvesznek a \u00fajraind\u00edt\u00e1s sor\u00e1n. A Kafka adataihoz k\u00f6tetet haszn\u00e1lhatunk, emptyDir<\/code>, \u00e9s a hat\u00e1s hasonl\u00f3 lesz: a br\u00f3ker adatai elvesznek a le\u00e1ll\u00edt\u00e1s sor\u00e1n. Az \u00fczeneteid azonban m\u00e1s br\u00f3kereken replik\u00e1ci\u00f3k\u00e9nt megmaradhatnak. Ez\u00e9rt a le\u00e1llt br\u00f3kernek el\u0151sz\u00f6r replik\u00e1lnia kell az \u00f6sszes adatot, ami id\u0151be telhet. <\/p>\n

Ez\u00e9rt kell tart\u00f3s adat t\u00e1rol\u00e1st haszn\u00e1lni. Legyen ez egy nem helyi tart\u00f3s t\u00e1rol\u00e1s XFS f\u00e1jlrendszerrel vagy, pontosabban, ext4-el. Ne haszn\u00e1ljon NFS-t. Figyelmeztettem. Az NFS v3 vagy v4 verzi\u00f3k nem fognak m\u0171k\u00f6dni. R\u00f6viden: a Kafka br\u00f3ker le\u00e1ll, ha nem tudja t\u00f6r\u00f6lni az adatokat a 'butas\u00e1gok \u00e1tnevez\u00e9se' probl\u00e9m\u00e1ja miatt, ami az NFS-re vonatkozik. Ha eddig m\u00e9g nem gy\u0151ztelek meg, olvasd el nagyon figyelmesen ezt a cikket<\/a><\/noindex>. Az adat t\u00e1rol\u00e1snak nem helyinek kell lennie, hogy a Kubernetes rugalmasabban v\u00e1laszthassa ki az \u00faj csom\u00f3pontot \u00fajraind\u00edt\u00e1s vagy relok\u00e1ci\u00f3 ut\u00e1n.<\/p>\n

H\u00e1l\u00f3zat<\/b><\/i><\/p>\n

Mint a legt\u00f6bb elosztott rendszerhez hasonl\u00f3an, a Kafka teljes\u00edtm\u00e9nye is er\u0151sen f\u00fcgg att\u00f3l, hogy a h\u00e1l\u00f3zati k\u00e9sleltet\u00e9sek minim\u00e1lisak, m\u00edg a s\u00e1vsz\u00e9less\u00e9g maxim\u00e1lis. Ne pr\u00f3b\u00e1lja meg az \u00f6sszes br\u00f3kert ugyanarra a csom\u00f3pontj\u00e1ra helyezni, mivel ezzel cs\u00f6kken a rendelkez\u00e9sre \u00e1ll\u00e1s. Ha egy Kubernetes-csom\u00f3pont le\u00e1ll, akkor az eg\u00e9sz Kafka klaszter is le\u00e1ll. Emellett ne terjessze a Kafka klasztert k\u00fcl\u00f6n adatk\u00f6zpontokra sem. Ugyanez vonatkozik a Kubernetes klaszterre is. J\u00f3 kompromisszum lehet, ha k\u00fcl\u00f6nb\u00f6z\u0151 el\u00e9rhet\u0151s\u00e9gi z\u00f3n\u00e1kat v\u00e1laszt.<\/p>\n

Konfigur\u00e1ci\u00f3<\/h4>\n

\nSzok\u00e1sos manifestek<\/b><\/i><\/p>\n

A Kubernetes weboldal\u00e1n tal\u00e1lhat\u00f3 nagyon j\u00f3 \u00fatmutat\u00f3<\/a><\/noindex> arr\u00f3l, hogyan lehet a ZooKeeper-t manifestek seg\u00edts\u00e9g\u00e9vel be\u00e1ll\u00edtani. Mivel a ZooKeeper a Kafka r\u00e9sz\u00e9t k\u00e9pezi, ezzel k\u00e9nyelmes elkezdeni megismerkedni azokkal a Kubernetes koncepci\u00f3kkal, amelyek itt alkalmazhat\u00f3k. Miut\u00e1n meg\u00e9rtette ezt, azonos koncepci\u00f3kat alkalmazhat a Kafka klaszterhez is.<\/p>\n