{"id":36822,"date":"2019-10-31T22:14:01","date_gmt":"2019-10-31T19:14:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kafka-na-kubernetes-eto-horosho\/"},"modified":"2019-10-31T22:14:01","modified_gmt":"2019-10-31T19:14:01","slug":"kafka-na-kubernetes-eto-horosho","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/kafka-na-kubernetes-eto-horosho","title":{"rendered":"Czy Kafka na Kubernetes to dobry pomys\u0142?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Witamy, Habr!<\/p>\n

Kiedy\u015b jako pierwsi wprowadzili\u015bmy na rynek rosyjski temat Kafka<\/a><\/noindex> i kontynuujemy nadzorowa\u0107<\/a><\/noindex> jego rozw\u00f3j. Szczeg\u00f3lnie interesuj\u0105cy wyda\u0142 si\u0119 nam temat interakcji mi\u0119dzy Kafka a Kubernetes<\/a><\/noindex>. Przegl\u0105d (do\u015b\u0107 ostro\u017cny) artyku\u0142<\/a><\/noindex> na ten temat ukaza\u0142 si\u0119 na blogu firmy Confluent ju\u017c w pa\u017adzierniku ubieg\u0142ego roku autorstwa Gwen Shapiro. Dzisiaj chcemy zwr\u00f3ci\u0107 uwag\u0119 na \u015bwie\u017cszy, kwietniowy artyku\u0142 Johann\u2019a Gygera, kt\u00f3ry, cho\u0107 nie oby\u0142o si\u0119 bez znaku zapytania w tytule, omawia temat w bardziej szczeg\u00f3lny spos\u00f3b, towarzysz\u0105c tekstowi ciekawymi linkami. Prosz\u0119 o wybaczenie za lu\u017ane t\u0142umaczenie \u201echaos monkey\u201d, je\u015bli b\u0119dzie to mo\u017cliwe!<\/p>\n

\"Czy<\/a><\/noindex>
\n<\/a><\/noindex> <\/p>\n

Wprowadzenie<\/h4>\n

\nKubernetes jest przeznaczony do pracy z obci\u0105\u017ceniami, kt\u00f3re nie przechowuj\u0105 stanu. Zazwyczaj takie obci\u0105\u017cenia maj\u0105 form\u0119 architektury mikrous\u0142ugowej, s\u0105 lekkie, dobrze poddaj\u0105 si\u0119 poziomemu skalowaniu, przestrzegaj\u0105 zasad aplikacji 12-factor, pozwalaj\u0105 na prac\u0119 z automatycznymi wy\u0142\u0105cznikami (circuit breaker) oraz ma\u0142pami chaosu (chaos monkeys).<\/p>\n

Kafka z drugiej strony w zasadzie pe\u0142ni rol\u0119 rozproszonej bazy danych. W zwi\u0105zku z tym, pracuj\u0105c z ni\u0105, musisz radzi\u0107 sobie z stanem, a ten jest znacznie ci\u0119\u017cszy ni\u017c mikrous\u0142uga. Kubernetes obs\u0142uguje obci\u0105\u017cenia z zachowaniem stanu, ale jak zauwa\u017ca Kelsey Hightower w swoich dw\u00f3ch tweetach, nale\u017cy z nimi obchodzi\u0107 si\u0119 ostro\u017cnie:<\/p>\n

Niekt\u00f3rzy maj\u0105 wra\u017cenie, \u017ce je\u015bli zastosujesz Kubernetes na obci\u0105\u017ceniu z zachowaniem stanu, zamienia si\u0119 on w w pe\u0142ni zarz\u0105dzan\u0105 baz\u0119 danych, zdoln\u0105 konkurowa\u0107 z RDS. To nieprawda. Mo\u017ce, je\u017celi si\u0119 wystarczaj\u0105co napracujesz, dodasz dodatkowe komponenty i zaanga\u017cujesz zesp\u00f3\u0142 SRE-in\u017cynier\u00f3w, uda si\u0119 skonfigurowa\u0107 RDS na Kubernetes.<\/p><\/blockquote>\n

Zawsze wszystkim zalecam zachowanie wyj\u0105tkowej ostro\u017cno\u015bci przy uruchamianiu obci\u0105\u017ce\u0144 z zachowaniem stanu na Kubernetes. Wi\u0119kszo\u015b\u0107 os\u00f3b, kt\u00f3re si\u0119 pytaj\u0105, \u201eczy mog\u0119 uruchomi\u0107 obci\u0105\u017cenia z zachowaniem stanu na Kubernetes\u201d, nie ma wystarczaj\u0105cego do\u015bwiadczenia w pracy z Kubernetes, a cz\u0119sto tak\u017ce z tym obci\u0105\u017ceniem, o kt\u00f3re pytaj\u0105.<\/p><\/blockquote>\n

Czy warto uruchamia\u0107 Kafka na Kubernetes? Pytanie pomocnicze: czy Kafka b\u0119dzie dzia\u0142a\u0107 lepiej bez Kubernetes? Dlatego w tym artykule chcia\u0142bym podkre\u015bli\u0107, jak Kafka i Kubernetes si\u0119 uzupe\u0142niaj\u0105 oraz jakie pu\u0142apki mog\u0105 si\u0119 pojawi\u0107 przy ich po\u0142\u0105czeniu.<\/p>\n

Czas wykonania<\/h4>\n

\nPorozmawiajmy o podstawowej kwestii \u2014 o \u015brodowisku wykonawczym jako takim<\/p>\n

Proces<\/b><\/i><\/p>\n

Brokerzy Kafka s\u0105 przydatni w pracy z CPU. TLS mo\u017ce wprowadza\u0107 pewne koszty. Klienci Kafka mog\u0105 jednak bardziej obci\u0105\u017ca\u0107 CPU, je\u015bli korzystaj\u0105 z szyfrowania, ale nie wp\u0142ywa to na broker\u00f3w.<\/p>\n

Pami\u0119\u0107<\/b><\/i><\/p>\n

Brokerzy Kafka poch\u0142aniaj\u0105 pami\u0119\u0107. Rozmiar stosu JVM zwykle powinien by\u0107 ograniczony do 4\u20135 GB, ale potrzebujesz r\u00f3wnie\u017c du\u017co pami\u0119ci systemowej, poniewa\u017c Kafka bardzo aktywnie wykorzystuje pami\u0119\u0107 podr\u0119czn\u0105. W Kubernetes odpowiednio ustawiaj limity kontenera dla zasob\u00f3w i zapotrzebowa\u0144.<\/p>\n

Przechowywanie danych<\/b><\/i><\/p>\n

Przechowywanie danych w kontenerach jest efemeryczne \u2013 dane s\u0105 tracone podczas restartu. Dla danych Kafka mo\u017cna u\u017cywa\u0107 woluminu, a efekt b\u0119dzie podobny: dane twojego brokera zostan\u0105 utracone po zako\u0144czeniu. Twoje wiadomo\u015bci mog\u0105 nadal by\u0107 przechowywane na innych brokerach jako repliki. Dlatego po restarcie uszkodzony broker powinien najpierw zreplikowa\u0107 wszystkie dane, co mo\u017ce zaj\u0105\u0107 troch\u0119 czasu. emptyDir<\/code>, a efekt b\u0119dzie analogiczny: dane twojego brokera zostan\u0105 utracone po zako\u0144czeniu. Twoje wiadomo\u015bci mog\u0105 nadal by\u0107 przechowywane na innych brokerach jako repliki. Dlatego po restarcie uszkodzony broker powinien najpierw zreplikowa\u0107 wszystkie dane, co mo\u017ce zaj\u0105\u0107 troch\u0119 czasu. <\/p>\n

Dlatego nale\u017cy u\u017cywa\u0107 trwa\u0142ego przechowywania danych. Niech to b\u0119dzie nielokalne trwa\u0142e przechowywanie z systemem plik\u00f3w XFS lub, dok\u0142adniej, ext4. Nie u\u017cywaj NFS. Ostrzegam ci\u0119. NFS w wersjach v3 lub v4 nie b\u0119dzie dzia\u0142a\u0107. W skr\u00f3cie, broker Kafka zako\u0144czy dzia\u0142anie, je\u015bli nie b\u0119dzie m\u00f3g\u0142 usun\u0105\u0107 katalogu z danymi z powodu problemu z \"g\u0142upimi zmianami nazw\", co dotyczy NFS. Je\u015bli jeszcze ci\u0119 nie przekona\u0142em, bardzo uwa\u017cnie przeczytaj ten artyku\u0142<\/a><\/noindex>. Przechowywanie danych powinno by\u0107 nielokalne, aby Kubernetes m\u00f3g\u0142 bardziej elastycznie wybra\u0107 nowy w\u0119ze\u0142 po restarcie lub relokacji.<\/p>\n

Sie\u0107<\/b><\/i><\/p>\n

Podobnie jak w przypadku wi\u0119kszo\u015bci rozproszonych system\u00f3w, wydajno\u015b\u0107 Kafka w du\u017cym stopniu zale\u017cy od minimalizacji op\u00f3\u017anie\u0144 sieciowych i maksymalizacji szeroko\u015bci pasma. Nie pr\u00f3buj umieszcza\u0107 wszystkich broker\u00f3w na tym samym w\u0119\u017ale, poniewa\u017c wp\u0142ynie to na dost\u0119pno\u015b\u0107. Je\u015bli wyst\u0105pi awaria w\u0119z\u0142a Kubernetes, to ca\u0142y klaster Kafka te\u017c zawiedzie. Nie rozprzestrzeniaj tak\u017ce klastra Kafka na ca\u0142e centra danych. To samo dotyczy klastra Kubernetes. Dobrym kompromisem jest wyb\u00f3r r\u00f3\u017cnych stref dost\u0119pno\u015bci.<\/p>\n

Konfiguracja<\/h4>\n

\nZwyk\u0142e manifesty<\/b><\/i><\/p>\n

Na stronie Kubernetes znajduje si\u0119 bardzo dobrej dokumentacji<\/a><\/noindex> na temat konfigurowania ZooKeepera za pomoc\u0105 manifest\u00f3w. Poniewa\u017c ZooKeeper jest cz\u0119\u015bci\u0105 Kafka, od tego warto zacz\u0105\u0107 zapoznawanie si\u0119 z tym, jakie koncepcje Kubernetes s\u0105 tutaj zastosowane. Zrozumienie tego pozwoli ci wykorzysta\u0107 te same koncepcje z klastrem Kafka.<\/p>\n