{"id":36822,"date":"2019-10-31T22:14:01","date_gmt":"2019-10-31T19:14:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kafka-na-kubernetes-eto-horosho\/"},"modified":"2019-10-31T22:14:01","modified_gmt":"2019-10-31T19:14:01","slug":"kafka-na-kubernetes-eto-horosho","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/kafka-na-kubernetes-eto-horosho","title":{"rendered":"\u00c4r Kafka p\u00e5 Kubernetes bra?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

V\u00e4lkomna, Habr!<\/p>\n

Vi var de f\u00f6rsta som introducerade temat Kafka<\/a><\/noindex> och forts\u00e4tter att h\u00e5lla utkik<\/a><\/noindex> att f\u00f6lja dess utveckling. I synnerhet tyckte vi att temat om interaktion mellan Kafka och Kubernetes<\/a><\/noindex>. En \u00f6versiktlig (och ganska f\u00f6rsiktig) artikel artikeln<\/a><\/noindex> om detta publicerades p\u00e5 Confluents blogg redan i oktober f\u00f6rra \u00e5ret av Gwen Shapiro. Idag vill vi rikta er uppm\u00e4rksamhet mot en mer aktuell artikel fr\u00e5n april av Johann Gyger, som, \u00e4ven om han inte skippade fr\u00e5getecknet i titeln, behandlar \u00e4mnet mer konkret och kompletterar texten med intressanta l\u00e4nkar. Ber om urs\u00e4kt f\u00f6r den fria \u00f6vers\u00e4ttningen \"chaos monkey\" om ni kan!<\/p>\n

\"\u00c4r<\/a><\/noindex>
\n<\/a><\/noindex> <\/p>\n

Introduktion<\/h4>\n

\nKubernetes \u00e4r avsett att hantera tillst\u00e5ndsl\u00f6s belastning. Vanligtvis \u00e4r s\u00e5dana arbetsbelastningar representerade i form av mikrotj\u00e4nstarkitektur, de \u00e4r l\u00e4tta, l\u00e4tt att horisontellt skala, f\u00f6ljer principerna f\u00f6r 12-faktorapplikationer, och till\u00e5ter arbete med automatiska brytare (circuit breakers) och kaosapor (chaos monkeys).<\/p>\n

Kafka, som ligger p\u00e5 andra sidan, \u00e4r i grunden en distribuerad databas. D\u00e4rf\u00f6r m\u00e5ste ni hantera tillst\u00e5nd, vilket \u00e4r mycket tyngre \u00e4n en mikrotj\u00e4nst. Kubernetes st\u00f6der tillst\u00e5ndsd\u00e5lig belastning, men som Kelsey Hightower p\u00e5pekar i tv\u00e5 av sina tweets, b\u00f6r man vara f\u00f6rsiktig med dem:<\/p>\n

N\u00e5gra tror att om Kubernetes k\u00f6rs p\u00e5 en tillst\u00e5ndsl\u00f6s belastning, blir det en helt hanterad databas som kan konkurrera med RDS. S\u00e5 \u00e4r det inte. Kanske om man g\u00f6r tillr\u00e4ckligt med arbete, l\u00e4gger till ytterligare komponenter och involverar ett SRE-team, s\u00e5 kan man bygga RDS ovanp\u00e5 Kubernetes.<\/p><\/blockquote>\n

Jag rekommenderar alltid att man ut\u00f6var extrem f\u00f6rsiktighet n\u00e4r man k\u00f6r tillst\u00e5ndsbevarande belastningar p\u00e5 Kubernetes. De flesta som undrar \"kan jag k\u00f6ra tillst\u00e5ndsbevarande belastningar p\u00e5 Kubernetes\" har inte tillr\u00e4cklig erfarenhet av att arbeta med Kubernetes, och ofta inte ens med den belastning de fr\u00e5gar om.<\/p><\/blockquote>\n

S\u00e5, b\u00f6r man k\u00f6ra Kafka p\u00e5 Kubernetes? En annan fr\u00e5ga: skulle Kafka fungera b\u00e4ttre utan Kubernetes? D\u00e4rf\u00f6r vill jag betona i denna artikel hur Kafka och Kubernetes kompletterar varandra, och vilka fallgropar som kan uppst\u00e5 n\u00e4r man kombinerar dem.<\/p>\n

K\u00f6rningstid<\/h4>\n

\nL\u00e5t oss prata om en grundl\u00e4ggande sak \u2013 k\u00f6rningsmilj\u00f6n i sig<\/p>\n

Process<\/b><\/i><\/p>\n

Kafka-brokers \u00e4r bra att arbeta med CPU. TLS kan inneb\u00e4ra vissa kostnader. Samtidigt kan Kafka-klienter belasta CPU mer om de anv\u00e4nder kryptering, men detta p\u00e5verkar inte brokerns prestanda.<\/p>\n

Minne<\/b><\/i><\/p>\n

Kafka-brokers kr\u00e4ver mycket minne. JVM-h\u00f6gen b\u00f6r vanligtvis begr\u00e4nsas till 4\u20135 GB, men du kommer ocks\u00e5 att beh\u00f6va mycket systemminne eftersom Kafka anv\u00e4nder sidcache intensivt. I Kubernetes ska du st\u00e4lla in resursgr\u00e4nser och -beg\u00e4rningar f\u00f6r containern p\u00e5 l\u00e4mpligt s\u00e4tt.<\/p>\n

Datacenter<\/b><\/i><\/p>\n

Datacenter i containrar \u00e4r flyktiga \u2013 data g\u00e5r f\u00f6rlorade vid omstart. F\u00f6r Kafka-data kan en volym anv\u00e4ndas emptyDir<\/code>, och effekten blir liknande: dina brokers data kommer att g\u00e5 f\u00f6rlorade efter avslutande. Dina meddelanden kan \u00e4nd\u00e5 bevaras p\u00e5 andra brokers som repliker. S\u00e5 efter en omstart m\u00e5ste den misslyckade brokern f\u00f6rst replikera all data, och denna process kan ta tid. <\/p>\n

Det \u00e4r d\u00e4rf\u00f6r man b\u00f6r anv\u00e4nda permanent datalagring. L\u00e5t det vara n\u00e5gon form av icke-lokal permanent lagring med ett filsystem som XFS eller, mer exakt, ext4. Anv\u00e4nd inte NFS. Jag varnar dig. NFS-versioner v3 eller v4 fungerar inte. Kort sagt, Kafka-brokern kommer att krascha om den inte kan ta bort katalogen med data p\u00e5 grund av problem med \"dumma omdirigeringar\" som \u00e4r aktuella i NFS. Om jag fortfarande inte har \u00f6vertygat dig, l\u00e4s noggrant denna artikel<\/a><\/noindex>. Datacenter m\u00e5ste vara icke-lokal f\u00f6r att Kubernetes ska kunna v\u00e4lja en ny nod mer flexibelt efter omstart eller omflyttning.<\/p>\n

N\u00e4tverk<\/b><\/i><\/p>\n

Precis som i de flesta distribuerade system beror Kafka:s prestanda starkt p\u00e5 att n\u00e4tverksf\u00f6rdr\u00f6jningar \u00e4r minimala och bandbredden maximal. F\u00f6rs\u00f6k inte att placera alla m\u00e4klare p\u00e5 samma nod, eftersom det skulle minska tillg\u00e4ngligheten. Om en Kubernetes-nod g\u00e5r ner, g\u00e5r hela Kafka-klustret ner. Dela inte heller upp Kafka-klustret \u00f6ver hela datacenter. Detsamma g\u00e4ller Kubernetes-klustret. En bra kompromiss h\u00e4r \u00e4r att v\u00e4lja olika tillg\u00e4nglighetszoner.<\/p>\n

Konfiguration<\/h4>\n

\nVanliga manifest<\/b><\/i><\/p>\n

P\u00e5 Kubernetes-webbplatsen finns en mycket bra guide<\/a><\/noindex> om hur man konfigurerar ZooKeeper med hj\u00e4lp av manifest. Eftersom ZooKeeper ing\u00e5r i Kafka \u00e4r det ett bra st\u00e4lle att b\u00f6rja l\u00e4ra sig om vilka Kubernetes-koncept som \u00e4r till\u00e4mpliga h\u00e4r. N\u00e4r du har f\u00f6rst\u00e5tt detta kan du till\u00e4mpa samma koncept p\u00e5 Kafka-klustret.<\/p>\n