{"id":31139,"date":"2019-10-31T21:39:40","date_gmt":"2019-10-31T18:39:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitorim-resursy-klasterov-kubernetes\/"},"modified":"2019-10-31T21:39:40","modified_gmt":"2019-10-31T18:39:40","slug":"monitorim-resursy-klasterov-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-resursy-klasterov-kubernetes","title":{"rendered":"\u00dcberwachung der Ressourcen von Kubernetes-Clustern","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"\u00dcberwachung<\/a><\/noindex><\/p>\n

<\/p>\n

Ich habe Kube Eagle erstellt \u2013 einen Prometheus-Exporter. Es stellte sich als hervorragendes Tool heraus, das hilft, die Ressourcen kleiner und mittlerer Cluster besser zu verstehen. Letztendlich habe ich mehrere Hundert Euro gespart, da ich die richtigen Maschinentypen ausw\u00e4hlte und die Ressourcenbeschr\u00e4nkungen der Anwendungen an die Arbeitslasten anpasste.<\/p>\n

<\/p>\n

Ich werde \u00fcber die Vorteile von Kube Eagle<\/a><\/noindex>berichten, aber zuerst erkl\u00e4re ich, was das Problem ist und warum wir qualitativ hochwertige \u00dcberwachung ben\u00f6tigten.<\/p>\n

<\/a><\/noindex><\/p>\n

Ich verwaltete mehrere Cluster mit 4\u201350 Knoten. In jedem Cluster befanden sich bis zu 200 Mikrodienste und Anwendungen. Um die vorhandene Hardware effizienter zu nutzen, waren die meisten Deployments mit burstable RAM und CPU-Ressourcen konfiguriert. So k\u00f6nnen Pods die verf\u00fcgbaren Ressourcen nutzen, wenn es n\u00f6tig ist, und st\u00f6ren dabei nicht andere Anwendungen auf diesem Knoten. Ist das nicht gro\u00dfartig?<\/p>\n

<\/p>\n

Und obwohl der Cluster relativ wenig CPU (8 %) und Arbeitsspeicher (40 %) verbrauchte, hatten wir st\u00e4ndig Probleme mit der Verdr\u00e4ngung von Pods, wenn diese versuchten, mehr Speicher anzufordern, als auf dem Knoten verf\u00fcgbar war. Zu diesem Zeitpunkt hatten wir nur ein Dashboard zur \u00dcberwachung der Kubernetes-Ressourcen. So sah es aus:<\/p>\n

<\/p>\n

\"\u00dcberwachung<\/a><\/noindex>
\nGrafana-Dashboard nur mit cAdvisor-Metriken<\/em><\/p>\n

<\/p>\n

Mit einem solchen Dashboard ist es kein Problem, Knoten zu sehen, die viel Speicher und CPU verbrauchen. Das Problem besteht darin, herauszufinden, warum das so ist. Um die Pods stabil zu halten, k\u00f6nnte man nat\u00fcrlich garantierte Ressourcen f\u00fcr alle Pods einrichten (angeforderte Ressourcen entsprechen dem Limit). Aber das ist nicht die intelligenteste Nutzung der Hardware. Im Cluster standen mehrere Hundert Gigabyte Speicher zur Verf\u00fcgung, dennoch litten einige Knoten unter Ressourcenmangel, w\u00e4hrend andere noch 4 bis 10 GB \u00fcbrig hatten.<\/p>\n

<\/p>\n

Es stellte sich heraus, dass der Kubernetes-Planer die Arbeitslasten ungleichm\u00e4\u00dfig auf die verf\u00fcgbaren Ressourcen verteilte. Der Kubernetes-Planer ber\u00fccksichtigt verschiedene Konfigurationen: Affinit\u00e4tsregeln, Taints und Tolerierungen sowie Knotenselektoren, die die verf\u00fcgbaren Knoten einschr\u00e4nken k\u00f6nnen. In meinem Fall gab es jedoch nichts dergleichen, und die Pods wurden basierend auf den angeforderten Ressourcen auf jedem Knoten geplant.<\/p>\n

<\/p>\n

F\u00fcr den Pod wurde ein Knoten ausgew\u00e4hlt, der die meisten freien Ressourcen hatte und die Anforderungen erf\u00fcllte. Wir stellten fest, dass die angeforderten Ressourcen auf den Knoten nicht mit der tats\u00e4chlichen Nutzung \u00fcbereinstimmten, und hier kam Kube Eagle mit seinen Ressourcen\u00fcberwachungsm\u00f6glichkeiten ins Spiel.<\/p>\n

<\/p>\n

Ich habe fast alle Kubernetes-Cluster nur mit Node Exporter<\/a><\/noindex> und Kube State Metrics<\/a><\/noindex>. Node Exporter liefert Statistiken zu Ein- und Ausgabe sowie zur Nutzung von Disk, CPU und RAM, w\u00e4hrend Kube State Metrics Kennzahlen von Kubernetes-Objekten wie CPU- und RAM-Anforderungs- und Limits anzeigt.<\/p>\n

<\/p>\n

Wir m\u00fcssen die Nutzungsmetrik mit den Anforderungs- und Limitmetrik in Grafana kombinieren, um alle Informationen \u00fcber das Problem zu erhalten. Das klingt einfach, aber in diesen beiden Tools werden die Labels unterschiedlich benannt, und einige Metriken haben \u00fcberhaupt keine Metadatenlabels. Kube Eagle erledigt alles automatisch, und das Dashboard sieht so aus:<\/p>\n

<\/p>\n

\"\u00dcberwachung<\/a><\/noindex><\/p>\n

<\/p>\n

\"\u00dcberwachung<\/a><\/noindex>
\nKube Eagle Dashboard<\/a><\/noindex><\/em><\/p>\n

<\/p>\n

Wir konnten viele Ressourcenprobleme l\u00f6sen und Hardware einsparen:<\/p>\n

<\/p>\n

    \n
  1. Einige Entwickler wussten nicht, wie viele Ressourcen Microservices ben\u00f6tigen (oder haben sich einfach nicht darum gek\u00fcmmert). Wir hatten keine M\u00f6glichkeit, falsche Ressourcenanforderungen zu identifizieren \u2013 daf\u00fcr mussten wir den Verbrauch sowie die Anforderungen und Limits kennen. Jetzt sehen sie die Prometheus-Metriken, \u00fcberwachen die tats\u00e4chliche Nutzung und passen die Anforderungen und Limits an.<\/li>\n
  2. JVM-Anwendungen verwenden so viel Arbeitsspeicher, wie sie ben\u00f6tigen. Der Garbage Collector gibt Speicher nur dann frei, wenn mehr als 75 % belegt sind. Da der Speicher bei den meisten Diensten burstable ist, wurde er immer vom JVM belegt. Daher haben all diese Java-Dienste deutlich mehr Arbeitsspeicher verbraucht als erwartet.<\/li>\n
  3. Einige Anwendungen haben zu viel Speicher angefordert, und der Kubernetes-Planer hat diesen Knoten anderen Anwendungen nicht zugewiesen, obwohl sie faktisch weniger ausgelastet waren als andere Knoten. Ein Entwickler hatte versehentlich eine zus\u00e4tzliche Ziffer in der Anfrage hinzugef\u00fcgt und einen gro\u00dfen Teil des Arbeitsspeichers belegt: 20 GB statt 2. Niemand hat es bemerkt. Die Anwendung hatte 3 Replikate, sodass gleich 3 Knoten betroffen waren.<\/li>\n
  4. Wir haben Ressourcenbeschr\u00e4nkungen eingef\u00fchrt, die Pods mit den richtigen Anfragen neu geplant und somit eine optimale Balance bei der Hardwareauslastung \u00fcber alle Knoten erzielt. Einige Knoten h\u00e4tten sogar stillgelegt werden k\u00f6nnen. Dann stellten wir fest, dass wir die falschen Maschinen hatten (auf CPU und nicht auf Speicher optimiert). Wir haben den Typ gewechselt und noch mehrere Knoten entfernt.<\/li>\n<\/ol>\n

    <\/p>\n

    Ergebnisse<\/h3>\n

    <\/p>\n

    Mit burstbaren Ressourcen im Cluster nutzen Sie die vorhandene Hardware effizienter, doch der Kubernetes-Planer stagniert bei den Anfragen zu den Ressourcen, was problematisch sein kann. Um sowohl Probleme zu vermeiden als auch die Ressourcen optimal zu nutzen, ben\u00f6tigen Sie eine gute \u00dcberwachung. Hierf\u00fcr ist Kube Eagle<\/a><\/noindex> (Prometheus-Exporter und Grafana-Dashboard) n\u00fctzlich.<\/p>\n

    Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

    \u042f \u0441\u043e\u0437\u0434\u0430\u043b Kube Eagle\u00a0\u2014 \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0435\u0440 Prometheus. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u043a\u0440\u0443\u0442\u0430\u044f \u0448\u0442\u0443\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432. \u0412 \u0438\u0442\u043e\u0433\u0435 \u044f \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043b \u043d\u0435 \u043e\u0434\u043d\u0443 \u0441\u043e\u0442\u043d\u044e \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043c\u0430\u0448\u0438\u043d \u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043f\u043e\u0434 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u042f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u0445 Kube Eagle, \u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u044a\u044f\u0441\u043d\u044e, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0432\u044b\u0448\u0435\u043b \u0441\u044b\u0440-\u0431\u043e\u0440 \u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":23107,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-31139","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wir \u00fcberwachen die Ressourcen von Kubernetes-Clustern | ProHoster","description":"Ich habe Kube Eagle entwickelt \u2013 einen Prometheus-Exporter. Es stellte sich heraus, dass es ein richtig tolles Tool ist, das hilft, die Ressourcen kleiner und mittlerer Cluster besser zu verstehen. Letztendlich habe ich mehrere hundert Dollar gespart, indem ich die richtigen Maschinentypen ausw\u00e4hlte und die Ressourcengrenzen der Anwendungen an die Arbeitslasten anpasste. Ich werde die Vorteile von Kube Eagle erl\u00e4utern, aber zuerst erkl\u00e4re ich, weshalb es zu Schwierigkeiten kam und","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-resursy-klasterov-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432 Kubernetes | ProHoster","og:description":"\u042f \u0441\u043e\u0437\u0434\u0430\u043b Kube Eagle \u2014 \u044d\u043a\u0441\u043f\u043e\u0440\u0442\u0435\u0440 Prometheus. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u043a\u0440\u0443\u0442\u0430\u044f \u0448\u0442\u0443\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u0445 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432. \u0412 \u0438\u0442\u043e\u0433\u0435 \u044f \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043b \u043d\u0435 \u043e\u0434\u043d\u0443 \u0441\u043e\u0442\u043d\u044e \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u043b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u043c\u0430\u0448\u0438\u043d \u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u043b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u043f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0439 \u043f\u043e\u0434 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438. \u042f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u0445 Kube Eagle, \u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u044a\u044f\u0441\u043d\u044e, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0432\u044b\u0448\u0435\u043b \u0441\u044b\u0440-\u0431\u043e\u0440 \u0438","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-resursy-klasterov-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:39:40+00:00","article:modified_time":"2019-10-31T18:39:40+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"31139","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 04:42:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 03:22:34","updated":"2026-01-21 04:42:20"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/31139","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=31139"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/31139\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/23107"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=31139"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=31139"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=31139"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}